windows10 + python -m bitsandbytes

python -m bitsandbytes - UDA Setup failed despite GPU being available. Please run the following command to get more information:

win10 系统 +cuda12.1 + torch2.0.1

当进行大模型的训练的过程中,会遇到有关量化的问题,需要安装

官方未提供对应的 bitsandbytes的win版本;

非官方地址: https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels

备注:非官网,跳转还是比较慢的,请耐心等待,测试是有效的。

你可能感兴趣的:(自然语言处理,bitsandbytes,chatglm2-6b,大模型)