chatGLM-6B部署报错quantization_kernels_parallel.so‘ (or one of its dependencies). Try using the full pat

用python部署chatglm2时候报错:

FileNotFoundError: Could not find module 'C:\Users\Administrator\.cache\huggingface\modules\transformers_modules\chatglm2-6b-int4\quantization_kernels_parallel.so' (or one of its dependencies). Try using the full path with constructor syntax.

问题分析和解决方法:

chatGLM 加载模型时会自动编译两个c文件并加载:quantization_kernels_parallel.c 和 quantization_kernels.c

这两个文件是以base64存在模型文件夹的 quantization.py 中的,加载模型时会解码写出文件。

这里 quantization_kernels_parallel.c 的编译成功,但加载时报错:

FileNotFoundError: Could not find module '[略]\quantization_kernels_parallel.so' (or one of its dependencies). Try using the full path with constructor syntax.

但是并没有影响,因为它会再尝试编译和加载 quantization_kernels ,这次是成功的,他们的目的是一样的,所以有一个成功,就能启动。

不过还是找了一下 quantization_kernels_parallel 加载失败的原因:

https://github.com/THUDM/ChatGLM-6B/issues/967

这是因为ctypes在Windows环境下的bug还没修复,python3.10目前还有问题。

需要对 [模型文件夹]\quantization.py 中的 ctypes.cdll.LoadLibrary相关代码 进行处理:

# 搜索这句
kernels = ctypes.cdll.LoadLibrary(kernel_file)

# 替换为这句,也可以只是注掉上面那句
#kernels = ctypes.cdll.LoadLibrary(kernel_file)
kernels = ctypes.CDLL(kernel_file, winmode = 0)

特别注意:ctypes.cdll.LoadLibrary和ctypes.CDLL是不一样函数,不是ctypes.cdll.LoadLibrary(kernel_file,winmode = 0)

也有人会手动编译,步骤如下,也可以尝试
(1)手动编译,在模型path下

gcc -fPIC -pthread -fopenmp -std=c99 quantization_kernels_parallel.c -shared -o quantization_kernels_parallel.so
gcc -fPIC -pthread -fopenmp -std=c99 quantization_kernels.c -shared -o quantization_kernels.so
(2)然后在原先模型加载后手动加载一下手动编译的kernel

model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()
model = model.quantize(bits=4, kernel_file="Your Kernel Path")

你可能感兴趣的:(环境配置,深度学习)