在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法

定位编译生成的文件

在VS2022编译完成后,在构建目录(如build/Release或build/Debug)中寻找以下关键文件:

ggml.dll、ggml_base.dll、ggml_cpu.dll、ggml_cuda.dll、llama.dll(核心动态链接库)
在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法_第1张图片

llama_cpp.py(Python接口文件)
在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法_第2张图片

其他依赖的DLL(如ggml.dll、CUDA相关DLL等)

部署编译文件

在虚拟环境中创建包目录:

cmd

mkdir myenv\Lib\site-packages\llama_cpp

复制所有编译生成的文件:
在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法_第3张图片
将上述编译出来的动态库复制到myenv\Lib\site-packages\llama_cpp\lib目录下
将llama_cpp_python\llama_cpp*.py复制到myenv\Lib\site-packages\llama_cpp目录下

copy path\to\build\Release\*.pyd myenv\Lib\site-packages\llama_cpp
copy path\to\llama_cpp_python\llama_cpp\*.py myenv\Lib\site-packages\llama_cpp

复制CUDA DLL(如需要,我这测试是不需要的):

cmd
copy “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin\cudart64_*.dll” myenv\Lib\site-packages\llama_cpp

你可能感兴趣的:(llama,python)