GPU加速Ollama

启用GPU加速可以显著提升Ollama的运行效率，尤其是在处理大模型时。以下是通过不同方式实现GPU加速的具体方法：

安装CUDA驱动和工具包

确保系统已安装NVIDIA驱动和CUDA工具包。以下命令适用于Ubuntu系统：

sudo apt install nvidia-cuda-toolkit
nvidia-smi  # 验证驱动安装

配置Ollama使用GPU

启动Ollama时添加环境变量指定GPU设备：

OLLAMA_DEVICE=cuda ollama run llama3

编译支持CUDA的Ollama版本

从源码编译时启用CUDA支持：

git clone https://github.com/jmorganca/ollama
cd ollama
GO_TAGS=cuda make build

Docker容器中使用GPU

运行支持GPU的Docker容器时添加参数：

docker run --gpus all -p 11434:11434 ollama/ollama

Windows系统配置

1. 安装最新NVIDIA驱动
2. 设置环境变量：

$env:OLLAMA_DEVICE = "cuda"
ollama run mistral

验证GPU加速效果

运行模型时观察日志输出，应包含类似信息：

GPU acceleration enabled using CUDA

性能优化建议

修改Ollama配置文件~/.ollama/config.json添加参数：

{
  "num_gpu_layers": 35,
  "main_gpu": 0
}

注意：实际可用GPU层数取决于显存大小，可通过nvidia-smi监控显存使用情况。