【华为昇腾|CUDA】服务器A6000显卡部署LLM实战记录

安装驱动

  • https://www.nvidia.cn/drivers/lookup/
  • 搜索对应gpu的kylin版本即可
  • 先使用wget 下载rpm包
  • rpm -i 安装
  • 最后使用dnf install nvidia-driver即可
    • 上面安装的是驱动仓库

安装CUDA

  • kylin服务器参考配置
  • 【华为昇腾|CUDA】服务器A6000显卡部署LLM实战记录_第1张图片
  • 同上,先wget,后rpm -i,最后dnf install cuda即可

安装Ollama

ollama官方提供aarch64 docker,按照https://hub.docker.com/r/ollama/ollama文档操作即可

启动Ollama

同样按文档--gpus=all使用gpu资源启动容器

在启动后建议:

  • docker exec -it ollama bash进入下容器
  • 运行nvidia-smi,重点查看cuda是否正确显示版本号
    • 错误则显示N/A
  • 一般看到cuda版本号ollama即可正常使用gpu推理

你可能感兴趣的:(技能备忘,服务器,语言模型,华为,gpu算力,kylin)