Ollama 本地部署 DeepSeek 大模型全流程教程

Ollama 本地部署 DeepSeek 大模型全流程教程


一、什么是 Ollama 和 DeepSeek?

  • Ollama:简化大模型本地部署和运行的工具,支持一条命令直接使用大模型。
  • DeepSeek:开源大模型,擅长代码生成和自然语言理解,适合本地部署和开发测试。

二、部署环境准备

✅ 1. 系统要求

  • 操作系统:Ubuntu 20.04+ / MacOS / Windows (WSL2)
  • 硬件配置:
    • CPU 推理:内存 8GB+
    • GPU 加速:显卡建议 8GB 显存以上

✅ 2. 安装 Ollama

【MacOS】
brew install ollama
【Ubuntu】
curl -fsSL https://ollama.com/install.sh | sh

⚠️ 如果提示权限不足:

sudo chmod +x /usr/local/bin/ollama
【Windows】
  • 安装 WSL2 和 Ubuntu 子系统
  • 在 Ubuntu 子系统中使用上面的安装命令

三、下载并启动 DeepSeek 模型

✅ 1. 查看可用模型

ollama list

✅ 2. 下载 DeepSeek 模型(以 6.7B 参数模型为例)

ollama pull deepseek-coder:6.7b

✅ 3. 启动模型并进入交互模式

ollama run deepseek-coder:6.7b

示例对话:

>>> 你好,帮我写个 Python 爬虫。
<<< 好的,以下是示例代码...

四、通过 API 调用 DeepSeek 模型

Ollama 默认启动 RESTful API 服务,端口 11434

✅ 示例 Python 调用代码

import requests

url = "http://localhost:11434/api/generate"
payload = {
    "model": "deepseek-coder:6.7b",
    "prompt": "用Python写一个计算斐波那契数列的函数。",
    "stream": False
}

response = requests.post(url, json=payload)
result = response.json()
print(result['response'])

⚙️ 五、常用 Ollama 命令总结

功能 命令
列出模型 ollama list
下载模型 ollama pull <模型名>
运行模型 ollama run <模型名>
停止服务 ollama stop
卸载模型 ollama delete <模型名>
查看帮助 ollama --help

六、常见问题解答

  1. 下载模型太慢怎么办?
    ✅ 使用代理或选择小模型(如 deepseek-coder:1.3b)。

  2. 显存不足如何解决?
    ✅ 使用小模型,或选择 CPU 推理(速度会慢但不占显存)。

  3. 如何修改 API 端口?
    ✅ Ollama 默认端口为 11434,如需修改可通过 Nginx 反向代理。


恭喜,你已经成功完成本地大模型部署!尽情享受 AI 带来的乐趣吧!

你可能感兴趣的:(人工智能,模型部署,人工智能,笔记,学习,语言模型)