在 Open WebUI + Ollama 上运行 DeepSeek-R1-70B 实现调用

在 Open WebUI + Ollama 上运行 DeepSeek-R1-70B 实现调用

您可以使用 Open WebUI 结合 Ollama 来运行 DeepSeek-R1-70B 模型，并通过 Web 界面进行交互。以下是完整的部署步骤。

---

1. 安装 Ollama

Ollama 是一个本地化的大模型管理工具，它可以在本地运行 DeepSeek-R1-70B。

1.1 下载并安装 Ollama

• Ubuntu / Debian

  curl -fsSL https://ollama.com/install.sh | sh
  

• MacOS（Apple Silicon / Intel）

  brew install ollama
  

• Windows
  参考官方安装指南：Ollama 官网

1.2 确保 Ollama 运行正常

运行以下命令，检查 Ollama 是否安装成功：

ollama -v

如果安装成功，将返回 Ollama 的版本号。

---

2. 下载 DeepSeek-R1-70B 模型

在终端中运行以下命令，下载 DeepSeek-R1-70B 模型：

ollama pull deepseek-r1:70b

⚠️ 注意：

• DeepSeek-R1-70B 需要较高的显存（>=70GB），建议使用 A100 80GB 或 H100 80GB 级别的 GPU 运行。
• 如果显存不足，可以使用 deepseek-r1:7b 版本：

  ollama pull deepseek-r1:7b
  

---

3. 运行 DeepSeek-R1-70B

启动 DeepSeek-R1-70B：

ollama run deepseek-r1:70b

如果您希望它 以 API 方式运行，可以执行：

ollama serve

默认情况下，Ollama API 监听 http://localhost:11434 端口。

---

4. 安装 Open WebUI

Open WebUI 提供了一个友好的 Web 界面来调用 Ollama 部署的模型。

4.1 启动 Open WebUI

运行以下 Docker 命令：

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

• 这样 Open WebUI 就会运行在 http://localhost:3000。

4.2 连接 Ollama

1. 进入 http://localhost:3000。
2. 登录管理员账户（首次使用会提示创建账户）。
3. 在左下角点击 “管理员面板” > 选择 “模型管理”。
4. 在 “添加新模型” 处：
   • 模型名称：deepseek-r1:70b
   • API 地址：http://host.docker.internal:11434
   • 选择 “Ollama 兼容” 模型类型。
5. 点击 “验证连接”，如果测试成功，说明模型已正确接入。
6. 保存配置，返回主页，即可在 Web 界面调用 DeepSeek-R1-70B。

---

5. 进行 DeepSeek-R1-70B 调用

在 Open WebUI 界面：

• 选择 deepseek-r1:70b
• 输入您的问题
• 点击 发送
• 享受 DeepSeek-R1-70B 的智能回答

---

✅ 总结

1. 安装 Ollama 并下载 deepseek-r1:70b。
2. 运行 Ollama API (ollama serve)。
3. 安装 Open WebUI 并连接 Ollama。
4. 在 Web 界面中使用 DeepSeek-R1-70B 进行推理。

---

进阶优化

• 使用 Docker Compose 启动 Open WebUI + Ollama

  version: "3"
  services:
    ollama:
      image: ollama/ollama
      container_name: ollama
      ports:
        - "11434:11434"
      restart: always
  
    open-webui:
      image: ghcr.io/open-webui/open-webui:main
      container_name: open-webui
      ports:
        - "3000:8080"
      depends_on:
        - ollama
      environment:
        - OLLAMA_BASE_URL=http://ollama:11434
      restart: always
  

  然后运行：

  docker compose up -d
  

• 启用 Web 访问

  ollama serve --host 0.0.0.0
  

---

这样，您的 Open WebUI + Ollama + DeepSeek-R1-70B 就可以正常运行了！