brew install ollama
curl -fsSL https://ollama.com/install.sh | sh
⚠️ 如果提示权限不足:
sudo chmod +x /usr/local/bin/ollama
ollama list
ollama pull deepseek-coder:6.7b
ollama run deepseek-coder:6.7b
示例对话:
>>> 你好,帮我写个 Python 爬虫。
<<< 好的,以下是示例代码...
Ollama 默认启动 RESTful API 服务,端口 11434。
import requests
url = "http://localhost:11434/api/generate"
payload = {
"model": "deepseek-coder:6.7b",
"prompt": "用Python写一个计算斐波那契数列的函数。",
"stream": False
}
response = requests.post(url, json=payload)
result = response.json()
print(result['response'])
功能 | 命令 |
---|---|
列出模型 | ollama list |
下载模型 | ollama pull <模型名> |
运行模型 | ollama run <模型名> |
停止服务 | ollama stop |
卸载模型 | ollama delete <模型名> |
查看帮助 | ollama --help |
❓ 下载模型太慢怎么办?
✅ 使用代理或选择小模型(如 deepseek-coder:1.3b
)。
❓ 显存不足如何解决?
✅ 使用小模型,或选择 CPU 推理(速度会慢但不占显存)。
❓ 如何修改 API 端口?
✅ Ollama 默认端口为 11434,如需修改可通过 Nginx 反向代理。
恭喜,你已经成功完成本地大模型部署!尽情享受 AI 带来的乐趣吧!