ollama 提供给外部访问

ollama外部访问

    • 1、修改ollama配置
    • 2、增加配置
    • 3、重启ollama
    • 4、postMan访问效果

1、修改ollama配置

sudo vim /etc/systemd/system/ollama.service

2、增加配置

OLLAMA_HOST 绑定的主机与端口 (默认 “127.0.0.1:11434”)
OLLAMA_ORIGINS 允许的源的逗号分隔列表
OLLAMA_MODELS 模型目录的路径 (默认是 “~/.ollama/models”)
OLLAMA_KEEP_ALIVE 模型在内存中保持加载的持续时间 (默认是 “5m”)
OLLAMA_DEBUG 设置为 1 以启用额外的调试日志

Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*

ollama 提供给外部访问_第1张图片

3、重启ollama

 systemctl restart ollama

4、postMan访问效果

post请求
url:http://xx.xx.xx.xx:11434/v1/chat/completions

POST:http://xx.xx.xx.xx:11434/v1/chat/completions

-H "Content-Type: application/json" 


{
	"model": "deepseek-r1:8b",
	"stream": true,
	"messages": [{
		"role": "user",
		"content": "你好"
	}]
}

ollama 提供给外部访问_第2张图片

你可能感兴趣的:(ollama,lua,开发语言)