Ollama 安装 QWen3 及配置外网访问指南

一、Ollama 安装 QWen3

安装步骤

  1. 首先尝试运行 QWen3 模型:

    ollama run qwen3

  2. 如果遇到版本不兼容错误(Error 412),表示需要升级 Ollama:

    curl -fsSL https://ollama.com/install.sh | sh

  3. 验证版本:

    ollama -v

    确保为最新版本 0.6.6。

常见问题解决

问题:反复出现版本不兼容警告

解决方案

  1. 完全卸载旧版本:

    # 停止 Ollama 服务
    pkill -f ollama
    ​
    # 删除主程序
    sudo rm -f /usr/local/bin/ollama
    ​
    # 清除数据和模型(注意这会删除所有已下载模型)
    rm -rf ~/.ollama

  2. 重新安装最新版:

    curl -fsSL https://ollama.com/install.sh | sh

  3. 确认版本:

    ollama -v

二、配置外网访问

使用 ngrok 暴露服务

  1. 安装 ngrok:

    curl -sSL https://ngrok-agent.s3.amazonaws.com/ngrok.asc | \
      sudo tee /etc/apt/trusted.gpg.d/ngrok.asc >/dev/null && \
      echo "deb https://ngrok-agent.s3.amazonaws.com buster main" | \
      sudo tee /etc/apt/sources.list.d/ngrok.list && \
      sudo apt update && \
      sudo apt install ngrok

  2. 配置认证令牌(从 ngrok 官网获取):

    ngrok config add-authtoken <你的TOKEN>

  3. 启动端口转发:

    ngrok http 11434 --url https://xxxx.ngrok-free.app

正常会出现以下信息:

Ollama 安装 QWen3 及配置外网访问指南_第1张图片

验证外网访问

使用获得的 ngrok URL(如 https://xxxx.ngrok-free.app)测试 API:

curl https://xxxx.ngrok-free.app/api/generate -d '{
  "model": "qwen3",
  "prompt": "你好,你是谁?",
  "stream": false
}'

注意事项

  1. 安全警告:直接暴露 Ollama 到公网存在风险,建议:

    • 添加身份验证

    • 限制访问IP

    • 仅在内网使用或通过VPN访问

  2. 性能考虑:通过 ngrok 的免费隧道有带宽限制,对于大模型响应可能较慢

  3. 备选方案:可以考虑使用 Cloudflare Tunnel 或其他内网穿透工具替代 ngrok

  4. 服务管理:对于生产环境,建议配置 ngrok 为系统服务:

    sudo systemctl enable ngrok
    sudo systemctl start ngrok

如需更长期稳定的域名,建议升级 ngrok 付费计划或使用自有域名配置。

你可能感兴趣的:(linux,服务器,网络)