qwen2:7b本地化部署:Ollama更新、设置、api调用qwen2服务

Ollama绝对是最简单的一种大模型部署方式,尽管该方式不支持function calling,但对于我们进行大模型的初步开发与探索已经足够。

本篇介绍了如何使用Ollama本地化部署qwen2:7b,以及进行Ollama的参数设置以及使用api调用qwen2的api服务的方法。

一、安装或者升级Ollama

运行qwen2需要Ollama版本 ollama>=0.1.42

可以通过ollama -v命令检查安装的版本。

我这里已经升级到0.1.44了满足条件。我之前是0.1.32,不满足版本要求的话,运行qwen2会显示乱码。

以下记录如何更新服务器上的Ollama版本。

官方的教程是直接使用命令:

curl -fsSL https://ollama.com/install.sh | sh

但实际执行的时候90%都会遇到网络问题不成功,只能用备用方案:

1、通过本地下载安装文件,再上传到服务器。

  1. 本地使用浏览器访问https://ollama.com/download/ollama-linux-amd64触发下载;
  2. 将下载的文件重命名为ollama;
  3. 通过winscp工具或者scp命令,将其上传至服务器目录:/usr/bin/
  4. 给文件赋予可执行权限:chmod +x /usr/bin/ollama
  5. 如果不能调到最新的Ollama,可以修改环境变量的读取顺序:

你可能感兴趣的:(语言模型,chatgpt,阿里云)