五分钟使用ollama部署本地大模型

1、ollama简介

        ollama是一个可以在本地部署大语言模型的平台，与传统的云端AI服务不同，ollama可以直接在本地设备上运行集成大模型，减少通信延迟，保证数据安全性，适用于搭建一个本地大模型应用。ollama对于环境的要求，需要python3.8及以上的版本，如果需要使用GPU进行加速，还需要nNAVIDIA显卡和CUDA驱动。

2、ollama安装

        本次分享基于linux系统操作，其他系统按照官网文档，按照界面操作提示一步一步进行即可。

2.1、物理机部署

        物理机部署有两种方式：1）、使用脚本直接安装，升级（这种方式有种缺点，就是不确定环境依赖是否完整）；2）、采用安装包离线安装的方式（这种方式博主尝试几次，坑比较多，不建议新手使用）；

# 1、采用安装脚本进行安装
curl -fsSL https://ollama.com/install.sh | sh
# 2、采用下载安装包进行安装
# 下载
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
# 解压到指定目录
tar -C /usr -xzf ollama-linux-amd64.tgz
# 启动
ollama serve
# 测试
ollama -v
# 3、GPU 版本安装
# 下载
curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
# 解压
tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

 配置服务启动

# 将ollama配置成服务模式
vim /etc/systemd/system/ollama.service

# 输入以下内容
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

 配置完上述服务，ollama就可以通过systemctl命令进行管理：

# 1、设置开机自启/关闭自启
systemclt enable/disable ollama
# 2、启动
systemclt start ollama
# 3、停止
systemclt stop ollama
# 4、重启
systemclt restart ollama
# 5、查看状态
systemctl status ollama
# 6、刷新配置
systemctl daemon-reload

2.2、采用docker安装

        上述物理机安装遇到的问题较多，依赖不全，导致安装不成功，推荐采用docker安装的方式进行安装。

2.2.1、安装docker

        通过yum进行安装，详细可参考博文 一文让你轻松使用docker-CSDN博客。下面只列出主要步骤：

# 1、安装需要的yum工具包
yum install -y yum-utils
# 2、设置国内的镜像仓库（执行此命令后会在 /etc/yum.repos.d 目录下生成 docker-ce.repo 文件），下载docker安装包会很快
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 3、更新软件包索引（建立元数据缓存）
yum makecache fast
# 4、安装最新版本的docker软件
yum install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

 docker服务管理：

# 启动docker
sudo systemctl start docker
# 停止docker
sudo systemctl stop docker
# 重启docker
sudo systemctl restart docker
# 查看docker运行状态
sudo systemctl status docker
# 设置docker开机自启动
sudo systemctl enable docker
## 注：在执行停止命令时出现：“Warning: Stopping docker.service, but it can still be activated by: docker.socket”
# 这意味着docker服务还处在监听的状态，如果继续执行docker命令，会自动启动docker服务。
# 如果想要彻底停掉docker：直接执行 systemctl stop docker.socket，就可以彻底停止了。

 查看docker和docker compose 版本

docker compose version
docker -v

注：这里的docker compose和老版本需要手动安装docker-compose有区别，最新的 Docker 安装趋势是自动以插件的形式安装 Docker Compose，此时命令格式为 docker compose。同时，也可以支持同时采用两种方式安装 Docker Compose，并可以同时使用 docker-compose 和 docker compose 这两种命令格式。

2.2.2、docker安装ollama

# 1、拉取 ollama 镜像
docker pull ollama/ollama
# 2、运行 ollama
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.2.3、ollama常用命令

# 1、启动ollama
  ollama serve 
# 2、创建模型，通过Modelfile      
  ollama create
# 3、查看模型的详细信息
  ollama show
# 4、运行模型
  ollama run   
# 5、停止模型
  ollama stop 
# 6、拉取模型
  ollama pull
# 7、推送模型
  ollama push       
# 8、查看本地模型列表
  ollama list        
# 9、查看正在运行的模型列表
  ollama ps          
# 10、拷贝模型
  ollama cp         
# 11、删除模型
  ollama rm          
# 12、ollama帮助命令
  ollama -h/--help  
# 13、查看ollama版本
  ollama -v/--version 

3、测试结果

        本次测试通过llama3.2大模型进行测试(确保之前已经拉取ollama镜像、并且已经将ollama运行起来)，测试结果如下：

# 1、进入ollama容器
docker exec -it ollama bash
# 2、运行模型
ollama run llama3.2

 注：结束聊天使用 ctrl + D，或者输入 /bye。退出容器： ctrl + p + q。