2024年7月手把手教你搭建，企业级AI大模型知识库问答系统

安装 Docker

下载 Docker 并安装 https://www.docker.com/products/docker-desktop/

安装 Ollama

下载 Ollama 并安装 https://ollama.com/

下载 Chat 模型

我使用阿里的通义千问作为演示，根据自己的电脑配置情况，选择合适的模型。

总体来说，模型是越大，效果越好，但是对电脑的配置要求也越高

• 4b 模型要 3GB内存
• 7b 模型要 8GB 内存
• 13b 模型要 16GB 内存
• 70b 模型要 64GB 内存

特别注意：你如果要用于商业用途，需要申请授权，否则只能用于个人学习

• 千问许可说明: https://ollama.com/library/qwen:latest/blobs/41c2cf8c272f
  申请商用授权: https://dashscope.console.aliyun.com/openModelApply/qianwen

下载模型

ollama pull qwen:7b

测试API请求

等模型下载和安装好后，执行下面的命令，测试API请求是否成功

Mac/Linux下执行：

curl 'http://localhost:1143