本地部署 闻达:一个LLM调用平台

本地部署 闻达:一个LLM调用平台

  • 1. 什么是 闻达
  • 2. Github 地址
  • 3. 安装 Miniconda3
  • 4. 创建虚拟环境
  • 5. 安装 闻达
  • 6. 下载各个 model
  • 7. 配置各个 model
  • 8. 使用 RWKV-4-Raven-14B-v11x 启动
  • 9. 使用 chatglm-6b-int4 启动
  • 10. 使用 stable-vicuna-13B 启动
  • 11. 使用 moss-moon-003-sft-plugin-int4 启动(失败)

1. 什么是 闻达

闻达:一个 LLM 调用平台。为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力。

针对特定环境的内容生成是LLM使用中的一项重要应用,实现这一目的,主要有全量微调、lora 微调、和本项目方法。但个人没有做全量微调的,lora 微调只能牺牲基础能力换单任务效果(用 6B 模型 lora 调出来的单任务效果,专门设计一个 0.5B 模型也能实现,且推理成本更低)。

而本项目采用知识库 +auto 脚本的形式为 LLM 提高生成能力,充分考虑个人和中小企业的资源问题,以及国内大背景下知识安全和私密性问题,实现使小模型获得近似于大模型的生成能力。

  • 目前支持模型:chatGLM-6B、chatRWKV、chatYuan、llama 系列以及 openaiapi 和 chatglm130b api,初步支持 moss。
  • 使用知识库扩展模型所知信息,使用 auto 提高模型生成质量和复杂问题解决能力。
  • 支持 chatGLM-6B、chatRWKV、llama 系列流式输出和输出过程中中断。
  • 自动保存对话历史至浏览器(多用户同时使用不会冲突,chatRWKV 历史消息实现方式需使用 string)
  • 对话历史管理(删除单条、清空)
  • 支持局域网、内网部署和多用户同时使用。

2. Github 地址

https://github.com/l15y/wenda.git

3. 安装 Miniconda3

下载 Conda 安装脚本,

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

运行安装脚本,

bash Miniconda3-latest-Linux-x86_64.sh

按提示操作。当提示是否初始化 Conda 时,输入 “yes”,

在这里插入图片描述

安装完成后,关闭当前终端并打开新终端,这将激活 Conda,

sudo su - root

更新 Conda 至最新版本,

conda update conda

在这里插入图片描述
在这里插入图片描述

添加必要的 Conda 通道以获取更多软件包,

conda config --add channels conda-forge
conda config --add channels defaults 

测试是否安装成功,

conda list

如果显示 Conda 及其内部包的列表,则说明安装成功。

4. 创建虚拟环境

conda create -n wenda python==3.10.6
conda activate wenda

5. 安装 闻达

git clone https://github.com/l15y/wenda; cd wenda
pip3 install -r requirements/requirements.txt \
 -r requirements/requirements-chatglm_api.txt \
 -r requirements/requirements-gpt4free.txt \
 -r requirements/requirements-openai.txt \
 -r requirements/requirements-replitcode.txt \
 -r requirements/requirements-glm6b-lora.txt \
 -r requirements/requirements-llama.txt \
 -r requirements/requirements-qdrant.txt 
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
conda install -c huggingface transformers==4.27.4
conda install accelerate -c conda-forge
pip install cchardet

6. 下载各个 model

cd ./model
git clone https://huggingface.co/THUDM/chatglm-6b-int4
git clone https://huggingface.co/fnlp/moss-moon-003-sft-plugin-int4
git clone https://huggingface.co/replit/replit-code-v1-3b
wget -c https://huggingface.co/TheBloke/stable-vicuna-13B-GGML/resolve/main/stable-vicuna-13B.ggml.q5_1.bin
wget -c https://huggingface.co/BlinkDL/rwkv-4-raven/resolve/main/RWKV-4-Raven-14B-v11x-Eng99%25-Other1%25-20230501-ctx8192.pth -O RWKV-4-Raven-14B-v11x.pth
cd ..

7. 配置各个 model

cp example.config.yml config.yml
vi config.yml

--- 将各个 model 的 path 修改正确
llm_models:
  rwkv:
     path: "model/RWKV-4-Raven-14B-v11x.pth"      #rwkv模型位置"
  glm6b:
     path: "model/chatglm-6b-int4"
  llama:
     path: "model/stable-vicuna-13B.ggml.q5_1.bin"
  moss:
     path: "model/moss-moon-003-sft-plugin-int4"
  replitcode:
     path: "model/replit-code-v1-3b"
---

8. 使用 RWKV-4-Raven-14B-v11x 启动

启动,

./run_rwkv.sh

访问 http://127.0.0.1:17860/,问它清华大学在哪里?
本地部署 闻达:一个LLM调用平台_第1张图片

9. 使用 chatglm-6b-int4 启动

启动,

./run_GLM6B.sh

访问 http://127.0.0.1:17860/,问它清华大学在哪里?

本地部署 闻达:一个LLM调用平台_第2张图片

10. 使用 stable-vicuna-13B 启动

启动,

./run_llama.sh

访问 http://127.0.0.1:17860/,问它清华大学在哪里?

本地部署 闻达:一个LLM调用平台_第3张图片

11. 使用 moss-moon-003-sft-plugin-int4 启动(失败)

启动,

./run_moss.sh

启动失败,之后有时间调查。

完结!

你可能感兴趣的:(LINUX,python,开发语言,闻达LLM,LLM,本地部署)