本地部署chatglm4-9b(超简单)

参考链接:link
1.建议前去魔塔社区下载大模型,时间挺久的。。。
魔塔社区网址:link
下载模型:git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git
2.创建虚拟环境:python -m venv chatglm-9bvenv
3.激活虚拟环境:进入到chatglm-9bvenv文件夹,再进入scripts文件夹,在命令行输入activate,运行;
4.下载资源文件:link,输入git clone https://github.com/THUDM/GLM-4.git,或者下载zip文件;
5.安装依赖:从虚拟环境中进入到刚刚下载的源码中的requirements.txt的同级文件夹,输入pip install -r requirements.txt
6.进入到下载的资源文件中,打开trans_cli_demo.py文件,修改模型路径为我们下载的模型的路径;
7.输入:python trans_cli_demo.py
ok了

你可能感兴趣的:(语言模型,人工智能)