手把手教你在 Windows10 本地部署 ChatGLM

近年来，大语言模型（LLM）如雨后春笋般涌现，ChatGLM 作为清华大学和智谱AI推出的开源中文对话模型，因其优秀的中文能力和开放的使用协议，在国内开发者社区迅速走红。今天这篇文章将手把手教你如何在 Windows10 系统下本地部署 ChatGLM，让你轻松体验国产大模型的强大能力。

---

✅ 一、部署准备

1.1 硬件要求

• 操作系统：Windows 10

• 显卡：建议使用支持 CUDA 的 NVIDIA 显卡（如 RTX 3060 以上，显存至少 6GB）

• 内存：至少 8GB

• 存储空间：至少预留 10GB

如果没有 NVIDIA 显卡也可以用 CPU 模式，但速度会较慢。

1.2 软件环境

• Python 3.10 或以上版本

• Git

• Conda（推荐使用 Miniconda 或 Anaconda）

• PyTorch（CPU 或 GPU 版本）

---

✅ 二、安装部署步骤

2.1 安装 Anaconda 或 Miniconda（推荐）

下载安装后打开“Anaconda Prompt” 或 Windows 命令行窗口。

2.2 创建并激活 Python 虚拟环境

conda create -n chatglm python=3.10 -y conda activate chatglm

2.3 安装 Git 并克隆 ChatGLM 仓库

git clone https://github.com/THUDM/ChatGLM3 cd ChatGLM3

如果你想使用 ChatGLM2 或 ChatGLM-6B，也可以切换对应分支。

2.4 安装依赖

pip install -r requirements.txt

此外，安装 PyTorch：

• 如果你有 NVIDIA 显卡并已安装 CUDA 驱动：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

• 如果没有 GPU，使用 CPU 版本：

pip install torch torchvision torchaudio

---

✅ 三、下载模型权重

ChatGLM 的模型权重可通过 huggingface 获取。你需要先注册一个 huggingface 账号，并登录：

pip install huggingface_hub huggingface-cli login

然后运行：

python download_model.py

（或者手动从 https://huggingface.co/THUDM 下载 ChatGLM 模型并放入 ChatGLM3 目录下的 THUDM 文件夹）

---

✅ 四、运行本地对话程序

ChatGLM 官方已经提供了本地 CLI 和 Web UI 两种交互方式。

4.1 命令行方式运行

python cli_demo.py

启动后你可以直接在命令行和 ChatGLM 聊天：

欢迎使用 ChatGLM，请输入内容开始对话： 你是谁？ ChatGLM：我是一个由清华大学和智谱AI联合训练的大语言模型……

4.2 启动 Web UI

ChatGLM3 内置 gradio 界面：

python web_demo.py

然后在浏览器中访问 http://127.0.0.1:7860 就可以使用 Web UI 与模型对话。

---

✅ 五、常见问题与解决

❓ 问题1：显存不够怎么办？

解决方案：

在 cli_demo.py 或 web_demo.py 中添加低资源模式：

model = AutoModel.from_pretrained(..., trust_remote_code=True).half().quantize(4).cuda()

或：

model = model.eval().to(torch.device("cpu")) # 使用 CPU 模式

---

❓ 问题2：下载模型太慢？

可以手动下载 .bin 文件放到对应路径。也可以使用 huggingface 的国内镜像，或在有条件的服务器上下载后复制。

---

❓ 问题3：如何中止对话程序？

在命令行中按下 Ctrl + C 即可中止运行。

---

✅ 六、部署体验与下一步建议

至此，你已经成功在 Windows10 本地部署了 ChatGLM，无论是用来学习 LLM 技术、搭建问答系统，还是构建中文 Copilot，它都能成为你探索 AI 的好伙伴。

下一步建议：

• 尝试 fine-tuning（微调）ChatGLM 以适配特定领域

• 封装为本地 API 接口，用于集成到其他项目

• 部署为桌面程序或企业内部系统