Qwen系列大模型学习笔记

1. Qwen 简介

Qwen（通义千问）是阿里巴巴推出的一系列开源大语言模型，涵盖多个参数规模，包括 7B、14B、72B 等。Qwen 具有强大的中英文理解能力，尤其在代码生成、推理、文本总结等任务上表现优秀。相比其他大模型，Qwen 在开源生态中占据重要地位，支持 Hugging Face 以及本地部署。

2. Qwen 的模型版本

Qwen 目前包含多个版本，不同规模的模型适用于不同场景：

• Qwen-7B：适合本地轻量级推理，资源消耗相对较低。
• Qwen-14B：综合能力更强，适用于更复杂的推理任务。
• Qwen-72B：适合需要高性能推理的任务，需较高显存支持。
• Qwen2.5 系列：最新版本在推理能力、代码能力等方面有较大优化。

3. 本地部署 Qwen

（1）使用 Ollama 进行本地部署

在 Mac 上，可以通过 Ollama 快速部署 Qwen：

ollama pull qwen:14b
ollama run qwen

（2）使用 text-generation-webui 进行 Web UI 交互

1. 下载并安装 text-generation-webui
2. 配置 Qwen 模型权重
3. 启动 Web UI 进行交互

4. Qwen API 体验（可选）

如果不想本地部署&#