04-参数量差20倍！QwQ 32B性能竟超越DeepSeek 671B？性能对比实测

前不久，阿里开源了它的推理模型QwQ-32B，在只有32B参数的情况下，性能比肩671B的deepseek-R1。这引起了我极大的兴趣，意味着可以在本地部署性能媲美满血版deepseek R1的大模型了，咱们这就开始吧！

1.QwQ介绍

QwQ 是 Qwen 系列的推理模型。与传统的指令调优模型相比，具备思考和推理能力的 QwQ 在下游任务中，尤其是在处理难题时，能够显著提高性能。QwQ-32B 是一个中等规模的推理模型，能够在与最先进的推理模型（例如 DeepSeek-R1、o1-mini）的竞争中取得优异的表现。

2、下载模型

可以在魔搭社区下载模型：
https://www.modelscope.cn/models/Qwen/QwQ-32B-GGUF/files
模型提供了多个版本，我们选择q4_0的量化版本，也就是qwq-32b-q4_0.gguf，下载到本地。
下载完成后我们就可以进行后面的操作了。

3.运行模型

不知道如何编译和使用llama.cpp的请看：
01-简单几步！在Windows上用llama.cpp运行DeepSeek-R1模型

3.1 命令模式

./llama-cli -m “D:\work\ai\qwq-32b\model\qwq-32b-q4_0.gguf”
模型加载完成，可以进行对话啦~

3.2 服务模式

或使用服务模式运行

./llama-server -m "D:\work\ai\qwq-32b\model\qwq-32b-q4_0.gguf" -ngl 48 --port 8080

运行完成后通过浏览器访问进行对话：http://127.0.0.1:8080/

4 性能对比实测

下面我提出了一个问题进行测试：matlab是否已经被python取代？分别通过官网的deepseek R1和我本地部署的QwQ-32B进行对话。截图分享给大家：

4.1 deepseek-R1的回答

4.2 QwQ-32B的回答

两者回答的核心内容基本相同。不同的是，deepseek开启了联网模式，而我本地部署的qwq是没有联网模式的。从回答上看，qwq要更详细一些，但总体上我觉得大同小异。
大家觉得哪个回答更好呢？欢迎评论区留言。

更多文章>>
01-简单几步！在Windows上用llama.cpp运行DeepSeek-R1模型
02-简单几步！在Windows上用GPU运行DeepSeek-R1模型
03-超简单，小白也能使用deepseek构建本地知识库！
04-参数量差20倍！QwQ 32B性能竟超越DeepSeek 671B？性能对比实测