模型蒸馏：让大模型的智慧“浓缩”给小模型

模型蒸馏是什么

简单来说，模型蒸馏就是让大模型将其“技能”通过“填鸭式”或“浓缩”的方式传授给小模型的过程。这样做的目的是在保持一定精度的同时，大幅降低运算成本和硬件成本。

• 大模型可以看作是一位资深领域的老师。培养一位老师需要花费大量的物力、财力和精力（训练成本高）。现在的高校吸引优质老师，不仅要提供安家费，还要提供必要的生活开支（部署模型需要大量的基础设施）。
• 小模型则像是一个初中生，涉世经验少，知识有限，外出可能一个硬座就能搞定（部署成本低，CPU可能就可以）。

小模型想要达到大模型的能力，短期内是不可能实现的。但我们可以让大模型教会小模型一些基本的解题思路等，让初中生也能像老师一样思考问题。

比如，初中生参加某些数学竞赛时，使用传统知识很难解决，但用微积分之类的知识反而易如反掌。老师通过指导，让初中生掌握几种类似微积分的解题思路，通过训练，照葫芦画瓢，达到预期效果。

这个解题思路转移的过程，就可以理解为模型蒸馏。

以DeepSeek为例

DeepSeek提供了Q