【AI 天才研究院】从 MoE 架构到 AGI：DeepSeek 将给未来带来哪些影响？

关键技术创新

DeepSeek的成本优势主要源于以下几个方面的技术创新：

1. 混合专家（MoE）架构 ：通过 选择性激活特定专家网络 ，大幅降低了计算成本。具体而言，DeepSeek MoE架构实现了：

仅用大约40%的计算量，便达到了与LLaMA2-7B差不多的效果。

这种选择性激活的方式大大提高了模型的参数效率，从而在保持高性能的同时，也能在计算资源的使用上保持高效。

2. FP8低精度训练 ：DeepSeek采用了 FP8低精度训练 ，这是一种在已知开源模型中比较少见的方法。FP8训练的优势在于：

• 训练速度 ：显著快于FP16或BF16混合精度训练
• 内存和带宽需求 ：大幅降低

这种训练方法不仅提高了计算效率，还降低了硬件需求，从而进一步降低了训练成本。

3. 分组相对策略优化（GRPO）算法 ：在强化学习阶段，