Mixture of Experts（MoE）学习笔记

1 学习动机

第一次了解到MoE（Mixture of experts），是在GPT-4模型架构泄漏事件，听说GPT-4的架构是8个GPT-3级别大小的模型以MoE架构（8*220B）组合成一个万亿参数级别的模型。不过在这之后开源社区并没有对MoE架构进行很多的探索，更多的工作还是聚焦在预训练新的大模型，在Llama 2或其他模型上做Fine-tune，以及扩展大模型的Context Length。

12月8号，Mistral突然在推特上发布了一条磁力链接，里面指向的是其最新的MoE模型Mixtral 8x7B。在其最新的Blog中[2]，Mixtral 8x7B展现出了强大的能力，在多个指标上超越Llama 2，直指ChatGPT-3.5，而其推理时只需要消耗一个13B级别模型的计算量。我之前曾尝试过Mistral发布的Mistral 7B模型，这个模型被誉为最强7B模型，以7B的参数量超越了一众13B模型，如今发布的MoE模型又是一记重磅炸弹。

MoE架构的最大优势在于横向地拓展模型。MoE架构可以在目前已经非常巨大的模型上继续增加模型参数量，使模型的能力继续得到增强，同时，在推理时，可以通过Router只路由到比如8个Experts中的两个，显著降低推理成本。MoE面临的最大问题在于训练困难，训练的时候需要极力避免所有请求都被导向一两个Expert