马斯克AI大模型Grok开源了！

2024年3月18日，马斯克的AI创企xAI兑现承诺，正式发布了此前备受期待大模型Grok-1。

代码和模型权重已上线GitHub: https://github.com/xai-org/grok-1

截止目前，Grok已经在GitHub上获得了35.2k颗Star，还在不断上升中。

Grok官方博客介绍：https://x.ai/blog/grok-os

遵照Apache 2.0协议开放了Grok-1混合专家模型的权重与架构，Grok-1其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿，这是迄今为止参数量最大的开源大语言模型。

Grok-1模型的技术细节和设计规格如下：

1. 基于大量文本数据上训练的基础模型，没有针对任何特定任务进行微调。
2. 混合专家模型（MoE）：采用混合专家系统设计，每个token从8个专家中选择2个进行处理。
3. 参数数量：拥有3140亿个参数，激活权重占25%。也就是有860亿激活参数，显示出模型处理语言任务的潜力。
4. 包含64个Transformer层，每层都有多头注意力块和密集块，注意力头数为查询48个，键/值8个。