在M4 Mac Mini集群上运行DeepSeek V3 671B

M4 Mac Mini集群上运行DeepSeek V3 671B

原创 咖农小黄 幻想发生器 2024年12月30日 10:50 天津

我们刚刚在苹果硅芯片上运行了最大的开源模型。

直接来看在8台 M4 Pro 64GB Mac Mini 集群(总内存512GB)上运行DeepSeek v3(671B)的结果:

模型 首个Token时间(秒) 每秒Token数
DeepSeek V3 671B(4位) 2.91 5.37
Llama 3.1 405B(4位) 29.71 0.88
Llama 3.3 70B(4位) 3.14 3.89

等等,DeepSeek有671B参数

你可能感兴趣的:(Deepseek原理与使用,macos)