和H100相比,英伟达的H20、L20 和 L2 芯片性能如何?

据媒体最新报道,英伟达即将推出至少三款新的AI芯片,包括 H20 SXM、PCIe L20 和 PCIe L2,以替代被美国限制出口的H100。这三款芯片均基于Hopper GPU 架构,最高理论性能可达296TFLOP(每秒浮点运算次数,也叫每秒峰值速度)。

几乎可以肯定的是,这三款AI芯片均是H100的“阉割版”或“缩水版”。

和H100相比,英伟达的H20、L20 和 L2 芯片性能如何?_第1张图片

理论上H100比H20的速度快了6.68倍。据分析师Dylan Petal最新发布的一篇博文,即使H20的实际利用率能达到90%,其在实际多卡互联环境中的性能仍只能接近H100的50%。

也有媒体称,H20的综合算力仅相当于H100的20%,且由于增加了HBM显存和NVLink互联模块,算力成本显著提高。

不过,H20 的优点也很明显,在大语言模型(LLM)推理方面比H100快了20%以上。理由是H20在某些方面与明年要发布的下一代超级AI芯片H200相似。

英伟达已经做出这三款芯片的样品,H20 和

你可能感兴趣的:(#,LLM/部署&推理,人工智能,大数据)