大模型训练显卡选择

大模型训练显卡对比

大模型训练时 A100 是首选 ，A40 用于推理，目前还推出了 H100 为下一代替换 A100 的产品。

大模型的训练用 4090可以吗？

大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。事实上，H100/A100 和 4090 最大的区别就在通信和内存上，算力差距不大。

	H100	A100	4090
Tensor FP16 算力	989 Tflops	312 Tflops	330 Tflops
Tensor FP32 算力	495 Tflops	156 Tflops	83 Tflops
内存容量	80 GB	80 GB	24 GB
内存带宽	3.35 TB/s	2 TB/s	1 TB/s
通信带宽	900 GB/s	900 GB/s	64 GB/s
通信时延	~1 us	~1 us	~10 us
售价	$30000~$40000	$15000	$1600