LLM-模型大小:GPU显卡内存大小、模型大小、精度、batch_size关系

LLM-模型大小:GPU显卡内存大小、模型大小、精度、batch_size关系_第1张图片

 对于LLaMa-6b模型来说

LLM-模型大小:GPU显卡内存大小、模型大小、精度、batch_size关系_第2张图片

1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为:

LLM-模型大小:GPU显卡内存大小、模型大小、精度、batch_size关系_第3张图片

2、 每个样本需要的内存大小():

3、基于第1/2条,对于A100显卡(80GB RAM)来说,batch_size最大可以设置为50

LLM-模型大小:GPU显卡内存大小、模型大小、精度、batch_size关系_第4张图片

你可能感兴趣的:(LLM,batch,深度学习,开发语言)