Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws

本文是LLM系列文章，针对《Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws》的翻译。

摘要

大型语言模型（LLM）缩放定律是一种经验公式，用于估计由于参数量和训练数据的增加而导致的模型质量的变化。然而，这些公式，包括流行的DeepMind Chinchilla比例定律，忽略了包括推理成本。我们修改Chinchilla缩放定律来计算最优LLM参数计数和预训练数据大小，以训练和部署给定质量和推理需求的模型。我们从计算预算和实际成本两个方面进行了分析，发现LLM研究人员预计会有相当大的推理需求（约1B的请求），应该训练比Chinchilla最优模型更小、更长的模型。

1 引言

2 计算最优化

3 估计真实世界的成本最优性

4 结论

在这项工作中，我们修改了Chinchilla比例定律，以考虑推理的计算和现实成本。随着推理需求接近预训练数据大小，额外的成本将最优参数与token的比率推向更小、训练时间更长的模型。
我们对Chinchilla比例定律做出了强有力的假设，我们的分析仅适用于这些定律成立的情况。需要进一步的工作来实验验证我们的公式，并确定缩放定律是否适用于极端范围，在极端范围内，预训练token超过模型参数几个数量级。