【深度学习】LoRA: Low-Rank Adaptation of Large Language Models，论文解读

文章：
https://arxiv.org/abs/2106.09685

摘要

自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练，并适应特定任务或领域。随着我们预训练更大的模型，全面微调，即重新训练所有模型参数，变得不太可行。以GPT-3 175B为例 - 部署独立的微调模型实例，每个模型有175B个参数，成本过高。我们提出了低秩适应，或LoRA，它冻结了预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。与使用Adam微调的GPT-3 175B相比，LoRA可以将可训练参数数量减少10,000倍，GPU内存需求减少3倍。LoRA在RoBERTa、DeBERTa、GPT-2和GPT-3的模型质量上表现出与微调相当或更好的性能，尽管它具有更少的可训练参数、更高的训练吞吐量，并且与适配器不同，没有额外的推理延迟。我们还对语言模型适应中的秩缺失进行了实证研究，这揭示了LoRA的有效性。我们发布了一个软件包，可以方便地将LoRA与PyTorch模型集成，并在https://github.com/microsoft/LoRA 上提供我们的RoBERTa、DeBERTa和GPT-2的实现和模型检查点。<