VeRA: Vector-based Random Matrix Adaptation

本文是LLM系列文章，针对《VeRA: Vector-based Random Matrix Adaptation》的翻译。

摘要

低秩（LoRA）是一种流行的方法，它可以在微调大规模语言模型时减少线性参数的数量，但在扩展更大的模型时仍然面临着巨大的存储挑战，需要大量的用户或任务自适应的模型。在这项工作中，我们提出了基于向量的随机矩阵自适应（VeRA），它将线性参数的数目减少了LoRA的10倍，同时保持了相同的性能。它通过使用在所有层共享的低阶矩阵的一部分来实现估计，而不是使用小规模的向量。GLUEA和E2E基准点的演示效果都不重要，以及它在说明中的应用——使用Llama27B模型，只有1.4M参数。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们介绍了一种微调方法，与LoRA相比，该方法显著减少了可训练参数的数量，并且在精度上没有损失。具体而言，在RoBERTalarge的GLUE基准上，它实现了参数减少十倍，在GPT-2medium的E2E基准上减少了三倍。这种方法特别适合需要频繁交换大量微调模型的场景，例如为个人用户个性化的基于云的人工智能服务。由于缩放矢量的最小大小，许多版本可以驻留在单个GPU的有限内存中，从而大大提高了服务效率，并消除了将特定模型加载到内存中的瓶颈。
虽然目前的研究集中在语言模型和Transformer体系结构上，但该方法在不同体系结构和领域中的适用性仍然是未来研究的一个领域。此外，该方法的性能可能受益于额外的改进，例如动态参数预算分配，或不同的初始化和正则化技术。