深入解析LoRA：低秩适应的高效大模型微调技术

1. 背景与动机

随着大语言模型（如GPT-3、Llama）的参数规模突破千亿级，传统全参数微调面临三大挑战：

• 显存爆炸：微调70B模型需数千GB显存（如Llama-2 70B全微调需1.2TB显存）
• 计算成本：全参数微调的计算量随模型规模呈二次增长
• 过拟合风险：大规模模型对少量下游数据易产生过拟合

LoRA（Low-Rank Adaptation）由微软研究院提出，通过低秩矩阵分解技术，将微调参数量压缩至原模型的0.1%以下，同时保持接近全微调的性能。其核心思想是在冻结预训练模型参数的基础上，仅训练少量低秩矩阵来模拟参数更新。

2. 核心原理与数学公式

2.1 低秩矩阵分解

假设预训练模型的权重矩阵为 $W_0\in {\mathbb{R}}^{d\times d}$，LoRA通过添加低秩矩阵 $BA$ 来模拟参数更新：
$$W=W_0+BA$$
其中：

• $B\in {\mathbb{R}}^{d\times r}$ 是降维矩阵
• $A\in {\mathbb{R}}^{r\times d}$ 是升维矩阵
• $r\ll d$ 为矩阵秩（通常取8-128）

这种分解将参数量从 $d^2$ 压缩至 $2rd$。例如，当 $d=4096$、r=16r=16