SFT + LoRA 结合使用原理及最佳实践

SFT + LoRA 结合使用原理及最佳实践

一、核心原理

1. 技术定位

SFT（监督微调）与LoRA（低秩适应）的结合，实现了全参数微调效果与高效参数更新的平衡：

• SFT：通过标注数据调整模型整体行为
• LoRA：仅训练注入的低秩矩阵，冻结原始参数

2. 数学表达

原始全参数微调：
$$h=Wx\to h=(W+\Delta W)x$$
LoRA改造后：
$$h=Wx+BAx(B\in {\mathbb{R}}^{d\times r},A\in {\mathbb{R}}^{r\times k},r\ll d)$$

3. 协同优势

方法	训练参数量	显存占用	灾难性遗忘风险
全参数SFT	100%	高	高
纯LoRA	0.1%-1%	低	低
SFT+LoRA	1%-10%	中	中

---

二、最佳实践指南

1. 实施步骤

阶段一：基础SFT微调

# 使用1-5%数据全参数微调（热身训练）
trainer = Trainer(
    model=model,
    args=TrainingArguments(
        learning_rate=5e-5,
        per_device_train_batch_size=8,
        num_train_epochs=1  # 短时微调
    ),
    train_dataset=subset_dataset
)

阶段二：LoRA增量训练

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=8,  # 秩
    target_modules=["q_proj", "v_proj"],
    lora_alpha=32,
    lora_dropout=0.05
)
model = get_peft_model(model, lora_config)  # 冻结原参数

2. 参数配置策略

参数	推荐值	作用说明
LoRA秩®	4-64	影响适配能力，越大训练成本越高
α值	r的2-4倍	控制缩放幅度
Dropout	0.05-0.2	防止过拟合
目标模块选择	Q/V矩阵 > K/O矩阵	影响微调有效性

3. 数据分配方案

前5%

剩余95%

全量数据

全参数SFT

LoRA微调

---

三、典型应用场景

1. 领域适配（医疗/法律）

• SFT阶段：通用医学知识（1万样本）
• LoRA阶段：专科数据（如心血管病3000样本）

2. 多任务学习

# 为不同任务创建独立LoRA适配器
peft_config = LoraConfig(
    task_type="SEQ_CLS",
    inference_mode=False,
    modules_to_save=["classifier"]  # 解冻分类头
)

3. 持续学习

1. 保留基础SFT模型
2. 对新任务添加新LoRA模块
3. 通过adapter_name参数切换

---

四、效果优化技巧

1. 渐进式秩调整

# 训练后期增大秩
if epoch > total_epochs/2:
    lora_config.r = min(64, lora_config.r * 2)

2. 混合精度训练

# 启动命令
accelerate launch --mixed_precision fp16 train.py

3. 动态模块选择

# 根据梯度重要性选择目标模块
targets = [name for name, param in model.named_parameters()
           if param.requires_grad and param.grad.std() > threshold]

---

五、性能对比数据

方法	参数量	训练速度	医疗NER F1
全参数微调	7B	1x	89.2
纯LoRA	70M	3.2x	86.7
SFT+LoRA	700M	1.8x	88.9

---

六、常见问题解决方案

1. 过拟合

• 方案：增加LoRA Dropout（0.1→0.3）
• 监测：验证集loss持续上升时早停

2. 知识遗忘

• 方案：保留10%基础SFT数据混合训练
• 正则化：添加KL散度惩罚项

3. 显存不足

# 启用梯度检查点
model.gradient_checkpointing_enable()
# 使用4-bit量化
model = quantize_model(model, bits=4)

---

七、推荐工具链

1. 训练框架：HuggingFace PEFT + Accelerate
2. 监控工具：Weights & Biases（记录LoRA权重分布）
3. 部署方案：

   # 合并LoRA权重（可选）
   model = model.merge_and_unload()
   

最新进展：微软2024年提出的LoRA-FA可进一步减少30%训练显存，而Google的VeRA技术允许共享LoRA投影矩阵，适合超多任务场景。建议根据任务复杂度选择：简单任务用纯LoRA，复杂任务用SFT+LoRA混合。