大模型笔记10:LoRA微调

 LoRA微调的原理大模型笔记10:LoRA微调_第1张图片

大模型笔记10:LoRA微调_第2张图片

大模型笔记10:LoRA微调_第3张图片

大模型笔记10:LoRA微调_第4张图片

矩阵的秩

矩阵的秩代表一个矩阵中所含信息的大小。

  • 行秩:矩阵中互相不重复、不依赖(即线性无关)的行的最大数目。
  • 列秩:矩阵中互相不重复、不依赖的列的最大数目。

事实上,行秩和列秩总是相等的,因此我们通常直接称之为“矩阵的秩”。

 

 大模型笔记10:LoRA微调_第5张图片

大模型笔记10:LoRA微调_第6张图片

 大模型笔记10:LoRA微调_第7张图片

Transformer中微调哪些参数:

LoRA的改进版本

 

 

 大模型笔记10:LoRA微调_第8张图片

你可能感兴趣的:(笔记)