大规模预训练语言模型的参数高效微调

 人工智能咨询培训老师叶梓 转载标明出处

大规模预训练语言模型（PLMs）在特定下游任务上的微调和存储成本极高，这限制了它们在实际应用中的可行性。为了解决这一问题，来自清华大学和北京人工智能研究院的研究团队探索了一种优化模型中一小部分参数的方法，同时保持其他参数不变，以大幅降低计算和存储成本。研究团队提出了“delta-tuning”这一概念，将优化的参数部分称为“delta”，即在训练过程中被“改变”的参数部分。他们对现有的delta-tuning方法进行了统一的分类，并探讨了这些方法之间的联系和差异。

• 论文链接：Parameter-efficient fine-tuning of large-scale pre-trained language models | Nature Machine Intelligence

• OpenDelta 工具包：GitHub - thunlp/OpenDelta: A plug-and-play library for parameter-efficient-tuning (Delta Tuning)

方法

Delta-tuning