Tuning Language Models by Proxy

 Tuning Language Models by Proxyhttps://arxiv.org/html/2401.08565v4

1. 概述

        尽管大型预训练语言模型的通用能力越来越强，但它们仍然可以从额外的微调中受益，以更好地实现所需的行为。例如，它们通常被微调以遵循指令（Ouyang等人，2022年）、特定的兴趣领域（Gururangan等人，2020年）或特定任务（Raffel等人，2020年）。然而，微调这些模型变得越来越资源密集，或者在模型权重是私有的情况下变得不可能（例如，GPT-4；Op