Prompt Engineering for Large Language Models

题目

大型语言模型的快速工程

简介

    随着 OpenAI 的 ChatGPT 和 Google 的 Bard 等软件的普及，大语言模型（LLM）已经渗透到生活和工作的许多方面。例如，ChatGPT 可用于提供定制食谱，建议替换缺失的成分。它可用于起草研究提案、用多种编程语言编写工作代码、在语言之间翻译文本、协助政策制定等等（Gao 2023）。用户通过“提示”或自然语言指令与大型语言模型进行交互。精心设计的提示可以带来明显更好的输出。在这篇评论中，将解释 LLM 即时工程的常见策略。此外，还将讨论 LLM 提示工程的注意事项、推荐资源和当前研究方向。将不会涵盖基于微调的即时工程策略。本文的目标是向非技术受众介绍实用且经过验证的即时工程技术。

    “逐步思考” 最著名（且易于实施）的提示工程技术之一就是简单地将“逐步思考”添加到提示末尾。东京大学和谷歌的研究人员发现，添加这句话可以提高 GPT-3（text-davinci-002 模型）在多项任务上的准确性。例如，它将 MultiArith 测试的准确率从 17.7% 提高到 78.7% (Kojima 2022)。多算术问题是需要多个步骤才能解决的算术问题。Prystawski 和合作者提出了“一步一步思考”为何以及如何如此有效的解释（Prystawski 2023）。据传闻，“一步一步思考”对于更先进的 GPT 模型（如 GPT-4）的帮助较小（增加的价值较少）。