Prompt相关论文阅读(02)--Auto-CoT(2024-11-25)

论文阅读笔记

2024-11-24~2024-11-25

Auto-CoT: Automatic Chain of Thought Prompting in Large Language Models (ICLR 2023)

碎碎念：

复现代码和笔记保存到gitee仓库
上海交通大学的学生在亚马逊实习的时候的成果
ICLR2023

摘要：

LLM能够通过生成中间推理步骤执行复杂的推理。提供这些步骤用于提示演示叫做思维链提示CoT。CoT有两个主要的范式。一个利用简单的提示如“let’s think step by step”去促进回答问题前一步一步地思考；另一种是采用几个人工逐一演示的方式，每一个都由一个问题和一个引出答案的推理链组成。第二种范式的优越性能依赖于任务特异性演示的逐一手工制作。
我们证明了这种人工的努力通过用””提示生成用于演示的推理链去使用LLMs可能会被消除？？
然而，这些生成的链条往往伴随着错误。为了减轻这种错误的影响，我们发现，多样性对于自动构建演示文稿非常重要。我们提出一个自动CoT提示方法：AutoCoT。它对具有多样性的问题进行抽样，并生成推理链来构建论证。在GPT - 3的10个公开基准推理任务上，Auto - CoT始终如一地匹配或超过了需要人工设计演示的CoT范式的表现。

代码：

论文里面有代码链接，我就不放了。并且这篇论文的代码整体上非常简单，是我目前看过的论文代码里面最简单的。环境配置相关的内容作者也说的很清楚，也没有什么坑。
看代码的话主要是掌握作者所提出的核心思路。

实验环境：

python=3.7.16+torch1.8.2+cu111 spacy=3.2.2(这个不能装太新的版本，会报错)；
装的spacy模型是en-core-web-sm=3.2.0（这个需要与spacy版本对应，并且是离线装的，需要自己找教程安装。不过好在也不复杂，就是把安装包下载下来，然后pip安装即可）；
setuptools=68.0.0(配置环境的因为setuptools也报了好几次错误，所以跟版本应该也有一定关系)，然后别的包我没有装，基本上都是debug的时候报错什么包没有再pip install安装(主要是作者也没有提供requirements.txt文件，好在除了上面提到的几个包，别的也就是pandas、numpy、scikit-learn等几个)。
然后可以愉快的debug了，这篇论文时间久远了一点，我看代码主要是了解清楚是怎么样做的，这篇论文肯定是不可以作为基准模型代码了。

实验结果

略

结论

大模型使用思维链提示展示了推理能力。手工思维链的优越表现取决于手工设计的演示。为了消除此类手工设计，我们提出Aoto-CoT来自动构造演示。它对具有多样性的问题进行抽样，并生成推理链来构建示例。在10个公开的基准推理数据集上的实验结果表明，与GPT - 3相比，Auto - CoT一致匹配或超过了需要手工设计演示的CoT范式的性能。

其他

笔记都是本人的个人意见和想法，仅供参考，如果您有任何建议也非常欢迎留言指出~
2024-11-25
的的
neu 计算机科学与工程学院 研三在读