论文翻译：ACL-2024.Yiming Huang.Competition-Level Problems are Effective LLM Evaluators

Competition-Level Problems are Effective LLM Evaluators
https://aclanthology.org/2024.findings-acl.803.pdf

《竞赛级问题作为有效的LLM评估者》

摘要

大型语言模型（LLMs）展示了令人印象深刻的推理能力，然而，关于这些能力以及最近潜在的数据污染问题的争论仍在持续。本文旨在评估LLMs的推理能力，特别是在解决Codeforces中最近的竞赛级编程问题方面，这些问题是由专家精心设计且独特的，需要深入理解和强大的推理技能。我们首先对GPT-4在这项任务上的零样本（zero-shot）表现进行全面评估，考虑了问题发布时间、难度和遇到的错误类型等多个方面。令人惊讶的是，GPT-4在2021年9月之后的问题上的表现一致地出现了断崖式下降，这表明了潜在的数据污染问题，以及任何现有LLM在解决未见过的复杂推理问题时面临的挑战。

我们进一步探索了各种方法，如微调、思维链（Chain-of-Thought）提示和问题描述简化。不幸的是，它们中没有一个能够