论文翻译：NeurIPS-2024.Zhehao Zhang.DARG: Dynamic Evaluation of Large Language Models via Adaptive

DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph

https://openreview.net/pdf?id=5IFeCNA7zR

DARG：通过自适应推理图动态评估大型语言模型

摘要

当前通过静态基准测试评估大型语言模型（LLMs）的范式存在显著局限性，例如易受数据污染影响，以及缺乏适应LLMs不断演变能力的灵活性。因此，迫切需要能够适应并生成具有控制复杂性的评估数据的评估方法。在这项工作中，我们引入了通过自适应推理图演化动态评估LLMs（DARG），以动态扩展当前基准测试，控制复杂性和多样性。具体来说，我们首先提取当前基准测试中数据点的推理图，然后扰动这些推理图以生成新的测试数据。这些新生成的测试样本可以在保持与原始基准测试类似的语言多样性的同时，具有不同级别的复杂性。我们进一步使用代码增强的LLM来确保新生成数据的标签正确性。我们将我们的DARG框架应用于四个领域中的多样化推理任务，并使用了15个最先进的LLMs。实验结果表明，几乎所有LLMs在复杂性增加时都经历了性能下降