代码星辰：探索 benchmark 构建的奥秘之旅

当夜幕降临，程序员们仰望着闪烁的屏幕，仿佛看见了无尽星辰。代码世界也是如此，每一行代码，每一个测试样例，都像是天际间的星辰耀动。而在这片“代码星海”中，如何评估大语言模型（LLMs）在编程任务上的表现，就像天文学家借助望远镜探索宇宙奥秘一般关键。近日，一篇题为《How Should I Build A Benchmark? Revisiting Code-Related Benchmarks For LLMs》的研究论文，为我们揭开了代码相关 benchmark 的构建秘密，描绘了一条贯穿设计、构造、评估、分析与发布全过程的完整蓝图。本篇文章便带你通过这场代码领域的星际探险，深入了解如何构建高质量、可靠而透明的 benchmark，以及这其中那些令人拍案叫绝、细思极恐的细节。

---

前言：代码世界的星辰大海

正如19世纪科学巨匠开拓自然定律时所言：“如果你不能测量它，你就无法改进它。”在当今 AI 与大语言模型飞速发展的时代，benchmark 的作用愈发重要。然而，随着越来越多的代码相关 benchmark 出现，也暴露出大量亟待解决的问题：诸如数据质量不足、无法完全复现、开源不全、引用存在漏洞等等。正因如此，HOW2BENCH 这套包含 55 项详细指标的指南应运而生，指导着研究者如何从设计到发布，全面严谨地构建 benchmark。通过