大型语言模型（LLM）评测研究最新进展

大型语言模型（LLM）评测研究最新进展

摘要

本报告全面总结了2023年至今大语言模型（LLM）评测领域的最新研究成果、主流评测框架、方法论创新、行业进展以及未来发展趋势。随着LLM技术的迅猛发展，评测体系也在不断完善与革新，从单一能力评测向多维度、多模态、更动态的评测方向发展。当前评测面临数据污染、评估方法不稳定、复现困难等挑战，未来将朝着自动化评测方法、更细粒度评测和多模态评测方向发展。

近期LLM评测相关顶会论文分析

EMNLP 2023重要论文

1. 《Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning》

   • 作者：Lean Wang, Lei Li, Damai Dai等
   • 从信息流视角探究上下文学习（ICL）工作机制，发现示例中的标签词起到锚点作用，提出锚点重加权方法提升ICL性能和演示压缩技术加速推理

2. 《Faster Minimum Bayes Risk Decoding with Confidence-based Prun