【书生·浦语】大模型实战营—— OpenCompass 大模型评测

模型评测     

        模型评测是指对真实应用场景下模型能力提升效果的测评,可以从模型知识、推理、语言长文本、智能体、多轮对话情感、认知、价值观等方面入手。一般来说可以通过自动化客观评测、人机交互评测以及基于大模型的评测进行评测。

评测原因

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第1张图片

评测内容

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第2张图片

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第3张图片

评测方法

        大模型评测根据模型类别有不同的方法。一般来说大模型可以分为只经过预训练的基座模型以及经过了SFT 或者RHF的对话模型 。针对基座模型评测时,需要在prompt中加上一些额外的isntruct。对话模型直接采用和人类对话的方式来进行评测即可。

  • ​​​​​​基座模型:一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型(如OpenAI的GPT-3,Meta的LLaMA),往往具有强大的文字续写能力。
  • 对话模型:一般是在的基座模型的基础上,经过指令微调或人类偏好对齐获得的模型(如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语),能理解人类指令,具有较强的对话能力。

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第4张图片

        根据评测的方式可以分为主观评测和客观评测。

  • 主观评测:人工评价
  • 客观评测:问答题、选择题、判断题等

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第5张图片

提示词工程

        如果提示词换了,模型输出错误,只能说明模型的鲁棒性很差。

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第6张图片

主流的评测框架

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第7张图片

OpenCompass 能力框架

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第8张图片

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第9张图片

大模型评测的挑战

【书生·浦语】大模型实战营—— OpenCompass 大模型评测_第10张图片

你可能感兴趣的:(人工智能)