AI不跑分|国内外七款大模型,哪款是真正的训猫大师?

2024 CES ,这场属于全球科技迷的消费电子狂欢在终于Las Vegas落下帷幕。

参赛选手

智谱清言(GLM-4)、文心一言、通义千问、MINIMAX(abab6-chat)、GPT-4、Bard(Genmini Pro)、Claude2。

第一轮提示:请制订一个猫咪学校的行为守则。

智谱清言(GLM-4)

智谱刚刚发布的 GLM-4 模型,可以很明显的感受到这是模仿了一个现实中的学校守则来改写的。包括像是:“不追跑打闹”、“上下楼梯靠右行驶”这些耳熟能详的规则,都是现实中针对人类而设计的。不过他也进行了一些针对猫咪的改写,比如“不能咬伤、抓伤其他猫咪”的规则,但并不多。

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第1张图片

文心一言4.0

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第2张图片

通义千问

通义千问和文心一言在守则中分成了给猫咪和给家长两类规则,比如文心一言中规范猫咪不能随地大小便,而家长需要确保猫咪完成玩耍、探索这样的家庭作业,给猫咪提供健康饮食;在通义千问中,规范猫咪不能破坏学校里的家具,规范家长需要提供干净的猫窝等等。

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第3张图片

MINIMAX(abab6-chat)

minimax刚刚发布的abab6-chat模型,就有非常明显的“猫属性”。比如规范不能随意跳上主人的床、定期剪指甲、定期清理猫砂盆、不得挑食、外出带牵引绳等等。每一条都是写在了每一个养猫人的心坎里,按照这个猫咪学校的守则,如果猫咪真的能通过这个学校变得懂事,那这将会是一个有着巨大市场的好生意。(我都想让我家狗去上课了)

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第4张图片

ChatGPT(GPT-4)

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第5张图片

Bard(Gemini Pro)

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第6张图片

Claude2

像是GPT-4、Claude2和Genmini这类国外模型,整体风格和性格在我们没有给出额外身份设置的前提下,都是一个冰冷的机器人的形象。在对话和答案中并没有突出的风格。

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第7张图片

看完上面 7 个模型生成的结果,一眼望过去似乎这七位都能比较准确的完成布置的任务。

但如果细看他们生成的猫咪学校守则细则,就会发现他们各有各的不同。

这时候其实会很好奇,这些模型是如何理解“猫咪学校”这个场景的?到底是基于什么样的想法来生成了这些规则?

于是我们开始了第二轮提示。

第二轮提示:你所理解的猫咪学校是什么?

智谱清言(GLM-4)

综合两轮提示,我们能看到这些模型在一致性方面表现的能力。

智谱的GLM-4之所以像是模仿现实中的学校守则,是因为在它的认知里,猫咪学校本身是一个基于人类想象,体现人类对于宠物行为管理、教育理念的虚拟场景。所以大部分都是基于人类现有的规则而制订。

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第8张图片

文心一言4.0

文心一言则将猫咪学校看做一个真实可能存在的场景,在它的认知里,猫咪学校真实存在且非常有益,像是一个活在童话里的宝宝。

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第9张图片

通义千问

通义千问虽然也将守则设置的非常真实,但在通义千问的眼里,猫咪学校只是一个模拟经营类的游戏,它是以游戏的视角去设置守则规范。不得不说通义千问跟文心一言相比,就是一整个人间清醒。

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第10张图片

MINIMAX(abab6-chat)

minimax则是以宠物店、兽医诊所或是专门的猫咪训练中心为蓝本,设置了整套规则,所以才会如此恰到好处,在minimax的眼中,从没将“学校”理解为人类学习的场所,而是现实中的猫咪训练中心类似的地方。

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第11张图片

ChatGPT(GPT-4)

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第12张图片

Bard(Gemini Pro)

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第13张图片

Claude2

在GPT-4和Gemini Pro的眼中,猫咪学校是一个“假想”的概念,而Claude2则跟minimax一样将猫咪学校理解为宠物训练中心。仅从本次测试的三款国外模型来看,从有趣程度排名是Claude2>GPT-4>Gemini Pro。

AI不跑分|国内外七款大模型,哪款是真正的训猫大师?_第14张图片

整体来说,这次仅是两轮测试,各个模型都能保证前后表达统一。

国内大模型除了minimax的abab6以外,在默认情况下,就已经有了一层相对明显的性格和倾向。国外的几款模型虽然回答也有所不同,各有各的侧重点,但整体性格都不够突出。

最后有一个额外的小发现,就是在国内越接近C端的模型产品,越会在默认设置中赋予一次性格,来让生成的语言有趣、平易近人,以此来达到吸引用户的效果。

你可能感兴趣的:(人工智能,chatgpt,gpt)