【大语言模型-论文速读】GPT的不确定性判断

【大语言模型-论文精读】GPT’s Judgements Under Uncertainty

Authors: Payam Saeedi and Mahsa Goodarzi
论文：https://arxiv.org/pdf/2410.02820

文章标题翻译

GPT的不确定性判断
Payam Saeedi Rochester Institute of Technology
Mahsa Goodarzi The State University of New York at Albany

摘要

本文研究了人类认知中的固有偏见（例如损失厌恶、框架效应和合取谬误）是否体现在GPT-4o在概率场景中的判断和决策中。通过在九种认知偏见上进行1350次实验，并分析统计与启发式推理的回答，我们展示了GPT-4o在回应具有相似底层概率表示的提示时的矛盾方法。研究结果还揭示了AI的表现参差不齐，它既展示了类似人类的启发式错误，也做出了统计上合理的决策，尽管它经历了相同提示的相同迭代。

创新点

• 认知偏见的AI体现: 研究了人类认知偏见是否以及如何体现在大型语言模型（LLMs）的决策和判断中。
• 大规模实验: 在九种不同的认知偏见上进行了1350次实验，以评估GPT-4o的反应。
• 统计与启发式推理的对比