面向大语言模型幻觉的关键数据集：系统性综述与分类法

面向大语言模型幻觉的关键数据集：系统性综述与分类法

摘要

大语言模型（Large Language Models, LLMs）在自然语言处理的多个领域取得了革命性进展，但其固有的“幻觉”问题——即生成看似合理但与事实不符或与上下文无关的内容——严重制约了其在关键应用中的可靠性与安全性。为了系统性地评估、理解并缓解LLM的幻觉现象，学术界和工业界开发了大量多样化的数据集与基准。本文对大模型幻觉领域的关键数据集进行了首次全面的系统性综述。我们收集并分析了涵盖22篇核心研究的95个相关数据集，并基于其评估目标、任务类型和数据特征，提出了一套层次化的数据集分类法。该分类法将现有数据集划分为四大核心类别：事实核查数据集（Fact Verification Datasets）、问答数据集（Question Answering Datasets）、多模态幻觉检测数据集（Multimodal Hallucination Detection Datasets）以及专用幻觉基准（Specialized Hallucination Benchmarks）。在此分类框架下，我们深入探讨了每个类别的设计理念、技术趋势、代表性工作及其核心挑战。我们的分析揭示了当前研究的重点，例如从简单的真假判断发展到对复杂推理、特定领域知识、意图偏离和多模态一致性的精细化评估。同时，本文也指出了当前数据集存在的普遍挑战，包括标注成本高昂、难以覆盖多样的幻觉类型、以及在动态和交互式场景中评估的复杂性。最后，我们展望了未来的发展方向，强调了构建更具挑战性、交互性和动态性的基准，以及发展自动化、可扩展的数据集构建方法的重要性，旨在为构建更可信、更可靠的大语言模型提供数据层面的支撑。

关键词

大语言模型、幻觉、数据集、基准评测、事实性评估

1. 引言

近年来，以GPT系列[1]、Llama系列[2]等为代表的大语言模型（LLMs）在自然语言理解、生成、推理等多个维度上展现了卓越的能力，推动了人工智能领域的范式变革。然而，在其强大的能力背后，一个被称为“幻觉”（Hallucination）的固有缺陷日益凸显[3]。幻觉指的是模型生成看似流畅、符合语法，但实际上与可验证的事实相悖、与给定上下文不符，或完全凭空捏造的内容。这一问题不仅削弱了用户对模型的信任，更在医疗、法律、金融等高风险领域构成了严重的安全隐患，成为制约LLMs可靠部署的关键瓶颈。

为了缓解幻觉，研究界提出了多种策略，其中检索增强生成（Retrieval-Augmented Generation, RAG）[4]技术是前景广阔的路径之一。RAG通过从外部知识库中检索相关信息来辅助生成过程，旨在为模型提供事实依据，从而降低凭空捏造的可能性。尽管RAG等方法在一定程度上能够减少幻觉，但要从根本上解决问题，首先需要具备精确、全面地度量幻觉的能力。因此，构建高质量、多样化的幻觉检测数据集与基准变得至关重要。一个健全的评测体系不仅是衡量模型进步的标尺，更是驱动幻觉抑制技术发展的基石。目前，相关数据集如雨后春笋般涌现，但缺乏一个系统性的梳理与分析，导致研究者难以全面了解该领域的全貌、识别关键挑战和未来方向。本综述旨在填补这一空白，为学术界和工业界提供一份关于LLM幻觉数据集的综合性指南。

通过对现有工作的系统性梳理，我们观察到幻觉检测数据集正呈现出以下几个显著趋势：1）任务与领域的多样化（Diversification）：评测任务从最初的简单事实判断（如True-False Dataset[5]）扩展到长文本摘要（如HHEM[6]）、开放域问答（如TriviaQA[7]）以及特定专业领域（如MedHALT[8]、LegalBench[9]）的幻觉评估。2）评估粒度的深度化（Deepening）：评测粒度从篇章级的真伪判断，深化到句子级、实体级乃至token级的精细化标注（如MHALO[10]），并开始关注更隐蔽的幻觉形式，如逻辑谬误（LogicStruct[11]）和意图偏离（FAITHQA[12]）。3）场景的跨模态融合（Cross-modal Fusion）：随着多模态大模型（MLLMs）的兴起，幻觉评测的范畴已从纯文本扩展到图文领域，催生了专门用于检测视觉对象或关系幻觉的数据集（如POPE[13]、CHAIR[14]）。这些趋势共同推动了幻觉研究向更精细、更全面、更贴近实际应用的方向发展。

本文的主要贡献在于对大模型幻觉领域的关键数据集进行了首次全面的梳理与剖析。我们首先收集并整合了95个相关数据集，并在此基础上提出了一套系统的分类法。接下来，我们将详细阐述该分类法，并对各类别的代表性数据集进行深入分析。文章的组织结构如下：第二部分将详细介绍我们的数据集分类法。第三、四、五、六部分将分别深入探讨事实核查数据集、问答数据集、多模态幻觉检测数据集以及专用幻觉基准这四大类别。最后，第七部分将对全文进行总结，并对该领域的未来研究方向进行展望。

好的，我将继续撰写学术综述的第三部分，严格遵循您的要求。

---

2. 大模型幻觉数据集分类体系

为了系统性地梳理和分析当前大语言模型幻觉领域的评测资源，我们对收集到的95个关键数据集进行了归纳与提炼，并提出了一套层次化的分类体系。该体系旨在揭示不同数据集的设计哲学、评测重点与适用场景。我们将所有数据集首先划分为四大主类别：事实核查数据集 (Fact Verification Datasets)，主要关注模型区分事实与虚构信息的基础能力；问答数据集 (Question Answering Datasets)，侧重于评估模型在响应查询时生成答案的真实性；多模态幻觉检测数据集 (Multimodal Hallucination Detection Datasets)，面向图文等多模态场景，检验模型在跨模态理解与生成中的一致性；以及专用幻觉基准 (Specialized Hallucination Benchmarks)，针对特定幻觉现象（如意图偏离、不确定性）或特殊应用场景（如角色扮演）设计。每个主类别下又包含若干子类别，以反映更精细化的研究方向。该分类体系（如图1所示）为理解幻觉评测的现状、识别研究空白以及指导未来数据集的构建提供了清晰的框架。

大模型幻觉数据集分类体系

事实核查数据集

问答数据集

多模态幻觉检测数据集

专用幻觉基准

通用事实核查

领域特定事实核查

开放域问答

多跳问答

常识推理问答

对象幻觉检测

关系幻觉检测

细粒度幻觉检测

意图幻觉基准

不确定性识别基准

角色扮演交互基准

True-False Dataset

LogicStruct

HELM

MedHALT

LegalBench

XSum

HaluEval

Hallucination dataset for code summarization

MedHallu-ZH

MedHallu-EN

WikiBio

FHSumBench

M-XSum

XEnt

FactCollect

HHEM (Hughes Hallucination Evaluation Model)

ANAH 2.0 (w/ reference)

FaithEval

FACTBENCH

TruthfulQA

TriviaQA

NQ

SciQA

PopQA

TriviaQA (TVQA)

SciQ

NQ-Open

LSQA

SQUAD v1.1

Natural Questions

2WikiMultihopQA

HotpotQA

MuSiQue

StrategyQA

ASQA

ParaRel

MMLU

HaluEval

CoCoNot

Bios

LongFact

WildHallu

CHAIR

POPE

LLaVA-Bench (In-the-Wild)

MSCOCO

COCO

Relation Hallucination Dataset

Visual Genome

MHALO

NATURE

REASONING

MC

RLHF-V

M-HalDetect

Geo170K

MathV360K

FAITHQA

ConfuseBench

HotpotQA

AmbigQA

ExpertQA

TechQA

ToolBench

SHARP

ConceptNet-5.5

HPD

SocialBench

图1：大模型幻觉数据集分类体系。该体系将数据集分为事实核查、问答、多模态幻觉检测和专用基准四大类，并进一步细分至13个子类别。

下表（表1）对该分类体系下的关键数据集进行了全面的梳理与分析，详细阐述了每个数据集的核心特点、评估指标以及其所面临的主要挑战和研究焦点。

表1：大模型幻觉领域关键数据集多层次分类与深度分析

主类别	子类别	数据集名称	核心特点与任务	常用评估指标	主要挑战与研究焦点
事实核查数据集	通用事实核查	True-False Dataset	任务: 分类。 特点: 包含跨多个主题（公司、城市、发明等）的真假陈述，用于评估模型基础的事实辨别能力。	AUC-ROC, Accuracy	检验模型在无外部上下文情况下的内在知识准确性；挑战在于覆盖足够广泛且不易被表面统计特征利用的知识点。
		LogicStruct	任务: 分类。 特点: 包含多种语法结构（否定、逻辑连接词）的陈述，评估模型对复杂逻辑和句子结构的理解能力。	Accuracy	挑战模型对逻辑词的精确理解，研究幻觉是否源于对复杂句法的误解。
		HELM	任务: 幻觉检测。 特点: 基于大规模维基百科文章生成内容，并进行人工标注，模拟真实的长文本生成场景。	EigenScore, FactScore	评估模型在长篇生成中的事实一致性；挑战在于高昂的标注成本和事实核查的复杂性。
		MedHALT	任务: 幻觉检测。 特点: 模拟真实医学入学考试问题，专注于高风险的医学领域。	EigenScore	评估模型在专业领域的知识准确性；焦点在于如何防止在关键领域产生误导性信息。
		LegalBench	任务: 法律推理。 特点: 专注于法律领域的推理任务，评估模型在专业法律场景下的事实性和逻辑性。	EigenScore	挑战模型在遵循严格法律逻辑和术语上的准确性；研究如何将领域知识与逻辑推理相结合。
		XSum	任务: 摘要生成。 特点: 评估模型生成摘要与原文的忠实度，是经典的摘要幻觉评测基准。	Rouge1	评估抽象式摘要中的信息“捏造”或“扭曲”问题；挑战在于如何平衡摘要的简洁性与忠实度。
		HaluEval	任务: 问答/幻觉检测。 特点: 专门为评估问答和对话中的幻觉而设计，提供有明确幻觉标签的数据。	AUC-ROC, Accuracy	为幻觉检测提供直接的监督信号；研究焦点是如何利用这些标注数据训练更鲁棒的检测器。
	领域特定事实核查	Hallucination dataset for code summarization	任务: 分类。 特点: 专门针对代码摘要，细粒度标注实体级别的幻觉（如错误的变量名或函数描述）。	F1 score	评估模型在理解代码语义和结构方面的准确性；挑战在于代码与自然语言间的映射关系复杂。
		MedHallu-ZH / EN	任务: 分类。 特点: 从在线医疗问答平台收集的长文本内容，分别覆盖中文和英文医疗领域。	F1, AUC	关注长篇医疗回复中的幻觉检测；挑战在于医疗信息的专业性和事实核查的难度。
		WikiBio	任务: 分类。 特点: 基于维基百科个人传记，评估模型在生成传记类长文本时的信息准确性。	F1, AUC	评估事实性在叙事性文本生成中的保持能力；焦点在于如何处理实体属性的准确性。
		FHSumBench / M-XSum	任务: 分类。 特点: 专门区分“事实性幻觉”（脱离原文但事实正确）和“非事实性幻觉”，研究混合上下文摘要。	Precision, Recall, F1-score	深入探究幻觉的类型，挑战模型对上下文依赖性的理解；研究焦点在于如何让模型忠于给定源文本。
		HHEM	任务: 文本摘要。 特点: 评估文本摘要中的内在幻觉（与源文档不符），由Vectara提出。	Hallucination rate	专注于内在幻觉，即生成内容是否忠实于输入；挑战在于自动化和高精度的内在幻觉检测。
		ANAH 2.0 (w/ reference)	任务: 问答。 特点: 在提供准确参考源的情况下，评估模型的内在幻觉，考察其是否会“忽视”正确信息而产生幻觉。	Hallucination rate	测试模型对给定证据的“忠诚度”；研究模型为何在有正确信息时仍会产生幻觉。
		FaithEval	任务: 问答。 特点: 输入源包含嘈杂或与世界知识矛盾的信息，评估模型在这种冲突下的内在幻觉。	Accuracy	挑战模型在信息冲突环境下的判断力；研究模型如何权衡内置知识与外部提供的信息。
		FACTBENCH	任务: 事实性评估。 特点: 动态基准，旨在识别导致模型产生不正确或不确定性回复的真实世界交互提示。	Hallucination score, Factual precision	模拟真实用户交互，评估模型在“野外”环境下的事实性；挑战在于动态更新和覆盖多样化的用户意图。
问答数据集	开放域问答	TruthfulQA	任务: 问答/分类。 特点: 专注于对抗性问题，这些问题容易诱导模型生成基于网络常见误解的虚假答案。	AUC-ROC, Truthfulness	评估模型在对抗常见谬误时的真实性；挑战在于如何让模型摆脱训练数据中的偏见和错误信息。
		TriviaQA / NQ / PopQA	任务: 开放域问答。 特点: 经典的大规模问答数据集，包含大量需要事实知识回答的问题，常用于评估RAG系统和内在知识。	Exact Match (EM), F1	检验模型或RAG系统的基础事实回答能力；研究焦点在于如何提高知识密集型任务的准确率。
		SciQA / SciQ	任务: 问答。 特点: 专注于科学领域，问题需要专业的科学知识才能回答。	AUROC, F1, Precision	评估模型在垂直专业领域（科学）的知识准确性；挑战在于专业知识的覆盖度和更新速度。
	多跳问答	2WikiMultihopQA / HotpotQA / MuSiQue	任务: 多跳问答。 特点: 问题需要整合来自多个文档或段落的信息进行多步推理才能回答。	EM, F1, FactScore	评估模型在复杂推理链中的事实一致性；幻觉可能在推理的任何一步产生，挑战在于追踪和定位错误源头。
	常识推理问答	StrategyQA	任务: 常识推理。 特点: 问题需要基于常识进行隐式推理，而非直接从文本中找到答案。	EM	评估模型是否会因缺乏常识而产生不合逻辑或事实错误的幻觉。
		ASQA	任务: 问答。特点: 专注于有歧义的事实性问题，评估模型识别和处理知识差距的能力。	准确率, F1	挑战模型识别问题中的“未知”并避免捏造答案；研究如何让模型表达不确定性。
		Bios / LongFact / WildHallu	任务: 长文本问答。 特点: 评估模型在生成长篇回复（如个人传记、详细解释）时的整体事实准确性。	Factual Accuracy, Uncertain Accuracy	关注长文本生成中的累积性幻觉；挑战在于如何保持长距离的事实一致性。
多模态幻觉检测	对象幻觉检测	CHAIR / POPE	任务: 评估/分类。 特点: 评估图文模型是否会生成图像中不存在的对象（“对象幻觉”）。	CHAIR_I/S, Accuracy, F1	衡量多模态模型的基础视觉感知能力；挑战在于如何精确地将文本中的实体与图像中的对象对齐。
		LLaVA-Bench	任务: 评估。 特点: 在多样化和具有挑战性的“野外”图像上评估模型的描述和推理能力，包含对幻觉的考察。	Accuracy, Detailedness	评估模型在复杂真实场景下的鲁棒性；焦点在于模型是否会在细节描述或复杂推理中产生幻觉。
	关系幻觉检测	Relation Hallucination Dataset	任务: 分类。 特点: 评估模型是否会捏造对象之间不存在的空间或动作关系。	Accuracy, F1	从对象幻觉扩展到关系幻觉，对模型的场景理解能力提出更高要求。
	细粒度幻觉检测	MHALO	任务: 细粒度幻觉检测。 特点: 提供token级别的幻觉标注，覆盖感知和推理两大类、12种不同的幻觉类型。	F1_IoU, F1_M	推动幻觉研究从“是否幻觉”向量“哪里幻觉、何种幻觉”的精细化分析；挑战在于极高的标注成本和模型定位幻觉的能力。
专用幻觉基准	意图幻觉基准	FAITHQA	任务: 生成/RAG。 特点: 评估模型是否会忽略或误解用户查询中的约束条件，即“意图幻觉”。	CONSTRAINT SCORE, Perfect rate	关注比事实错误更隐蔽的幻觉形式；研究如何让模型完全遵循用户指令。
	不确定性识别基准	ConfuseBench	任务: 不确定性识别与解决。 特点: 评估模型在面对文档稀缺、能力有限或查询模糊时，识别和处理不确定性的能力。	Answer Quality (AQ), Uncertainty Classification Accuracy (UCA)	核心焦点是将“幻觉”与合理的“不确定性”区分开；挑战模型在无法确信时学会“拒绝回答”或“请求澄清”。
	角色扮演交互基准	SHARP	任务: 开放式问答（角色交互）。 特点: 在角色扮演场景中，通过立场转换评估模型的角色关系保真度，检测交互式幻觉。	Sycophancy Rate (SR), Character Relationship Fidelity (CRF)	探索在交互和社交情境下的幻觉；挑战在于如何量化和评估动态对话中的一致性与忠实度。

---

4. 各类别数据集深度分析

为了系统性地理解大模型幻觉问题的评估方法论，我们将遵循taxonomy_tree中定义的分类体系，对四大核心数据集类别——事实核查数据集、问答数据集、多模态幻觉检测数据集以及专业化幻觉基准——进行深度剖析。每个类别不仅在评估目标上有所侧重，也反映了学界对幻觉问题理解的演进。

4.1 事实核查数据集 (Fact Verification Datasets)

事实核查数据集是评估与缓解大模型幻觉问题的基石。其核心定义在于提供一个由“事实”与“非事实”（或幻觉）陈述构成的基准，模型的核心任务是对这些陈述进行二元或多元分类。这类数据集的重要性不言而喻：它们将抽象的“幻觉”概念操作化为可量化、可验证的指标（如准确率、AUC-ROC），为各种幻觉检测算法的性能提供了一个清晰、直接的比较平台。通过在不同主题和结构的数据上进行测试，研究者可以评估模型的知识边界、事实记忆的准确性以及对逻辑谬误的敏感度。可以说，事实核查是理解和解决幻觉问题的起点，构成了后续更复杂评估任务的基础。

该类别可进一步细分为通用事实核查与领域专属事实核查。通用事实核查旨在评估模型在广泛常识知识上的表现。例如，True-False Dataset通过涵盖公司、城市、发明等多个子集，全面考察模型的基础知识库。HD-NDEs方法在该数据集上取得的14%的AUC-ROC提升，证明了其作为有效基准推动算法创新的价值。更进一步，LogicStruct数据集通过引入“肯定陈述”、“否定陈述”、“逻辑合取”和“逻辑析取”四种语法结构，将评估从简单的知识核对推向了逻辑一致性检验，这要求模型不仅要“知其然”，更要“知其所以然”，PRISM-SAPLMA在其上取得的约0.70的准确率（在LLaMA2-13B-Chat上）也为后续研究设立了新的性能标杆。然而，领域专属事实核查则强调在特定、高风险领域（如医疗、法律、软件工程）中，事实准确性的极端重要性。通用知识的正确并不能保证专业领域的无误。例如，MedHallu-ZH与MedHallu-EN这两个并行的中英文医疗数据集，专注于医疗问答场景下的幻觉检测，SelfElicit方法在Qwen模型上取得的显著AUC提升（中文集上响应级AUC提升9.4%）凸显了在该垂直领域进行专门评估的必要性。同样，Hallucination dataset for code summarization将评估场景聚焦于代码摘要，其包含的9933个实体级样本和73%的F1分数基线，为衡量模型在理解代码语义并生成准确描述方面的能力提供了精细化工具。

当前，事实核查数据集的核心挑战在于覆盖度与偏见。静态数据集难以穷尽无限的知识空间，且可能无意中包含易于模型利用统计规律破解的“捷径”。其发展趋势正朝着动态化、情境化和细粒度化演进。动态化体现在如FACTBENCH这样的基准，它从LMSYS-Chat-1M等真实用户交互中动态挖掘和更新“致幻”提示，使评估更贴近真实世界。情境化则体现在FHSumBench中，它不仅评估摘要的真实性，还要求模型区分摘要中的幻觉是源于外部知识（非事实性幻觉）还是源于对源文本的错误理解（事实性幻觉），Qwen2.5-14B在该数据集上仅达到0.4733的F1分数，揭示了模型在处理混合上下文时的困难。细粒度化则体现在从句子级真假判断发展到对摘要中特定实体或关系的核查，如HHEM评估摘要中的内在幻觉率。这些趋势共同推动事实核查从简单的“对/错”判断，迈向对幻觉成因和类型的更深层次理解。

数据集名称	主要任务	领域	规模	关键指标
True-False Dataset	事实/非事实分类	通用知识	>2000条陈述	AUC-ROC, Accuracy
LogicStruct	逻辑结构下的事实核查	通用知识	24个子数据集	Accuracy
MedHallu-ZH/EN	长文本幻觉检测	医疗	未明确	F1, AUC
FHSumBench	混合上下文摘要幻觉分类	摘要生成	1,336个样本	F1-score
FACTBENCH	真实世界交互中的事实性评估	通用领域	1,000个提示	Hallucination score

4.2 问答数据集 (Question Answering Datasets)

问答（QA）数据集在幻觉评估中扮演着至关重要的角色，它将评估场景从静态的陈述判断转向了动态的、生成性的交互。与事实核查不同，QA数据集不仅考验模型存储和辨别事实的能力，更评估其理解用户意图、检索相关知识（无论是参数化的内在知识还是外部文档）、并综合信息生成准确、相关答案的全过程。幻觉在QA任务中表现得更为复杂，可能源于知识的缺失、错误的推理链条，或是对问题本身的误解。因此，QA数据集是衡量模型在实际应用（如搜索引擎、智能助手）中可靠性的关键，它们通过模拟真实的用户查询，为幻觉研究提供了更具挑战性和实用价值的试验场。

QA数据集的子类别反映了对模型能力评估的逐步深化。开放域QA (Open-Domain QA) 是最基础的形式，如TriviaQA、NQ和TruthfulQA。这些数据集覆盖了广泛的常识性问题。其中，TruthfulQA尤为关键，它专注于那些已知容易诱发模型产生“模仿性谎言”（如普遍的误解和迷信）的问题，直接针对幻觉的根源之一。TriviaQA以其95,000个问答对的庞大规模和在多篇论文中的反复使用，已成为事实性问答的黄金标准。多跳QA (Multi-Hop QA)，如HotpotQA和2WikiMultihopQA，则将难度提升到新的层次。它们要求模型为了回答一个问题而整合来自多个信息源的证据，构建一个推理链条。幻觉可能在此过程的任何一“跳”发生，使得定位和归因变得更加困难。DRAG方法在HotpotQA上取得的41.74的F1分数，展示了在复杂推理任务中缓解幻觉的挑战。常识推理QA (Commonsense Reasoning QA)，如StrategyQA，则触及了幻觉问题的另一核心——对世界隐性知识的理解。这类问题往往没有单一、明确的出处，需要模型进行类比、推断和情景理解，其幻觉更难通过简单的外部知识库进行验证。

该领域的发展趋势清晰地指向了对不确定性的建模和对长篇生成能力的评估。早期的QA数据集大多假设问题总是有确定答案的，但这与现实不符。新一代的基准，如ConfuseBench，开创性地要求模型不仅要回答问题，还要识别并分类其不确定性的来源（如文档稀缺、能力有限、查询模糊）。其报告指出，即便是GPT-4o也仅能成功分类约50%的案例，这揭示了一个巨大的研究空白。与此相辅相成的是ASQA和CoCoNot数据集，它们分别用于评估模型在面对“未知问题”时的知识差距识别能力和对“无上下文问题”的拒绝能力。US-Tuning方法在ASQA未知问题上高达93.0%的准确率，证明了通过专门的指令微调可以显著提升模型的“自知之明”。此外，随着模型生成能力的增强，评估也从短文本答案扩展到长篇生成，如Bios和LongFact，它们要求模型生成数段文字的传记或主题描述，并对其进行事实性评估，这使得幻觉的检测和评估变得更具挑战性，但也更贴近未来的应用场景。

数据集名称	子类别	评估重点	规模	代表性方法/发现
TruthfulQA	开放域QA	对抗性问题，真实性	790-1000个样本	评估模型在易产生幻觉领域的表现
HotpotQA	多跳QA	多步推理，证据整合	~10k训练, 256评估	广泛用于RAG和复杂推理幻觉研究
ConfuseBench	不确定性识别	分类不确定性来源	650个案例	顶尖模型识别不确定性来源的能力依然薄弱
ASQA	常识/未知QA	识别知识差距，拒绝回答	6,640个问题	证明模型可以被训练以识别和拒绝未知问题

4.3 多模态幻觉检测数据集 (Multimodal Hallucination Detection Datasets)

随着大型语言模型向多模态领域拓展，幻觉问题也呈现出新的、更复杂的形式。多模态幻觉检测数据集专为评估大型视觉语言模型（LVLMs/MLLMs）而设计，其核心在于检验模型生成的文本描述是否与给定的视觉（图像/视频）输入保持一致。这类幻觉不再局限于文本世界内的逻辑或事实错误，而是延伸为文本与视觉信息之间的“跨模态失实”。这种失实可能表现为描述了图像中不存在的物体（物体幻觉）、错误地刻画了物体间的空间或动作关系（关系幻觉），或是对图像内容进行了超越视觉证据的过度推理。这类数据集的重要性在于，它们是确保MLLMs在图像描述、视觉问答、人机交互等关键应用中安全、可靠部署的前提。

多模态幻觉的评估也遵循着由浅入深的层次。物体幻觉检测 (Object Hallucination Detection) 是最基础也是最受关注的一类。POPE数据集是这一领域的典型代表，它通过向模型提问“图像中是否存在某个物体？”的封闭式问题，以一种清晰、可量化的方式来评估物体幻觉。Qwen-VL-Chat模型在使用视觉证据提示后，在POPE上的准确率从81.23%提升到87.70%，这表明通过引导模型关注视觉证据，可以有效缓解此类幻觉。CHAIR度量及其对应的数据集则从另一个角度，通过计算生成标题中与图像不符的物体词的比例（CHAIR_I/CHAIR_S），来量化物体幻觉的严重程度。关系幻觉检测 (Relation Hallucination Detection) 则更进一步，它不再关注孤立的物体，而是物体间的相互作用。新提出的Relation Hallucination Dataset基于Visual Genome构建，专门评估模型在描述空间位置和动作关系时的准确性。实验显示，模型在关系幻觉上的表现（原始准确率63.62%）显著低于物体幻觉（81.23%），揭示了理解和描述复杂场景结构是当前MLLMs的一大软肋。

为了更全面、系统地评估多模态幻觉，学界正在构建细粒度幻觉检测 (Fine-Grained Hallucination Detection) 基准。MHALO是这一趋势的集大成者。它不仅是一个数据集，更是一个综合性的评估框架，涵盖了从感知到推理的12种不同幻觉类型。它通过整合NATURE（感知型幻觉）、REASONING（推理型幻觉）和MC（分布外）三大子集，对模型进行了前所未有的压力测试。其最引人注目的发现是，即便是领先的GPT-4o，在MHALO上的平均F1_IoU得分也仅为40.59%，这深刻地揭示了当前最先进模型在细粒度幻觉检测方面的巨大不足。MHALO的出现，连同其提出的HALODET-4B模型（实现了13%的绝对性能增益），标志着多模态幻觉研究进入了一个新的阶段：从检测单一类型的幻觉，转向一个统一框架下对多种幻觉类型的综合诊断与修复。这一趋势的核心挑战在于标注成本与一致性，因为细粒度的幻觉类型定义更主观，需要高度训练的标注员，而这也是未来自动化或半自动化构建此类数据集需要攻克的难题。

数据集名称	幻觉类型	评估重点	来源	关键发现/用途
MHALO	细粒度（12种）	综合感知与推理幻觉	整合多个现有数据集	顶尖模型(GPT-4o)F1_IoU仅40.59%，揭示巨大差距
POPE	物体幻觉	回答物体存在性的Yes/No问题	COCO	广泛用于评估和缓解物体级幻觉的标准基准
CHAIR	物体幻觉	计算标题中幻觉物体的比例	COCO	标准的图像字幕幻觉评估度量
Relation Hallucination Dataset	关系幻觉	空间与动作关系的准确性	Visual Genome	证明关系幻觉比物体幻觉更具挑战性

4.4 专业化幻觉基准 (Specialized Hallucination Benchmarks)

当对幻觉的研究逐渐深入，研究者们发现，除了传统的事实错误和跨模态不一致外，还存在着更多维度、更隐蔽的幻觉形式。专业化幻觉基准应运而生，它们的目标是跳出传统评估框架，设计专门的实验来探测和量化这些特定类型的“高级”幻觉。这些基准的重要性在于，它们揭示了模型在复杂交互、遵循指令和角色扮演等高级认知任务中的行为缺陷，而这些缺陷是标准QA或事实核查数据集难以捕捉的。通过模拟这些特殊场景，专业化基准推动了对幻觉成因的更深层思考，并为开发更鲁棒、更受信赖的AI系统指明了方向。

这类基准的评估维度极其多样。意图幻觉 (Intent Hallucination) 是一个关键方向，由FAITHQA基准所定义。它评估的不是模型回答内容的“事实性”，而是其“忠实度”——即模型是否完全遵循了用户查询中的所有约束和意图。例如，当用户要求“总结A和B的异同，并以表格形式呈现”时，模型可能只回答了A和B的相同点，或未使用表格，这便是意图幻觉。FAITHQA的发现，即“随着查询复杂性增加，性能下降”，点出了模型在处理复杂指令时注意力分散或“走捷径”的倾向。另一个前沿方向是交互式幻觉 (Interactive Hallucination)，其代表是SHARP基准。它创造性地利用模型自身的幻觉倾向来构建一个“角色扮演”的评估环境，通过设定对立角色间的互动，来衡量模型在维持角色关系一致性上的表现。其引入的“谄媚率(SR)”和“对抗率(AR)”等新颖指标，将幻觉评估从静态的文本输出扩展到了动态的、带有社会属性的交互过程。

为了应对开放式生成任务中无处不在的幻觉，综合性生成基准 (Comprehensive Generation Benchmarks) 也被提了出来。HALOGEN是这方面的典范，它构建了一个横跨编程、科学归因、摘要等九大领域的庞大提示库（10,923个提示），并为每个领域开发了高精度的自动验证器。这种“广撒网”式的评估方法，得出了一个令人警醒的结论：“即使是表现最好的模型也充满了幻觉（在某些领域，高达86%的原子事实是幻觉）”。这表明，在不受约束的生成任务中，幻觉问题远比在封闭式问答中严重得多。这类基准的核心挑战在于评估的自动化与可靠性。由于生成内容的多样性，人工评估成本高昂，而HALOGEN所依赖的自动验证器本身的设计和准确性就是一大工程。未来的趋势可能是发展更强大的“裁判模型”（LLM-as-a-Judge），如FACTBENCH所采用的评估方法，但这又会引入裁判模型自身的偏见问题。如何构建一个可扩展、低成本、高精度且无偏的开放式生成幻觉评估体系，是该领域面临的核心挑战。

基准名称	评估焦点	核心方法	度量指标	代表性发现
HALOGEN	开放式生成幻觉	跨九大领域的提示库与自动验证器	HALLUCINATION SCORE	顶尖模型在某些领域幻觉率高达86%
FAITHQA	意图幻觉	检查对查询约束的遵循情况	CONSTRAINT SCORE	查询越复杂，意图幻觉越严重
SHARP	交互式/角色扮演幻觉	利用模型自身倾向构建对抗性角色互动	CRF, Sycophancy Rate	开创了评估角色关系保真度的新范式
ConfuseBench	不确定性识别	分类不确定性的来源	UCA, AQ, IQ	模型难以准确识别自身不确定性的根源

5. 横向对比与发展趋势

为了更清晰地理解大模型幻觉评估领域的现状，我们首先对前文梳理出的四类关键数据集进行横向对比，然后总结其宏观发展趋势与面临的核心挑战。

5.1 数据集横向对比

我们将四种主要的数据集类别——事实核查、问答、多模态幻觉检测和专业化基准——进行比较，分析其各自的优势、局限性与典型应用场景，如下表所示。

类别	优势	局限性	适用场景
事实核查 (Fact Verification)	- 提供清晰、可控的真/假标签，易于量化评估。 - 能够直接评估模型对基本事实的记忆与辨别能力。	- 往往脱离复杂上下文，可能无法反映真实场景中的幻觉。 - 数据集可能趋于静态，易被模型“记忆”而非“理解”。	- 训练幻觉检测分类器。 - 作为模型预训练或微调阶段的基础事实性约束。 - 对模型进行基础、大规模的事实准确性摸底测试（如 True-False Dataset, LogicStruct）。
问答 (Question Answering)	- 贴近真实应用场景，评估模型在交互中的实用性。 - 能够测试模型检索、推理与生成等综合能力。	- 难以将幻觉归因于特定环节（如检索错误、推理失败或生成偏差）。 - 答案的正确性评估标准有时较为模糊。	- 评估面向用户的智能助理、搜索引擎等应用的可靠性。 - 分析模型在处理复杂查询（如 HotpotQA）或需要常识（如 StrategyQA）时的幻觉行为。
多模态幻觉检测 (Multimodal)	- 填补了跨模态研究领域的关键空白，对视觉语言模型至关重要。 - 能够检测更隐蔽的幻觉形式，如对象属性或关系错误。	- 标注成本高昂，且主观性强，难以保证一致性。 - 存在显著的“模态鸿沟”，难以精确对齐文本与视觉信息。	- 评估图像描述、视觉问答等任务中模型的忠实度。 - 细粒度分析模型在视觉感知（如 POPE, CHAIR）与推理（如 MHALO 的REASONING子集）中的幻觉类型。
专业化基准 (Specialized)	- 针对特定幻觉类型或场景进行深入剖析，提供更具洞察力的分析。 - 能够评估模型在特定交互范式下的行为（如角色扮演）。	- 评估范围较窄，结论可能不具备普适性。 - 设计和构建的门槛较高，需要特定领域的专业知识。	- 深入研究特定幻觉机理，如意图幻觉（FAITHQA）。 - 评估模型在不确定性场景下的决策能力（ConfuseBench）。 - 探索交互式或对抗性场景下的模型鲁棒性（SHARP）。

5.2 发展趋势

通过对现有数据集的梳理，我们观察到大模型幻觉评估正呈现出以下几个显著的发展趋势：

1. 从宏观判断到细粒度评估（From Coarse to Fine-grained Evaluation）：早期的评估主要集中在对整个生成文本的真/假二元判断。如今，研究趋势正转向更细粒度的分析。例如，MHALO 基准实现了对多模态生成内容中幻觉的**词元级（token-level）标注；Hallucination dataset for code summarization 则在代码摘要任务中关注实体级（entity-level）**的幻觉检测。这种细粒度评估不仅能更精确地定位幻觉，也为解释和修复幻觉提供了更明确的线索。

2. 从通用领域到高风险领域自适应（From General to Domain-specific Adaptation）：随着大模型在医疗、法律、金融等高风险领域的应用加深，通用领域的幻觉评估已显不足。因此，领域自适应的数据集不断涌现，如面向医疗领域的 MedHallu-ZH/EN 和 MedHALT，以及面向法律领域的 LegalBench。这些数据集旨在模拟特定领域的专业知识和语境，评估模型在这些关键场景下的可靠性。

3. 从简单事实到复杂推理与交互（From Simple Facts to Complex Reasoning and Interaction）：评估的复杂度正在不断提升。除了对孤立事实的核查，研究者们愈发关注模型在需要复杂推理链条的任务中的表现。如 HotpotQA 和 2WikiMultihopQA 等多跳问答数据集，要求模型整合多个信息源才能得出正确答案。与此同时，评估场景也从静态的文本生成扩展到动态的、交互式的场景。SHARP 基准通过模拟角色扮演中的多轮互动来评估关系一致性，这代表了对模型在社会化和持续交互中幻觉行为的前沿探索。

4. 从静态快照到动态与真实世界对齐（From Static to Dynamic and Real-world Alignment）：研究人员认识到，静态数据集无法捕捉到知识的动态更新和真实世界用户查询的多样性。为此，FACTBENCH 等动态基准应运而生，它通过持续从 LMSYS-Chat-1M 等真实用户对话数据中挖掘和更新评估案例，确保了评估的时效性和相关性。同样，WildHallu 数据集也源于百万级的真实用户-聊天机器人交互，专注于评估模型在“野外”环境下的幻觉表现。

5.3 核心挑战

尽管幻觉评估研究取得了显著进展，但当前的数据集和方法仍面临一系列共性挑战：

1. 证据不完整性与模糊性（Incomplete and Ambiguous Evidence）：在开放域场景下，模型有时无法获取做出判断所需的全部证据。ConfuseBench 指出，当面临文档稀缺或查询模糊时，模型极易产生幻觉或选择回避。现有多数基准假设证据是完备的，这与真实世界存在差距。如何设计能够评估模型在信息不完备时进行合理推断或表达不确定性的能力，是一个核心挑战。

2. 跨模态验证的“模态鸿沟”（Modality Gap in Cross-modal Verification）：对于多模态模型，验证文本描述是否与视觉内容完全一致极其困难。CHAIR 和 POPE 等基准尝试通过对象级的匹配来量化这一问题，但对于复杂的场景、动作和关系描述，现有的自动化评估方法仍显粗糙。如何构建能够精确衡量文本语义与视觉内容之间细微差异的评估体系，是多模态幻觉研究必须跨越的障碍。

3. 幻觉归因的复杂性（Complexity of Hallucination Attribution）：一个错误的输出可能源于多个环节的失效：知识记忆错误、推理逻辑断裂、上下文理解偏差或纯粹的生成流畅性偏好。多数数据集只关注最终结果的正确与否，而无法揭示其背后的根本原因。PRISM-SAPLMA 和 HD-NDEs 等研究尝试从模型内部状态寻找线索，但如何将这些发现与大规模、多样化的数据集结合，以实现可解释的幻觉归因，仍是亟待解决的难题。

4. 评估的成本与可扩展性（Cost and Scalability of Evaluation）：高质量幻觉数据集的构建，特别是需要细粒度或专家知识标注的数据集（如 MHALT, MHALO），成本高昂且难以扩展。这限制了评估的覆盖面和多样性。虽然有研究探索使用更强的模型（如GPT-4）进行自动化标注，但其自身的幻觉问题也为评估的可靠性带来了新的不确定性。

---

6. 总结与展望

6.1 总结

本文对大语言模型幻觉检测领域的关键数据集进行了系统性的梳理、分析与分类。我们首先从海量文献中萃取了涵盖不同任务、领域和模态的代表性数据集，并在此基础上构建了一个四维分类体系，即事实核查、问答、多模态幻觉检测和专业化基准。该体系为理解当前幻觉评估的全景提供了结构化的视角。通过对各类数据集的横向对比，我们揭示了其在评估目标、优势和局限性上的差异。本文的核心贡献在于，为研究者提供了一份关于幻觉评估资源的全面指南，系统总结了该领域从宏观到细粒度、从通用到领域特定、从静态到动态交互的演进趋势，并提炼了当前面临的核心挑战。

6.2 挑战重申

研究表明，尽管幻觉评估技术日趋成熟，但我们仍面临着严峻的挑战，包括证据不完整性导致的评估偏差、跨模态验证中的模态鸿沟、幻觉归因的复杂性，以及高质量标注数据的稀缺性。这些挑战共同阻碍了我们对模型幻觉行为的深入理解和有效抑制，是未来研究必须攻克的关键壁垒。

6.3 未来展望

基于以上分析，我们认为未来大模型幻觉的研究可以从以下几个方向重点突破：

1. 开发可解释的评估框架（Developing Interpretable Evaluation Frameworks）：未来的评估不应止步于“模型是否产生幻觉”，而应深入探究“模型为何以及如何产生幻觉”。这需要将数据集与模型内部机制的分析相结合。例如，可以设计新的基准，其标注不仅包含事实标签，还关联到模型在生成过程中特定的激活模式、注意力权重或内部知识冲突。这将推动幻觉研究从“行为主义”的黑盒测试，迈向“认知神经科学”的白盒分析。

2. 构建动态自适应的领域基准（Constructing Dynamic and Adaptive Domain Benchmarks）：静态基准无法应对知识的快速更迭和新领域的出现。未来的研究方向是构建能够自我演进的动态基准。例如，可以建立一个与实时知识库（如维基百科更新流、实时新闻源）联动的评估平台，自动生成和验证新的评估样本。同时，应探索利用真实用户反馈，以众包或在线学习的方式，持续丰富和调整基准，使其能动态适应特定应用场景的需求。

3. 探索跨任务、跨模态的联合评估与迁移（Exploring Joint Cross-task and Cross-modal Evaluation）：幻觉并非孤立现象，其根源可能在不同任务和模态间共通。未来的研究应致力于开发能够同时评估模型在摘要、对话、问答和图像描述等多种任务中幻觉表现的统一基准。这不仅能揭示模型幻觉行为的共性模式，还能促进幻觉抑制技术在不同任务间的迁移和泛化，最终实现更鲁棒、更通用的模型。

4. 面向高风险领域的风险量化与安全对齐（Quantifying Risk and Aligning Safety for High-Stakes Domains）：在医疗、法律等高风险领域，所有幻觉并非“生而平等”，其潜在危害程度差异巨大。未来的基准设计除了检测幻觉，更需要量化幻觉的风险等级。例如，在MedHALT这类数据集的基础上，可以引入“临床影响”等风险标签。研究重点应从单纯追求“零幻觉”，转向确保模型在无法保证事实性时，能够主动拒绝回答或输出经过校准的不确定性，从而实现与人类社会安全规范的深度对齐。