LLM归因的限制和挑战

LLM归因虽然能提升任务性能和模型的可解释性，但面临多个方面的限制。

参考A Survey of Large Language Models Attribution，LLM归因的限制和挑战总结如下

1）难以确定何时以及如何进行归因

LLM区分一般知识(可能不需要引文)和专业知识(需要归因)是一项微妙的任务，难以达成一致。

2）归因的准确性无法得到保证

LLM可能会将生成的答案和不相关或错误的来源关联起来，这种错误归因可能导致用户产生困惑，从而影响LLM生成内容的可靠性。例如在医学诊疗中，LLM错误地将错误医疗建议与可靠参考文献关联起来，可能产生严重后果。

3）难以适应快速迭代的领域

计算机和临床医学等领域中，数据跟新速度更快，LLM做出的归因可能会很快过时。

4）重要性和相关性的困惑

LLM过于频繁地提供引用，用户可能会因信息量过大而产生困惑，难以区分内容的重要性和相关性。

5）存在偏见挑战

LLM可能会偏向于某些来源或信息类型，从而推动特定观点而忽略其他观点。

6）缺乏可靠的验证措施

可能导致LLM传播错误或误导性的信息，破快模型的可靠性。LLM模型应该在证据不明确时避免发表陈述，而不是提出没有根据的主张(模型幻觉)。

7）LLM归因有可能泄漏隐私

reference

---

A Survey of Large Language Models Attribution

https://arxiv.org/pdf/2311.03731