【AI大模型应用开发】【RAG评估】综述：一文了解RAG评估方法、工具与指标

0. RAG效果评估的必要性

• 评估出RAG对大模型能力改善的程度
• RAG优化过程，通过评估可以知道改善的方向和参数调整的程度

1. RAG评估方法

1.1 人工评估

最Low的方式是进行人工评估：邀请专家或人工评估员对RAG生成的结果进行评估。他们可以根据预先定义的标准对生成的答案进行质量评估，如准确性、连贯性、相关性等。这种评估方法可以提供高质量的反馈，但可能会消耗大量的时间和人力资源。

1.2 自动化评估

自动化评估肯定是RAG评估的主流和发展方向。

1.2.1.1 LangSmith

• 需要准备测试数据集
• 不仅可以评估RAG效果，对于LangChain中的Prompt模板等步骤都可进行测试评估。

1.2.1.2 Langfuse

Langfuse作为LangSmith的平替，也具有自动化评估的功能。

• 需要准备测试数据集
• 不仅可以评估RAG效果，对于LangChain中的Prompt模板等步骤都可进行测试评估。

以上两个平台对RAG的评估，都可以自定义自己的评估函数。当然其也支持一些内置的评估函数。

1.2.1.3 Trulens

TruLens是一款旨在评估和改进 LLM 应用的软件工具，它相对独立，可以集成 LangChain 或 LlamaIndex 等 LLM 开发框架。它使用反馈功能来客观地衡量 LLM 应用的质量和效果。这包括分析相关性、适用性和有害性等方面。TruLens 提供程序化反馈，支持 LLM 应用的快速迭代，这比人工反馈更快速、更可扩展。

• 开源链接：github.com/truera/trul…
• 使用手册：www.trulens.org/trulens_eva…

使用的步骤：

（1）创建LLM应用

（2）将LLM应用与TruLens连接，记录日志并上传

（3）添加 feedback functions到日志中，并评估LLM应