使用 LlamaIndex 构建 RAG 应用程序

像 ChatGPT 和 Llama 这样的大型语言模型 (LLM) 擅长解答问题，但受限于它们所训练的知识。它们无法访问私人数据，也无法学习超出训练范围的知识。所以，关键在于……我们如何扩展它们的知识？

答案在于检索增强生成 (RAG)。今天我们将探索 RAG 流程，并演示如何使用 LLama 索引构建一个。

检索增强生成：基础知识

LLM 是当今最先进的 NLP 模型，在翻译、写作和一般问答方面表现出色。然而，它们在处理特定领域的查询时却举步维艰，常常产生幻觉。

在这种情况下，每个查询可能只有少数文档包含相关的上下文。为了解决这个问题，我们需要一个精简的系统，能够在生成响应之前高效地检索和整合相关信息——这就是 RAG 的精髓。

预先训练的 LLM 通过三种主要方法获取知识，每种方法都有局限性：

1. 培训：从零开始构建法学硕士 (LLM) 需要在数万亿个 token 上训练大规模神经网络，耗资数亿美元，这对于大多数人来说都是不可行的
2. 微调：这种方法可以使预先训练的模型适应新数据，但耗费大量时间和资源。除非有特殊需求，否则这种方法并不总是可行的。
3. 提示：提示是最容易使用的方法，它将新信息插入到 LLM 的上下文窗口中，使其能够根据提供的数据回答查询；但是，由于文档大小通常超出上下文限制，因此仅靠这种方法是不够的

RAG 通过在查询时高效处理、存储和检索相关文档片段来克服这些限制。这确保了 LLM 能够生成更准确、更符合上下文的响应，而无需进行昂贵的重新训练或微调。