深入学习LLM开发 第十章：文档索引系统与检索增强生成（RAG上）

RAG技术说明

RAG（Retrieval-Augmented Generation） 是一种将 信息检索 与 大语言模型（LLM）生成能力 相结合的技术范式。通过实时从外部知识库检索相关文档片段，动态增强模型的上下文输入，显著提升生成内容的 准确性、时效性 和 事实一致性。

• 数据输入与预处理：
  Private Data（私有数据）：原始数据首先被输入系统。
  Smaller Chunks（小数据块）：这些数据被切割成更小的数据块，便于处理。
• 嵌入模型：
  Embedding Model（嵌入模型）：这些小数据块通过嵌入模型进行处理，生成对应的嵌入表示。这些嵌入表示将用于后续的检索和生成过程。
• 存储与检索：
  Vector Store（向量存储）：处理后的嵌入向量被存储在向量库中。
  Retrieved Chun