大模型笔记：RAG（Retrieval Augmented Generation,检索增强生成）

1 大模型知识更新的困境

• 大模型的知识更新是很困难的，主要原因在于：
  • 训练数据集固定,一旦训练完成就很难再通过继续训练来更新其知识
  • 参数量巨大,随时进行fine-tuning需要消耗大量的资源，并且需要相当长的时间
  • LLM的知识是编码在数百亿个参数中的,无法直接查询或编辑其中的知识图谱
• ——>LLM的知识具有静态、封闭和有限的特点。
• ——>为了赋予LLM持续学习和获取新知识的能力,RAG应运而生

2 RAG介绍

这是一个RAG的例子，来自专补大模型短板的RAG有哪些新进展？这篇综述讲明白了

• 我们向 ChatGPT 询问 OpenAI CEO Sam Atlman 在短短几天内突然解雇随后又被复职的事情。
• 由于受到预训练数据的限制，缺乏对最近事件的知识，ChatGPT 则表示无法回答。（without RAG）
• RAG 则通过从外部知识库检索最新的文档摘录来解决这一差距。
  • 它获取了一系列与询问相关的新闻文章。
  • 这些文章，连同最初的问题，随后被合并成一个丰富的提示，使 ChatGPT 能够综合出一个有根据的回应