深度学习-70-大语言模型LLM之基于大模型LLM与检索增强技术RAG的智能知识库

1 RAG出现的背景

自从2022年底ChatGPT横空出世引爆了大模型技术浪潮，时至今日已经一年有余，如何从技术侧向商业侧落地转化是一直以来业内普遍关注的问题。从目前企业端观察到的情况来看，基于大模型的知识库是一个比较有潜力和价值的应用场景，能够帮助企业大幅提高知识的整合和应用效率。

然而由于通用预训练大模型的训练数据主要来源于公开渠道，缺乏企业专业和私有知识，直接使用将难以支撑企业内部的专业知识问答。

通过重新训练或微调的方式可以实现知识扩充，但存在以下缺点：
(1)需要的数据量大，训练代价高、周期长；
(2)对于企业知识的快速更新无法及时响应；
(3)对已有知识无法有效更新或删除；
(4)大模型存在的“幻觉”问题。

而RAG(Retrieval-Augmented Generation，检索增强生成)技术，能够在一定程度上解决以上问题。RAG，顾名思义，即通过引入存储在外部数据库中的知识以增强大模型的问答能力。具体来说，大模型在回答问题或生成内容前，首先在外部数据库中进行检索，将相似度高的内容返回给大模型再进一步整理生成。这种模式能够提高输出的准确性和相关性，避免大模型产生“幻觉”生成事实不正确的内容