书生.浦语大模型LangChain实战

RAG(Retrieval-Augmented Generation)与Finetune

传统大模型有以下几点问题:

  1. 无法及时更新知识
  2. 知识面广,但在专业领域深度不够

为了解决以上诸多问题,有很多尝试方案。例如通过微调模型(Finetune)来适应专业领域知识,但这种方式对技术要求较高,属于计算密集型,很难灵活使用。

书生.浦语大模型LangChain实战_第1张图片

2020 年Lewis等人,在知识密集型 NLP 任务中,提出了一种更灵活的技术,称为检索增强生成(RAG)[参考论文:https://arxiv.org/abs/2005.11401]。在本文中,研究人员将生成模型与检索器模块相结合,以提供来自外部知识源的附加信息,并且这些信息可以很方便的进行更新维护。

即在大模型外部增加了一个知识库,大模型专门负责知识推理。

参数知识:神经网络只存储在训练期间学习到的知识。

非参数知识:知识存储在外部知识库中,例如向量知识库

书生.浦语大模型LangChain实战_第2张图片

书生.浦语大模型LangChain实战_第3张图片

书生.浦语大模型LangChain实战_第4张图片

构建向量数据库

  • 加载源文件:由于知识库文件格式不同,因此需要针对不同类型源文件采用不同的加载器
  • 文档分块(chunk):单个知识文档长度可能会超过模型上下文上限,需要对文档拆分
    • 按字符串长度分割
    • 手动控制分割长度和重叠区间长度
  • 文档向量块
    • 使用任意一种Embedding模型将块转化为向量,存入向量数据库
    • 使用支持语义检索的向量数据库,例如轻量级的Chroma

搭建知识库助手

书生.浦语大模型LangChain实战_第5张图片

创建虚拟环境

书生.浦语大模型LangChain实战_第6张图片

基础模型下载
LangChain相关环境配置

书生.浦语大模型LangChain实战_第7张图片

下载词向量模型sentence Transformer

书生.浦语大模型LangChain实战_第8张图片

下载NLTK库相关资源

知识库搭建

准备知识库数据

克隆几个仓库,利用其中的文本文档作为知识库数据

加载数据

利用langchain将不同格式的文本文档转化为字符串

分块及词向量持久化

利用sentence transformer将分块后的文档转化为词向量,并最终将其持久化保存

InternLM 接入LangChain

自定义一个InternLM的LLM类,继承LangChain的LLM类。重写其__init__()_call_()函数。在init中加载本地LLM模型,在call中调用模型的chat方法,传入prompt,返回response。

构建检索问答链

加载向量数据库
实例化自定义的LLM
实例化Prompt Template

书生.浦语大模型LangChain实战_第9张图片

书生.浦语大模型LangChain实战_第10张图片

reference

一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操(含源码)

Python自然语言处理:NLTK入门指南

向量数据库Chroma极简教程

你可能感兴趣的:(langchain)