使用Nodejs基于DeepSeek加chromadb实现RAG检索增强生成 本地知识库

定义

检索增强生成（RAG）的基本定义

检索增强生成（Retrieval-Augmented Generation，简称RAG）是一种结合了信息检索技术与语言生成模型的人工智能技术。RAG通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力。这种技术能够有效提升模型在问答、文本摘要、内容生成等自然语言处理任务中的表现。

RAG的工作机制

RAG的工作机制主要包括三个核心部分：检索（Retrieval）、增强（Augmentation）和生成（Generation）。

检索（Retrieval）：RAG流程的第一步是从预先建立的知识库中检索与问题相关的信息。这一步骤的目的是为后续的生成过程提供有用的上下文信息和知识支撑。检索模块通常依赖于向量检索技术，将查询转换为向量表示，然后与知识库中的向量进行比对，找到最相似的内容。

增强（Augmentation）：在RAG中增强是将检索到的信息用作生成模型（即大语言模型）的上下文输入，以增强模型对特定问题的理解和回答能力。这一步的目的是将外部知识融入生成过程中，使生成的文本内容更加丰富、准确和符合用户需求。

生成（Generation）：生成是RAG流程的最后一步。这一步的目的是结合LLM生成符合用户需求的回答。生成器会利用检索到的信息作为上下文输入，并结合大语言模型来生成文本内容，最终输出准确、有用的回答。

实现

实现思路

文件上传 读取 语句的分割还有向量化 然后对用户的提问在向量库中进行检索

通过langchain文档工具进行文档的分割

通过chromadb进行向量转换和语义检索

其实完全可以通过python实现但是我看官方有提供的js的插件包 于是在用node写了一套 之后又用python写了一套

怎么说呢 看你喜欢用哪一种吧 反正离不开python环境

第一步安装python环境

有更多教你安装的帖子链接在下面 可以去看看