一种文档与代码双轨处理的RAG架构方案

1. 目标

如何构建一个能同时高效处理文档和代码的RAG系统？本文提出的融合架构，旨在解决这一核心挑战。

2. 整体架构概览

该系统的顶层设计思想是专业分工，统一调度。它将复杂的知识处理流程拆解为清晰的模块，各模块各司其职，最终由一个核心服务进行统一编排。

+-------------------+
|       前端        |
|  (Dify Web界面)   |
+-------------------+
          |
+-------------------+
|    Dify核心服务    |
| (工作流编排&Agent) |
+-------------------+
      /        \
     /          \
+----------+  +-------------+
| RAGFlow  |  | LlamaIndex  |
| (文档处理)|  | (代码处理)  |
+----------+  +-------------+
     |             |
+----v----+    +---v-------+
|Embedding|    | Embedding |
|  模型   |    |   模型    |
|BGE-large-zh-v1.5|    |bge-m3|
+---------+    +-----------+
          \       /
           \     /
        +---v---v--+
        |PostgreSQL|
        |+pgvector |
        +----------+

其数据处理流程分为两条并行但专业的轨道：

• 文档处理轨道： Dify -> RAGFlow -> BGE Embedding -> PostgreSQL/pgvector
• 代码处理轨道： Dify -> LlamaIndex -> BGE Embedding-> PostgreSQL/pgvector

这种设计确保了无论是技术手册还是核心代码，都能得到最适合其特性的处理，从而最大化知识抽取的质量。

3. 核心组件深度解析

3.1. 应用层与编排核心：Dify平台

Dify在本架构中扮演着“门户”与“大脑”的双重角色。

• 前端Web界面： 作为LLMops（大语言模型操作）平台，Dify提供了成熟的用户交互界面。用户可以在此上传文档、配置数据源（如连接Git仓库）、监控知识库状态，并与最终的AI应用进行对话。
• 核心服务 (Workflow & Agent)： 这是架构的指挥中心。它负责执行预设的AI工作流（Workflow），例如“当收到用户提问时，先进行向量检索，再调用LLM”。更重要的是，它能够驱动智能体（Agent），让AI具备根据任务自主选择和调用工具（如RAGFlow或LlamaIndex）的能力，实现了更高层次的自动化和智能化。

3.2. 双轨内容处理引擎：RAGFlow与LlamaIndex

这是本架构的创新亮点。它摒弃了用单一工具处理所有类型数据的粗放模式，采用了针对性的处理引擎。

• RAGFlow - 企业级文档处理利器： 传统RAG流程对非结构化文档（尤其是包含图表、复杂排版的PDF）的处理效果不佳。RAGFlow专为此类场景设计，它能够深度解析文档布局，智能识别标题、段落、表格、图片，并进行优化切块（Chunking）。这确保了从文档中提取的知识片段在语义上是完整且连贯的，极大地提升了后续检索的准确性。

• LlamaIndex - 代码库的深度理解者： 对于代码而言，简单的文本分割会破坏其固有的逻辑结构。LlamaIndex是一个专注于为LLM构建数据框架的工具，尤其擅长处理代码。它能够解析代码的抽象语法树（AST），理解函数、类、模块之间的引用关系，并构建一个能够反映代码逻辑的索引图。这意味着当用户询问“哪个函数调用了支付API”时，系统能够基于代码结构而非简单的关键字匹配进行检索。

3.3. 精准的向量化策略

向量化的质量直接决定了检索的上限。本架构同样采用了专用模型策略。

• 文档向量化 (BGE-large-zh-v1.5): 考虑到企业文档中中文内容的普遍性，架构选用了在中文领域表现卓越的BGE-large-zh-v1.5模型。它能精准捕捉中文文本的深层语义，确保了对技术手册、规章制度等内容的深刻理解。

• 代码向量化 (bge-m3 +l): 代码的向量化更为复杂。这里采用了bge-m3的组合。bge-m3是一个强大的多语言模型，确保了对代码功能、逻辑和相关注释的全面向量化表示。

3.4. 统一向量存储与检索：PostgreSQL + pgvector

在数据存储层，架构选择了PostgreSQL + pgvector的方案。这相比于专门的向量数据库，具有显著优势：

• 统一存储： 无需维护两套独立的数据库系统。原始文本、代码片段、元数据（如来源、作者）和向量数据可以存储在同一个PostgreSQL数据库中，简化了数据管理和一致性保障。
• 成熟生态： PostgreSQL作为一款极其成熟和强大的关系型数据库，拥有丰富的生态、强大的事务能力和优秀的稳定性。
• 高效检索： pgvector扩展为PostgreSQL提供了高效的近似最近邻（ANN）搜索能力，通过IVFFlat、HNSW等索引算法，能够在大规模向量数据中实现毫秒级的相似度检索，完全满足RAG场景的性能要求。

4. 工作流程剖析

1. 知识注入流程： 管理员通过Dify界面上传文档或连接代码库。Dify核心服务根据文件类型，将任务分发给RAGFlow（处理文档）或LlamaIndex（处理代码）。两大引擎各自完成内容解析、切块，并调用相应的Embedding模型生成向量。最后，原始数据、元数据和向量被一同写入PostgreSQL数据库。

2. 查询与生成流程：

   a. 用户在Dify界面提出问题。

   b. Dify核心服务将问题文本进行向量化。

   c. Dify向PostgreSQL发起向量检索请求，pgvector快速返回最相关的K个知识片段（可能是文档段落或代码块）。

   d. Dify将这些检索到的上下文信息与用户的原始问题组合成一个丰富的提示（Prompt）。

   e. 该提示被发送给后端的大语言模型（如GPT-4, Claude等）。

   f. LLM基于给定的上下文，生成一个精准、有事实依据的回答，并返回给用户。

5. 架构优势与应用场景

• 架构优势：

  • 高精准度： 双轨处理和专用模型确保了对不同数据源的深度理解。
  • 强扩展性： 模块化设计，可以方便地替换或增加新的处理引擎和模型。
  • 高效率： pgvector提供了高性能的检索能力。
  • 易于管理： Dify提供了一站式的管理界面，PostgreSQL统一了数据存储。

• 应用场景：

  • 企业智能知识库： 员工可以随时提问，快速获取内部规章、技术方案等信息。
  • 开发者智能助手 (Code Copilot)： 辅助开发人员理解庞大复杂的代码库、定位关键函数、生成样板代码。
  • 自动化技术支持： 自动分析用户提交的技术问题，并从知识库中寻找解决方案。
  • 合同/财报分析系统： 快速从大量法律或财务文档中提取关键条款和数据。