【大模型应用笔记】检索增强生成（RAG）是什么？

基础介绍

RAG (Retrieval Augmented Generation)（检索增强生成）：给模型配备一个"外部记忆库"，类比于像给秘书配备了一个随时可查的资料库。例如，企业客服系统可以基于最新的产品手册来回答用户问题。优势是提高答案准确性，减少幻觉，支持实时更新知识。主要步骤包括：

• 检索：从知识库中找到相关文档
• 增强：将检索到的信息注入到prompt中
• 生成：模型基于增强后的上下文生成回答

知识预处理-文档智能解析

文档智能解析的基础步骤：

• 文档预处理阶段
  • 文档格式转换：将不同格式(PDF、Word、图片等)统一转换为可处理的格式
  • 图像增强：对扫描文档进行去噪、二值化、倾斜校正等处理
  • 页面分割：将文档页面分割为不同的区域(文本、表格、图片等)
• 文字识别(OCR)
  • 基础OCR：识别标准印刷体文字
  • 手写体识别：处理手写文档
  • 特殊字符识别：处理数学公式、特殊符号等
  • 多语言支持：处理不同语言的文字
• 版面分析
  • 文档结构分析：理解文档的层次结构
  • 布局分析：识别标题、正文、页眉页脚等
  • 表格识别：识别表格结构和内容
  • 图文关系分析：理解图片和文字的关联性
• 信息提取
  • 关键信息提取：识别文档中的重要字段(如日期、金额、名称等)
  • 实体识别：识别文档中的命名实体(人名、地名、组织机构等)
  • 关系抽取：分析实体之间的关系
  • 表格数据结构化：将表格内容转换为结构化数据
• 语义理解
  • 文本分类：对文档进行分类
  • 关键词提取：提取文档主题词
  • 文本摘要：生成文档摘要
  • 问答系统：基于文档内容回答问题
• 后处理
  • 数据验证：验证提取信息的准确性
  • 格式标准化：统一数据格式
  • 结果输出：生成结构化的输出结果
  • 质量控制：进行错误检查和纠正

知识预处理-文本分块

文本分块的方法有：

分类	方法	说明
基础分块方法	固定长度分块	按照固定字符数或token数进行切分
	句子分块	基于标点符号或自然语言处理进行句子级别分割
	段落分块	根据段落标记(如换行符)进行分块
	语义分块	基于语义完整性进行智能分块