Llama_Index核心组件介绍

一、什么是LlamaIndex

1. 简介

LlamaIndex 是一个用于 LLM 应用程序的数据框架，用于注入，结构化，并访问私有或特定领域数据。就是将大模型部署到本地或是公司服务器上，然后将自有数据结合大模型为个人或是企业服务。

2. 作用

在本质上，LLM(如 GPT，DeepSeek等)为人类和推断出的数据提供了基于自然语言的交互接口。广泛可用的大模型通常在大量公开可用的数据上进行的预训练，包括来自维基百科、邮件列表、书籍和源代码等。构建在LLM模型之上的应用程序通常需要使用私有或特定领域数据来增强这些模型。不幸的是，这些数据可能分布在不同的应用程序和数据存储中。它们可能存在于API之后、SOL数据库中，或者存在在PDF文件以及幻灯片中。Llamalndex应运而生。总体来说就是将特定领域数据和大模型相结合。

二、LlamaIndex核心组件

LlamaIndex 提供的五大核心工具如下：

1. 数据连接器（Data Connectors）

数据连接器用于从各种数据源中摄取数据，并将其转换为统一的文档表示形式。支持的数据源包括本地文件、PDF、API、SQL 数据库、Notion、Google 文档等。

2. 数据索引（Data Indexes）

数据索引将数据组织成可查询的索引形式，支持多种索引类型：
向量索引（Vector Store Index）：基于向量相似度检索数据。
列表索引（List Index）：按顺序存储节点，支持关键字过滤。
树形索引（Tree Index）：构建层次化结构，支持从根节点到叶节点的查询。
关键字表索引（Keyword Table Index）：通过关键字映射快速检索节点。

3. 引擎（Engines）

提供对数据的自然语言访问，主要包括：查询引擎（Query Engines）：用于问答，例如 RAG 流程中结合上下文和 LLM 生成答案。聊天引擎（Chat Engines）：用于与数据进行多轮对话交互。

4. 数据代理（Data Agents）

数据代理是由大语言模型（LLM）驱动的知识工作者，通过工具增强，能够执行各种任务，如研究、数据提取等。代理可以使用 RAG 管道等多种工具来完成任务。

5. 应用集成（Application Integrations）

LlamaIndex 提供了丰富的应用集成选项，包括：
向量数据库集成：如 Pinecone、Chroma、Weaviate、Milvus 等。应用框架集成：如 Streamlit、Chainlit。
其他集成：如与 OpenAI API、Hugging Face Transformers、Azure OpenAI 等模型服务的对接.

三、LlamaIndex核心概念

L1amaIndex 帮助构建 LLM 驱动的，基于个人或私域数据的应用。RAG(Retrieval AugmentedGeneration)是 LlamaIndex 应用的核心概念,

1. RAG

RAG，也称为检索增强生成，是利用个人或私域数据增强 LLM 的一种范式。通常，它包含两个阶段:

1，索引

构建知识库

2，查询

从知识库检索相关上下文信息,以辅助LLM回答问题.
LlamaIndex提供了工具包帮助开发者及其便捷地完成这两个阶段工作。

2. 索引阶段

LlamaIndex 通过提供 Data connectors(数据连接器)和 Indexes (索引)帮助开发者构建知识库该阶段会用到如下工具或组件:

1，Data connectors

数据连接器。它负责将来自不同数据源,不同格式的数据注入，并转换为 lamaIndex 支持的文档(Document)表现形式，其中包含了文本和元数据。

2，Documents /Nodes

Document是 LlamaIndex 中容器的概念，它可以包含任何数据源，包括，PDF文档，API响应,或来自数据库的数据。Node是 LlamaIndex 中数据的最小单元，代表了一个 Document的分块。它还包含了元数据，以及与其他Node的关系信息。这使得更精确的检