基于Llamaindex的本地向量与大模型RAG搭建流程

问题背景

• Llamaindex 提供了 LangChain 之外的另一种选择，擅长搜索与检索场景。
• 工程化必须解决的全本地路径：本地 embedding 和 LLMs（如 Ollama）。
• Qwen 指导文档给出了基于 HF 或者其他使用 API Key 大模型的示例，场景不符。
• Llamaindex 自身相关文档，尤其是关键插件的用户手册难寻，接口说明也很少。

鉴于此，本文展示了 Llamaindex + Chunk + Local Embed +Ollama + RAG 的全流程代码。

安装依赖

• Python 版本：3.11.10
• 操作系统： CentOS 7.4

pip install llama-index
pip install llama-index-llms-huggingface
# pip install llama-index-readers-web

pip install ollama
pip install llama-index-llms-ollama
pip install llama-index-embeddings-huggingface

代码

前提：首先自行部署本地 Ollama 并 pull 好要使用大模型，这些文档很多不再赘述了。其次，通过镜像网站下载好向量嵌入模型 bge-large-zh-v1.5。

# cat rag-demo.py
import torch
from llama_index.core import Settings
from llama_index.core.node_parser import SentenceSplitter
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama


<