在Intel GPU上使用IPEX-LLM进行本地BGE嵌入

在现代人工智能应用中，尤其在诸如检索增强生成（RAG）和文档问答等任务中，低延迟是一个至关重要的指标。Intel的IPEX-LLM是一种专门为Intel CPU和GPU优化的PyTorch库，能够在包括本地PC上的集成显卡和独立显卡（如Arc、Flex和Max）在内的Intel硬件上以极低的延迟运行大型语言模型（LLM）。本文将介绍如何在Intel GPU上结合LangChain使用IPEX-LLM进行嵌入任务的优化。

技术背景介绍

IPEX-LLM通过结合Intel硬件的特性，提供了一种高效的方法来运行LLM，这在需要高效嵌入计算的应用场景中非常有用。这包括但不限于RAG和文档问答任务。通过在Intel GPU上使用IPEX-LLM优化LangChain的嵌入任务，可以显著提高处理速度和响应性能。

核心原理解析

IPEX-LLM的核心优势在于其优化的底层计算方式，支持将模型直接部署在Intel GPU上。这种方式不仅提高了模型推理速度，还提升了计算的稳定性和一致性。通过利用Intel GPU的强大并行计算能力，IPEX-LLM能够充分发挥硬件的潜力，以较低的功耗提供强大的计算能力。

代码实现演示

以下是一个完整的代码示例，展示了如何在Intel GPU上使用IPEX-LLM进行文档和查询的嵌入计算：

# 安装必要的库
%pip install -qU langchain langchain-community
%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
%pip install sentence-transformers

# 环境变量配置（适合Windows用户，具体配置根据设备类型调整）
import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1" # 持久化缓存，提升性能

# 从LangChain使用IPEX-LLM进行嵌入
from langchain_community.embeddings import IpexLLMBgeEmbeddings

# 初始化嵌入模型，将其部署在Intel GPU上
embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={"device": "xpu"},  # 使用Intel GPU进行计算
    encode_kwargs={"normalize_embeddings": True},  # 归一化嵌入向量
)

# 嵌入文档和查询
sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU with very low latency."
query = "What is IPEX-LLM?"

text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")

应用场景分析

• 检索增强生成（RAG）：在信息检索与生成的组合任务中，通过IPEX-LLM对文档库进行快速嵌入计算与匹配，用户可以在大规模文档库中快速检索相关信息。
• 文档问答：在问答系统中，能快速将问题与文档映射到同一嵌入空间，以快速找到最相关的答案。

实践建议

为了获得最佳的性能体验，建议在Intel Arc A-Series GPU上运行此代码，并根据您的硬件配置调整环境变量设置。首次运行时，可能需要一些时间进行模型编译，之后性能会显著提升。

如果在使用过程中遇到任何问题或有疑问，欢迎在评论区交流。