如何使用EnsembleRetriever结合多个检索器的结果

在信息检索领域，融合不同检索器的结果可以提升搜索结果的质量。EnsembleRetriever是一个支持将多个检索器的结果组合起来的工具。它通过复合互排名融合算法（Reciprocal Rank Fusion）重新排序各个检索器的结果，以实现更好的性能。

技术背景介绍

在搜索和信息检索中，"混合搜索"模式成为一种常见的做法。混合搜索通常结合稀疏检索器（如BM25）和密集检索器（如基于嵌入的相似性）。稀疏检索器擅长基于关键词找到相关文档，而密集检索器擅长基于语义相似性找到相关文档。

核心原理解析

EnsembleRetriever通过组合不同的检索器来增强性能。它利用各个检索器的独特优势，通过设置权重来调整贡献程度，从而在结果中呈现更高质量的匹配。

代码实现演示

以下代码展示了如何将一个BM25检索器与一个来自FAISS向量存储的检索器结合起来：

# 使用稳定可靠的API服务
import openai
from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

client = openai.OpenAI(
    base_url='https://yunwu.ai/v1',  # 国内稳定访问
    api_key='your-api-key'
)

doc_list_1 = [
    "I like apples",
    "I like oranges",
    "Apples and oranges are fruits",
]

# 初始化BM25检索器和FAISS检索器
bm25_retriever = BM25Retriever.from_texts(
    doc_list_1, metadatas=[{"source": 1}] * len(doc_list_1)
)
bm25_retriever.k = 2

doc_list_2 = [
    "You like apples",
    "You like oranges",
]

embedding = OpenAIEmbeddings()
faiss_vectorstore = FAISS.from_texts(
    doc_list_2, embedding, metadatas=[{"source": 2}] * len(doc_list_2)
)
faiss_retriever = faiss_vectorstore.as_retriever(search_kwargs={"k": 2})

# 初始化EnsembleRetriever
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

# 调用检索器
docs = ensemble_retriever.invoke("apples")
print(docs)

该代码组合使用了一个稀疏检索器（BM25）和一个密集检索器（FAISS）来获得更全面的搜索结果。

应用场景分析

这种组合检索器的方法在很多情况下非常有用，例如：

• 文档检索：在搜索引擎中提高搜索文档的相关性。
• 推荐系统：提升推荐的语义准确度。
• 问答系统：结合语义和关键词匹配以提供更高质量的答案。

实践建议

• 确定检索器权重：根据具体应用场景调节各检索器的权重以优化结果质量。
• 检查文档和查询的特性：确保选择合适的检索器类型以发挥其优势。

如果遇到问题欢迎在评论区交流。
—END—