使用LangChain构建信息提取链

在现代文本处理应用中，从非结构化文本中提取结构化信息是一个重要且常见的任务。本教程将向您展示如何使用LangChain构建一个信息提取链。

技术背景介绍

随着大型语言模型(LLMs)的出现，它们的生成能力被广泛应用于各种信息提取任务。通过定义结构化的提取需求，我们可以利用这些模型从复杂的文本中获取所需的信息。

核心原理解析

提取链的核心在于定义清晰的提取需求，即通过Schema (数据模型)来告诉模型我们需要的信息。然后，我们可以利用LLMs的自然生成能力来解析这些信息，并将其转换为结构化数据。

代码实现演示

在本节中，我们将提供一个完整的Python示例代码来演示如何使用LangChain进行信息提取。

安装LangChain

可以通过Pip和Conda安装LangChain：

pip install langchain

conda install langchain -c conda-forge

定义提取Schema

我们使用Pydantic来定义一个用于提取个人信息的Schema。

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel, Field

class Person(BaseModel):
    """Information about a person."""

    name: Optional[str] = Field(default=None, description="The name of the person")
    hair_color: Optional[str] = Field(default=None, description="The color of the person's hair if known")
    height_in_meters: Optional[str] = Field(default=None, description="Height measured in meters")

创建信息提取器

接下来，我们创建一个信息提取器，利用我们刚定义的Schema和LangChain的工具调用功能。

from langchain_core.prompts import ChatPromptTemplate
from langchain_mistralai import ChatMistralAI

# 定义提示模板
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are an expert extraction algorithm. Only extract relevant information from the text."),
        ("human", "{text}"),
    ]
)

# 使用支持工具调用的模型
llm = ChatMistralAI(model="mistral-large-latest", temperature=0)
runnable = prompt | llm.with_structured_output(schema=Person)

# 测试信息提取器
text = "Alan Smith is 6 feet tall and has blond hair."
output = runnable.invoke({"text": text})
print(output)

多实体提取

在大多数情况下，我们可能需要提取多个实体的信息。可以通过嵌套模型来实现这一点。

from typing import List

class Data(BaseModel):
    """Extracted data about people."""
    people: List[Person]

# 更新的提取方法
runnable = prompt | llm.with_structured_output(schema=Data)
text = "My name is Jeff, my hair is black and I am 6 feet tall. Anna has the same color hair as me."
output = runnable.invoke({"text": text})
print(output)

应用场景分析

这种信息提取技术可以应用于客户反馈分析、舆情监控、文档归档等多个场景。例如，在客服系统中，可以自动提取客户提供的姓名、联系方式等信息用于后续处理。

实践建议

1. 定义精准的Schema：确保Schema中对每个字段的描述清晰，以提高提取质量。
2. 使用参考示例：在提示模板中加入参考示例可以显著提升模型的提取性能。

如果遇到问题欢迎在评论区交流。

—END—