SQLDatabase Toolkit: 搭建基于SQL数据库的智能问答系统

技术背景介绍

SQLDatabase Toolkit 是一个非常有用的工具集，旨在与SQL数据库进行交互。它的常见应用场景是通过数据库数据构建问答系统，特别是在需要迭代处理和错误恢复的情况下。此工具包在LangChain社区包中提供，支持多种大型语言模型(LLM)或聊天模型的集成。

核心原理解析

SQLDatabase Toolkit的核心功能包括查询执行、模式查找以及查询检查等。借助这些工具，可以构建一个智能系统来处理用户问题，并从SQL数据库中检索相关数据。其主要组件包括：

• SQLDatabase：用于连接和操作SQL数据库。
• SQLDatabaseToolkit：一个工具集，包含多个与SQL数据库交互的工具。
• QuerySQLCheckerTool：用于检查生成的SQL查询是否正确。

代码实现演示(重点)

环境搭建

首先，安装必要的Python包：

%pip install --upgrade --quiet langchain-community langchainhub langgraph

数据库初始化

以下代码示例展示了如何使用SQLite数据库，并将其加载到内存中：

import sqlite3
import requests
from langchain_community.utilities.sql_database import SQLDatabase
from sqlalchemy import create_engine
from sqlalchemy.pool import StaticPool

def get_engine_for_chinook_db():
    """Pull sql file, populate in-memory database, and create engine."""
    url = "https://raw.githubusercontent.com/lerocha/chinook-database/master/ChinookDatabase/DataSources/Chinook_Sqlite.sql"
    response = requests.get(url)
    sql_script = response.text

    connection = sqlite3.connect(":memory:", check_same_thread=False)
    connection.executescript(sql_script)
    return create_engine(
        "sqlite://",
        creator=lambda: connection,
        poolclass=StaticPool,
        connect_args={"check_same_thread": False},
    )

engine = get_engine_for_chinook_db()
db = SQLDatabase(engine)

LLM模型配置

以下代码示例展示了如何配置多种大模型，包括OpenAI、Anthropic、Azure等：

import getpass
import os
from langchain_openai import ChatOpenAI

os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter your OpenAI API key: ")

llm = ChatOpenAI(model="gpt-4o-mini")

# 针对其他模型的配置方式类似
# 如需更多模型配置可参考上面的文档片段

工具集实例化

在数据库和LLM模型配置完毕后，可以实例化SQLDatabaseToolkit：

from langchain_community.agent_toolkits.sql.toolkit import SQLDatabaseToolkit

toolkit = SQLDatabaseToolkit(db=db, llm=llm)

通过代理执行问答

以下代码展示了如何创建一个简易的问答代理，并使用前面定义的工具执行查询：

from langchain import hub
from langgraph.prebuilt import create_react_agent

prompt_template = hub.pull("langchain-ai/sql-agent-system-prompt")
assert len(prompt_template.messages) == 1

system_message = prompt_template.format(dialect="SQLite", top_k=5)

agent_executor = create_react_agent(
    llm, toolkit.get_tools(), state_modifier=system_message
)

example_query = "Which country's customers spent the most?"

events = agent_executor.stream(
    {"messages": [("user", example_query)]},
    stream_mode="values",
)
for event in events:
    event["messages"][-1].pretty_print()

应用场景分析

SQLDatabase Toolkit可以用于多种应用场景，包括但不限于：

• 金融数据分析
• 医疗记录查询
• 电子商务数据统计
• 物流数据跟踪

实践建议

1. 数据库权限管理：确保你的数据库连接权限严格限定，以减小安全风险。
2. 查询检查：使用QuerySQLCheckerTool等工具检查生成的SQL查询，以避免潜在的错误。
3. 负载管理：对于大数据量的查询，确保有适当的资源配额保护措施，以避免对数据库造成过大压力。

如果遇到问题欢迎在评论区交流。