本文探讨了如何在不建立实时数据库连接的情况下，利用数据库模式信息驱动大型语言模型（llm）生成sql语句。我们将介绍通过手动提供模式文本、构建自定义工具等方法，绕过传统数据库链的限制，实现高效、安全的sql生成，并提供实践指导与注意事项。
引言：离线SQL模式的必要性
在利用大型语言模型（LLM）进行SQL生成时，一个常见且重要的需求是能够在没有实时数据库连接的情况下工作。这主要出于以下几个原因：
- 安全性考量： 避免将生产数据库的连接凭据暴露给LLM或其运行环境。
- 性能与资源： 避免频繁建立和关闭数据库连接，尤其是在大规模或高并发的SQL生成场景中。
- 开发与测试： 在开发阶段，可能没有可用的数据库实例，或者希望在不影响真实数据的情况下进行SQL生成测试。
- 生成DDL而非执行查询： 有些场景下，我们只需要LLM根据需求生成数据定义语言（DDL）或查询语句本身，而不是执行它们。
传统的SQLDatabaseChain等工具通常依赖于SQLDatabase类，该类通过SQLAlchemy连接到真实的数据库以内省（inspect）其模式。这显然与“无需实时连接”的目标相悖。因此，我们需要探索替代方案，即如何仅凭数据库的模式文件或描述来指导LLM生成SQL。
理解传统SQLDatabaseChain的工作原理
SQLDatabaseChain是LangChain中用于与SQL数据库交互的强大工具。它的核心是SQLDatabase对象，该对象通过SQLAlchemy引擎连接到指定的数据库URI。一旦连接建立，SQLDatabase能够：
- 内省模式： 查询数据库的INFORMATION_SCHEMA或其他系统表，获取所有表名、列名、数据类型、主键、外键等详细信息。
- 执行查询： 接收LLM生成的SQL语句并执行，然后返回结果。
SQLDatabaseChain通常会将内省到的数据库模式信息（以文本形式）作为上下文的一部分提供给LLM，从而使LLM能够理解数据库结构并生成正确的SQL。然而，这种机制的根本限制在于它要求一个可用的、具有读权限的实时数据库连接。
方法一：直接向LLM提供数据库模式文本
最直接、最简单的方法是将数据库的模式信息作为纯文本，直接嵌入到发送给LLM的提示词（Prompt）中。这种方法完全绕过了SQLDatabase的实时连接需求。
1. 提取数据库模式
首先，你需要获取目标数据库的模式信息。这可以通过以下方式实现：
- 从现有数据库导出： 使用数据库客户端工具（如mysqldump、pg_dump）导出DDL语句，或者查询INFORMATION_SCHEMA视图来获取表和列的定义。
- 使用现有的DDL文件： 如果你已经有创建数据库表的DDL脚本，可以直接使用它们。
- 手动编写： 对于简单的数据库结构，可以手动编写一个简洁的描述。
2. 格式化模式文本
将提取到的模式信息格式化为清晰、简洁的文本，以便LLM能够轻松理解。通常，DDL语句本身就是很好的格式，或者可以将其转换为易于阅读的列表或描述。
示例：
-- 表：users
-- 描述：存储用户信息
CREATE TABLE users (
id INT PRIMARY KEY COMMENT '用户ID',
username VARCHAR(50) UNIQUE NOT NULL COMMENT '用户名',
email VARCHAR(100) UNIQUE COMMENT '邮箱地址',
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
);
-- 表：products
-- 描述：存储产品信息
CREATE TABLE products (
product_id INT PRIMARY KEY COMMENT '产品ID',
name VARCHAR(255) NOT NULL COMMENT '产品名称',
price DECIMAL(10, 2) NOT NULL COMMENT '产品价格',
stock INT DEFAULT 0 COMMENT '库存量'
);
-- 表：orders
-- 描述：存储订单信息，包含用户ID和产品ID的外键
CREATE TABLE orders (
order_id INT PRIMARY KEY COMMENT '订单ID',
user_id INT NOT NULL COMMENT '下单用户ID',
product_id INT NOT NULL COMMENT '订单产品ID',
quantity INT NOT NULL COMMENT '购买数量',
order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '订单日期',
FOREIGN KEY (user_id) REFERENCES users(id),
FOREIGN KEY (product_id) REFERENCES products(product_id)
);3. 构建LLM提示词
将格式化后的模式文本与用户的问题结合，构建一个引导LLM生成SQL的提示词。
示例代码：
以下是一个使用LangChain和OpenAI模型的示例，展示如何将模式作为上下文传递。
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI # 假设你使用OpenAI模型
# 假设这是你的数据库模式信息（可以是DDL语句或更简洁的描述）
db_schema = """
-- 表：users (存储用户信息)
CREATE TABLE users (
id INT PRIMARY KEY COMMENT '用户ID',
username VARCHAR(50) UNIQUE NOT NULL COMMENT '用户名',
email VARCHAR(100) UNIQUE COMMENT '邮箱地址',
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
);
-- 表：products (存储产品信息)
CREATE TABLE products (
product_id INT PRIMARY KEY COMMENT '产品ID',
name VARCHAR(255) NOT NULL COMMENT '产品名称',
price DECIMAL(10, 2) NOT NULL COMMENT '产品价格',
stock INT DEFAULT 0 COMMENT '库存量'
);
-- 表：orders (存储订单信息，包含用户ID和产品ID的外键)
CREATE TABLE orders (
order_id INT PRIMARY KEY COMMENT '订单ID',
user_id INT NOT NULL COMMENT '下单用户ID',
product_id INT NOT NULL COMMENT '订单产品ID',
quantity INT NOT NULL COMMENT '购买数量',
order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '订单日期',
FOREIGN KEY (user_id) REFERENCES users(id),
FOREIGN KEY (product_id) REFERENCES products(product_id)
);
"""
# 构建提示模板
prompt = ChatPromptTemplate.from_messages(
[
("system", "你是一个SQL查询生成器。请根据提供的数据库模式和用户问题生成SQL语句。只返回SQL语句，不要包含任何解释或额外文字。请使用MySQL方言。"),
("user", "数据库模式：\n{schema}\n\n用户问题：{question}\n\n生成的SQL:"),
]
)
# 初始化LLM（请替换为你的LLM模型和API密钥）
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
# 创建链
chain = prompt | llm
# 示例调用
question = "查询所有用户的订单数量，并按用户ID升序排列。"
response = chain.invoke({"schema": db_schema, "question": question})
print(response.content)
# 另一个示例
question_2 = "查找库存少于10个的所有产品名称及其价格。"
response_2 = chain.invoke({"schema": db_schema, "question": question_2})
print(response_2.content)优点：
- 简单直接： 实现成本低，无需复杂的工具集成。
- 完全离线： 无需任何数据库连接。
缺点：
- 上下文窗口限制： 对于非常大的数据库模式，模式文本可能会超出LLM的上下文窗口限制。
- 模式维护： 数据库模式变更时，需要手动更新提示词中的模式文本。
- LLM理解能力： LLM对复杂或不规范的模式描述可能理解不佳，需要精心的提示工程。
方法二：构建自定义数据库描述工具或代理
为了克服直接提供模式文本的局限性，特别是对于复杂或动态变化的模式，我们可以构建一个自定义工具。这个工具不连接数据库，而是根据预加载或解析的模式文件提供数据库结构信息给LLM代理。LLM代理可以像查询真实数据库一样，通过调用这个工具来获取它所需的模式信息。
1. 预处理模式文件
首先，你需要将数据库模式信息加载到一个结构化的数据结构中（例如Python字典、JSON对象）。这可以从DDL文件解析、从JSON/YAML格式的模式描述文件加载。
示例结构化模式：
mock_db_schema_info = {
"tables": {
"users": {
"columns": [
{"name": "id", "type": "INT", "is_pk": True, "description": "用户ID"},
{"name": "username", "type": "VARCHAR(50)", "is_pk": False, "description": "用户名"},
{"name": "email", "type": "VARCHAR(100)", "is_pk": False, "description": "邮箱地址"},
{"name": "created_at", "type": "TIMESTAMP", "is_pk": False, "description": "创建时间"},
],
"primary_key": ["id"],
"foreign_keys": [],
"description": "存储用户信息",
},
"products": {
"columns": [
{"name": "product_id", "type": "INT", "is_pk": True, "description": "产品ID"},
{"name": "name", "type": "VARCHAR(255)", "is_pk": False, "description": "产品名称"},
{"name": "price", "type": "DECIMAL(10, 2)", "is_pk": False, "description": "产品价格"},
{"name": "stock", "type": "INT", "is_pk": False, "description": "库存量"},
],
"primary_key": ["product_id"],
"foreign_keys": [],
"description": "存储产品信息",
},
"orders": {
"columns": [
{"name": "order_id", "type": "INT", "is_pk": True, "description": "订单ID"},
{"name": "user_id", "type": "INT", "is_pk": False, "description": "下单用户ID"},
{"name": "product_id", "type": "INT", "is_pk": False, "description": "订单产品ID"},
{"name": "quantity", "type": "INT", "is_pk": False, "description": "购买数量"},
{"name": "order_date", "type": "TIMESTAMP", "is_pk": False, 
