本教程探讨了在不建立实际数据库连接的情况下，如何利用数据库Schema信息生成SQL语句。我们将深入研究通过直接向大型语言模型（LLM）提供Schema定义（如DDL语句）来绕过传统的SQLDatabaseChain，实现SQL语句的生成。文章将涵盖提示工程、定制化链的构建以及相关的最佳实践，旨在为开发者提供灵活、高效的SQL生成方案。
理解挑战：在无数据库连接下生成SQL
在开发基于大型语言模型（LLM）的数据库交互应用时，一个常见的需求是生成SQL查询语句。LangChain等框架提供了SQLDatabase和SQLDatabaseChain等工具，它们通常依赖于SQLAlchemy来建立实际的数据库连接，从而能够进行数据库内省（如获取表结构、列信息）并执行生成的SQL。然而，在某些特定场景下，我们可能不希望或无法建立实际的数据库连接：
- 安全考量： 避免将生产数据库凭据暴露给LLM或中间服务。
- 性能优化： 避免每次SQL生成都产生数据库连接的开销。
- 开发/测试环境： 在没有实际数据库环境时，仅根据Schema文件进行SQL语句的预生成和验证。
- 纯粹的SQL生成需求： 目标仅仅是根据Schema结构生成SQL，而非执行SQL或与数据库进行实时交互。
在这种情况下，传统的SQLDatabaseChain因其对数据库连接的依赖而显得不适用。我们需要一种方法，仅凭数据库的Schema定义，就能指导LLM生成符合语法的SQL语句。
核心策略：通过Schema文本驱动SQL生成
解决上述挑战的核心策略是：将数据库的Schema信息以文本形式直接提供给LLM，使其能够理解数据库的结构，从而生成相应的SQL语句。这种方法完全绕过了对实际数据库连接的需求，将数据库的“知识”封装在LLM的输入提示（Prompt）中。
具体来说，我们可以将以下类型的Schema信息作为文本输入：
- 数据定义语言（DDL）语句： 例如 CREATE TABLE, CREATE INDEX 等语句，它们精确地定义了表、列、数据类型、主键、外键等结构。这是最推荐的方式，因为它提供了最准确和详细的结构信息。
- 结构化描述： 例如使用Markdown表格或JSON格式描述表名、列名及其类型。
- 自然语言描述： 简单描述数据库中包含哪些表，每个表有什么列。
通过将这些Schema文本与用户的查询问题结合起来，LLM可以利用其强大的语言理解和生成能力，推断出正确的SQL查询。
实现方法一：直接构建LLM提示（Prompt Engineering）
最直接的方法是利用提示工程，将Schema信息嵌入到LLM的输入提示中。这种方法灵活性高，适用于各种LLM接口。
步骤：
- 获取Schema文本： 准备好数据库的DDL语句或其他结构化Schema描述。
- 构建提示模板： 创建一个包含系统指令、Schema信息占位符和用户问题占位符的提示模板。
- 调用LLM： 将Schema文本和用户问题填充到模板中，然后发送给LLM获取SQL生成结果。
示例代码：
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI # 假设使用OpenAI模型，也可替换为其他LLM
from langchain_core.output_parsers import StrOutputParser
import os
# 确保设置了OpenAI API密钥
# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
# 1. 假设这是你的数据库Schema信息（DDL语句是最佳实践）
db_schema = """
CREATE TABLE Employees (
employee_id INT PRIMARY KEY,
first_name VARCHAR(50),
last_name VARCHAR(50),
department_id INT,
salary DECIMAL(10, 2),
hire_date DATE
);
CREATE TABLE Departments (
department_id INT PRIMARY KEY,
department_name VARCHAR(50)
);
CREATE TABLE Projects (
project_id INT PRIMARY KEY,
project_name VARCHAR(100),
department_id INT,
FOREIGN KEY (department_id) REFERENCES Departments(department_id)
);
"""
# 2. 构建提示模板
# 包含系统指令，明确LLM的角色和任务
# 包含Schema信息和用户问题作为输入
prompt = ChatPromptTemplate.from_messages(
[
("system", "你是一个专业的SQL查询生成器。根据提供的数据库Schema，为用户的问题生成准确的SQL查询语句。不要包含任何解释，只输出SQL语句。请确保生成的SQL语法正确，并考虑表之间的连接关系。"),
("user", "数据库Schema:\n{schema}\n\n用户问题: {question}"),
]
)
# 3. 初始化LLM
# temperature=0 通常用于需要确定性输出（如代码生成）的场景
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0) # 请替换为你的模型和API密钥
# 创建一个LangChain表达式语言（LCEL）链
sql_generation_chain = prompt | llm | StrOutputParser()
# 调用链生成SQL
user_question_1 = "找出工资高于50000的员工的姓名和他们所属的部门名称。"
response_1 = sql_generation_chain.invoke({"schema": db_schema, "question": user_question_1})
print("问题1的SQL语句:")
print(response_1)
print("-" * 30)
user_question_2 = "列出所有部门的名称以及每个部门的员工数量。"
response_2 = sql_generation_chain.invoke({"schema": db_schema, "question": user_question_2})
print("问题2的SQL语句:")
print(response_2)
print("-" * 30)输出示例：
问题1的SQL语句: SELECT E.first_name, E.last_name, D.department_name FROM Employees E JOIN Departments D ON E.department_id = D.department_id WHERE E.salary > 50000; ------------------------------ 问题2的SQL语句: SELECT D.department_name, COUNT(E.employee_id) AS employee_count FROM Departments D LEFT JOIN Employees E ON D.department_id = E.department_id GROUP BY D.department_name; ------------------------------
实现方法二：定制化链与Schema集成
对于更复杂的场景，例如需要从文件动态加载Schema、对Schema进行预处理、或者在多个LLM调用之间传递Schema信息，我们可以利用LangChain的表达式语言（LCEL）构建定制化的链。这提供了比简单提示工程更强的结构化和模块化能力。
示例代码：
from langchain_core.runnables import RunnablePassthrough, RunnableLambda
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
import os
# 假设这是你的数据库Schema信息（可以从文件加载）
def load_schema_from_file(file_path):
"""模拟从文件加载Schema的函数"""
try:
with open(file_path, 'r', encoding='utf-8') as f:
return f.read()
except FileNotFoundError:
return "Schema file not found."
# 创建一个虚拟的schema文件
schema_file_content = """
CREATE TABLE Customers (
customer_id INT PRIMARY KEY,
name VARCHAR(100),
email VARCHAR(100)
);
CREATE TABLE Orders (
order_id INT PRIMARY KEY,
customer_id INT,
order_date DATE,
amount DECIMAL(10, 2),
FOREIGN KEY (customer_id) REFERENCES Customers(customer_id)
);
"""
with open("my_db_schema.sql", "w", encoding="utf-8") as f:
f.write(schema_file_content)
# 定义LLM和提示模板（与方法一相同）
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
prompt = ChatPromptTemplate.from_messages(
[
("system", "你是一个专业的SQL查询生成器。根据提供的数据库Schema，为用户的问题生成准确的SQL查询语句。不要包含任何解释，只输出SQL语句。请确保生成的SQL语法正确，并考虑表之间的连接关系。"),
("user", "数据库Schema:\n{schema}\n\n用户问题: {question}"),
]
)
# 构建定制化链
custom_sql_chain = (
# 步骤1: 动态加载Schema。RunnableLambda允许执行任意函数。
# 这里假设我们知道schema文件路径
RunnablePassthrough.assign(
schema_text=RunnableLambda(lambda x: load_schema_from_file("my_db_schema.sql"))
)
# 步骤2: 组合输入，将用户问题和加载的Schema文本合并为LLM期望的格式
| RunnableLambda(lambda inputs: {
"schema": inputs["schema_text"],
"question": inputs["user_question"] # 'user_question' 是外部传入的键
})
# 步骤3: 将组合后的输入传递给提示模板
| prompt
# 步骤4: 调用LLM
| llm
# 步骤5: 解析LLM输出为字符串
| StrOutputParser()
)
# 调用定制化链
user_question_3 = "查询所有客户的姓名以及他们下过的订单总金额。"
response_3 = custom_sql_chain.invoke({"user_question": user_question_3})
print("问题3的SQL语句:")
print(response_3)
print("-" * 30)
user_question_4 = "找出没有下过订单的客户姓名。"
response_4 = custom_sql_chain.invoke({"user_question": user_question_4})
print("问题4的SQL语句:")
print(response_4)
print("-" * 30)
# 清理创建的虚拟文件
os.remove("my_db_schema.sql")输出示例：
问题3的SQL语句: SELECT C.name, SUM(O.amount) AS total_order_amount FROM Customers C JOIN Orders O ON C.customer_id = O.customer_id GROUP BY C.name; ------------------------------ 问题4的SQL语句: SELECT C.name FROM Customers C LEFT JOIN Orders O ON C.customer_id = O.customer_id WHERE O.order_id IS NULL; ------------------------------
注意事项与最佳实践
在采用Schema文本驱动SQL生成的方法时，需要考虑以下几点以确保效率和准确性：
-
Schema表示的质量：
- 首选DDL语句： DDL语句是最精确和无歧义的Schema表示方式。它们包含了表名、列名、数据类型、主键、外键和约束等所有关键信息。
- 保持简洁和相关性： 仅提供与当前任务相关的Schema部分。对于非常大的数据库，可以考虑只提取用户可能查询的表和列信息，避免LLM上下文溢出。
- 添加注释： 在DDL中添加描述性注释可以帮助LLM更好地理解业务含义，尤其是在列名不直观时。
-
上下文管理：
- Token限制： LLM的上下文窗口是有限的。对于包含大量表和列的复杂数据库Schema，直接将其全部放入提示可能会超出LLM的token限制。
-
解决方案：
- Schema摘要： 使用另一个LLM或规则引擎对完整的Schema进行摘要，提取关键信息。
- Schema检索： 将Schema信息分块存储（例如，每个表一个文档），并使用向量数据库进行检索。当用户提出问题时，首先检索与问题最相关的Schema片段，然后将其作为上下文传递给SQL生成LLM。
- 逐步细化： 如果LLM无法一次性生成复杂SQL，可以设计多轮交互，逐步提供更多Schema细节或引导LLM进行思考。
-
安全性考量：
- 不直接执行： 即使不连接数据库，生成的SQL语句也应被视为潜在的风险。在任何实际执行之前，必须对生成的SQL进行严格的审查和验证。
- 防止敏感信息泄露： 确保Schema本身不包含敏感数据，或者在传递给LLM之前进行脱敏处理。
-
准确性与验证：
- LLM的局限性： LLM并非完美的SQL生成器，它可能会生成语法错误、语义不正确或效率低下的SQL。
-
验证机制：
- 人工审查： 对于关键业务逻辑，必须进行人工审查。
- 自动化测试： 可以建立一套测试用例，包含各种查询场景，并使用模拟数据或测试数据库来验证生成的SQL的正确性。
- SQL解析器： 使用SQL解析库（如sqlparse）来检查生成的SQL语法是否正确。
-
提示工程优化：
- 明确的系统指令： 确保系统提示清晰地定义了LLM的角色（例如，“你是一个专业的SQL查询生成器”），输出格式（“只输出SQL语句，不要包含解释”），以及重要约束（“确保语法正确，考虑连接关系”）。
- Few-shot示例： 对于复杂或特定风格的SQL生成，提供几个高质量的“问题-SQL”示例作为few-shot提示，可以显著提高生成质量。
-
与传统SQLDatabaseChain的对比：
- 本教程介绍的方法主要适用于纯粹的SQL生成场景，即我们只需要SQL语句本身，而不需要LLM去执行它或从数据库中获取数据
