基于Schema文件实现无数据库连接的SQL语句生成

本文探讨了在不直接连接数据库的情况下，如何利用数据库schema文件生成sql语句的方法。我们将重点介绍通过提供详细的数据库概览信息给大型语言模型（llm），实现基于schema的sql查询生成，从而避免实际数据库连接，提升安全性和灵活性。内容涵盖了如何准备schema信息以及其在llm驱动的sql生成中的应用。

在现代应用开发中，尤其是在涉及大型语言模型（LLM）与数据库交互的场景下，有时我们需要LLM根据数据库的结构（Schema）生成SQL查询，但又希望避免LLM直接连接到生产数据库。这种需求常见于以下几种情况：

• 安全性考量：防止LLM或相关代理在生成SQL后直接执行，避免潜在的数据泄露或误操作。
• 开发与测试：在开发或测试阶段，无需实际数据库连接即可验证SQL生成逻辑。
• 模拟环境：在没有实际数据库环境的情况下，进行SQL语句的预生成和分析。
• 性能优化：避免不必要的数据库连接和Schema内省操作。

本文将详细阐述如何通过提供数据库Schema信息给LLM，实现无数据库连接的SQL语句生成。

核心原理：Schema驱动的LLM SQL生成

传统的数据库交互链（如LangChain的SQLDatabaseChain）通常会连接到数据库，并利用连接来内省Schema信息（例如，通过DESCRIBE TABLE或查询系统表）。然而，如果我们的目标仅仅是生成SQL语句而非执行，那么直接连接数据库就变得不必要。

解决方案的核心在于：将数据库的Schema信息以结构化或描述性的文本形式，作为上下文（Context）传递给LLM。LLM通过理解这些Schema描述，结合用户提出的问题，生成符合该Schema的SQL查询。这种方法将数据库的“知识”从实际连接中解耦，转变为LLM可理解的文本输入。

准备数据库Schema信息

要实现Schema驱动的SQL生成，首先需要获取并准备好数据库的Schema信息。这些信息应该足够详细，以便LLM能够准确理解表、列、数据类型、主键、外键以及它们之间的关系。

1. 提取Schema：

   • DDL语句：最直接的方式是获取数据库的DDL（数据定义语言）脚本，即CREATE TABLE、ALTER TABLE等语句。这些语句清晰地定义了数据库结构。
   • 数据库工具：使用数据库管理工具（如DBeaver, SQL Developer, phpMyAdmin）导出Schema。
   • ORM模型：如果项目使用了ORM（如SQLAlchemy, Django ORM），可以从ORM模型定义中提取表结构信息。
   • 手动描述：对于小型或特定场景，也可以手动编写简洁的Schema描述。

2. 格式化Schema信息： 将提取到的Schema信息整理成LLM易于理解的文本格式。通常，直接使用DDL语句作为文本是高效且准确的。

   示例Schema描述：

   CREATE TABLE users (
       id INT PRIMARY KEY,
       username VARCHAR(255) UNIQUE NOT NULL,
       email VARCHAR(255),
       registration_date DATE
   );
   
   CREATE TABLE products (
       product_id INT PRIMARY KEY,
       product_name VARCHAR(255) NOT NULL,
       category VARCHAR(100),
       price DECIMAL(10, 2)
   );
   
   CREATE TABLE orders (
       order_id INT PRIMARY KEY,
       user_id INT,
       product_id INT,
       quantity INT,
       order_date DATE,
       FOREIGN KEY (user_id) REFERENCES users(id),
       FOREIGN KEY (product_id) REFERENCES products(product_id)
   );

   登录后复制

集成LLM进行SQL生成

一旦Schema信息准备就绪，我们就可以将其作为系统指令或上下文的一部分，传递给LLM。以下是使用LangChain框架实现这一目标的示例。

腾讯智影-AI数字人

基于AI数字人能力，实现7*24小时AI数字人直播带货，低成本实现直播业务快速增增，全天智能在线直播

73

查看详情

from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser
import os

# 确保设置了OpenAI API Key
# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

# 1. 定义数据库Schema信息
# 这是一个示例Schema，实际应用中可以从文件读取或动态生成
db_schema = """
CREATE TABLE users (
    id INT PRIMARY KEY,
    username VARCHAR(255) UNIQUE NOT NULL,
    email VARCHAR(255),
    registration_date DATE
);

CREATE TABLE products (
    product_id INT PRIMARY KEY,
    product_name VARCHAR(255) NOT NULL,
    category VARCHAR(100),
    price DECIMAL(10, 2)
);

CREATE TABLE orders (
    order_id INT PRIMARY KEY,
    user_id INT,
    product_id INT,
    quantity INT,
    order_date DATE,
    FOREIGN KEY (user_id) REFERENCES users(id),
    FOREIGN KEY (product_id) REFERENCES products(product_id)
);
"""

# 2. 创建一个LLM实例
# 可以根据需要选择不同的LLM，如GPT-4, Claude, Llama等
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)

# 3. 定义一个包含Schema信息的Prompt模板
# System消息用于设定LLM的角色和提供Schema上下文
# User消息包含用户的问题，LLM需要根据Schema和问题生成SQL
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一个SQL查询生成器。根据提供的数据库Schema和用户问题，生成相应的SQL语句。不要执行SQL，只返回SQL语句。请确保生成的SQL语法正确，并遵循最佳实践。"),
        ("system", f"数据库Schema如下：\n{db_schema}"),
        ("user", "用户问题：{user_question}")
    ]
)

# 4. 构建链并生成SQL
# 链的流程：用户问题 -> Prompt模板填充 -> LLM生成 -> 字符串解析器提取结果
chain = prompt | llm | StrOutputParser()

# 示例：根据用户问题生成SQL
user_question_1 = "查找所有购买了产品ID为101的用户的姓名和邮箱。"
generated_sql_1 = chain.invoke({"user_question": user_question_1})

print(f"用户问题: {user_question_1}")
print(f"生成的SQL:\n{generated_sql_1}\n")

user_question_2 = "统计每个用户的订单数量，并按订单数量降序排列。"
generated_sql_2 = chain.invoke({"user_question": user_question_2})

print(f"用户问题: {user_question_2}")
print(f"生成的SQL:\n{generated_sql_2}\n")

user_question_3 = "找出注册日期在2023年1月1日之后，且购买过价格高于500的产品的所有用户。"
generated_sql_3 = chain.invoke({"user_question": user_question_3})

print(f"用户问题: {user_question_3}")
print(f"生成的SQL:\n{generated_sql_3}\n")

在上述示例中，我们没有使用SQLDatabase对象来建立数据库连接。相反，我们将db_schema字符串直接嵌入到ChatPromptTemplate的系统消息中，作为LLM理解数据库结构的唯一依据。这种方法完全避免了实际的数据库连接。

注意事项与最佳实践

1. Schema的详细程度：

   • 提供足够详细的Schema信息至关重要，包括表名、列名、数据类型、主键、外键关系等。
   • 对于复杂的关系，可以额外提供一些关键的表关系描述，例如“orders表通过user_id关联users表，通过product_id关联products表”。
   • 避免信息过载，只提供与LLM生成SQL相关的必要信息。过长的Schema可能会超出LLM的上下文窗口限制，或增加不必要的处理成本。

2. Prompt Engineering：

   • 明确角色：在系统消息中明确LLM的角色（例如，“你是一个SQL查询生成器”）。
   • 清晰指令：明确告诉LLM只生成SQL，不要执行，不要添加解释性文字（除非有特殊要求）。
   • 示例：如果可能，提供少量“问题-SQL”对作为Few-shot示例，以进一步指导LLM的行为。
   • 错误处理：可以要求LLM在无法生成有效SQL时，返回特定的错误消息或指示。

3. 安全性：

   • 即使没有直接连接数据库，生成的SQL语句仍可能存在风险。例如，如果LLM被恶意引导生成了删除或更新所有数据的SQL，虽然不会自动执行，但仍需警惕。
   • 在将LLM生成的SQL用于生产环境之前，务必进行严格的验证和审计。考虑使用SQL解析器或沙箱环境来检查SQL的合法性和安全性。

4. 性能与成本：

   • LLM的调用会产生费用，并且存在响应延迟。优化Prompt，减少不必要的Schema信息，可以降低成本和提高效率。
   • 对于非常大的Schema，可能需要考虑Schema的摘要、嵌入或动态加载相关Schema片段等高级技术。

5. 错误处理与验证：

   • LLM生成的SQL并非总是完美的，可能会有语法错误或逻辑错误。
   • 建议在应用层面添加SQL语法校验器，并在可能的情况下，针对生成SQL的预期结果进行单元测试或集成测试。

总结

通过将数据库Schema作为文本上下文提供给大型语言模型，我们能够实现在不建立实际数据库连接的情况下，由LLM智能地生成SQL语句。这种方法不仅提升了系统的安全性和灵活性，也为开发和测试带来了极大的便利。掌握Schema的准备、Prompt的优化以及生成的SQL的验证，是成功应用这一技术的关键。随着LLM能力的不断提升，这种Schema驱动的SQL生成模式将在更多场景中发挥其独特的价值。

以上就是基于Schema文件实现无数据库连接的SQL语句生成的详细内容，更多请关注php中文网其它相关文章！