从原生 SQL 到 Flask-SQLAlchemy ORM
在 flask 应用中处理数据库时，从直接执行 sql 语句（如 c.execute('insert into ...')）过渡到使用 flask-sqlalchemy 这样的对象关系映射 (orm) 工具，能够极大地提高开发效率和代码的可维护性。orm 允许开发者通过 python 对象来操作数据库，而无需编写大量的 sql 语句，从而使数据库交互更加直观和面向对象。
定义数据模型
使用 Flask-SQLAlchemy 的第一步是定义数据模型。每个模型类都映射到数据库中的一张表，类的属性则映射到表的列。以下是一个 Job 模型的示例，用于存储爬取到的职位信息：
from flask_sqlalchemy import SQLAlchemy
from flask import Flask
app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///site.db' # 配置数据库URI
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
db = SQLAlchemy(app)
class Job(db.Model):
id = db.Column(db.Integer, primary_key=True)
title = db.Column(db.Text, nullable=False)
info = db.Column(db.Text)
location = db.Column(db.Text, nullable=False)
link = db.Column(db.Text, nullable=False)
# __init__ 方法通常不是必需的，SQLAlchemy 会自动处理
# def __init__(self, title, info, location, link):
# self.title = title
# self.info = info
# self.location = location
# self.link = link
def __repr__(self):
return f''
# 在应用初始化时创建所有表
with app.app_context():
db.create_all() 模型解析：
- db.Model：所有模型类都必须继承自 db.Model。
- db.Column：定义表的列。
- db.Integer、db.Text：指定列的数据类型。
- primary_key=True：将该列设为主键。
- nullable=False：表示该列不允许为空。
- __repr__ 方法：定义了当打印模型对象时应返回的字符串表示，有助于调试。
重要提示： 在 Flask-SQLAlchemy 中，通常不需要显式地定义 __init__ 方法来初始化模型的属性。SQLAlchemy 会自动处理从传入的关键字参数中设置属性。
爬取数据并准备插入
假设您已经使用 Selenium 或其他爬虫工具获取到数据，并将其整理成一个字典列表，每个字典代表一个职位信息，其键与模型属性名称一致。
# 示例：模拟爬取到的数据
scraped_jobs_data = [
{
'title': 'Python Developer',
'info': 'Develop web applications using Flask.',
'location': 'New York',
'link': 'http://example.com/job1'
},
{
'title': 'Data Scientist',
'info': 'Analyze large datasets.',
'location': 'San Francisco',
'link': 'http://example.com/job2'
}
]在 Flask 应用上下文中插入数据
将爬取到的数据插入到 Flask-SQLAlchemy 数据库中，需要遵循以下步骤：
网趣购物系统静态版支持网站一键静态生成，采用动态进度条模式生成静态，生成过程更加清晰明确，商品管理上增加淘宝数据包导入功能，与淘宝数据同步更新!采用领先的AJAX+XML相融技术，速度更快更高效！系统进行了大量的实用性更新，如优化核心算法、增加商品图片批量上传、谷歌地图浏览插入等，静态版独特的生成算法技术使静态生成过程可随意掌控，从而可以大大减轻服务器的负担，结合多种强大的SEO优化方式于一体，使
- 创建应用上下文： 所有的数据库操作（如 db.session.add()、db.session.commit()）都必须在 Flask 应用上下文 (app.app_context()) 中执行。这是因为 db 对象需要访问应用配置和当前请求的上下文信息。
- 创建模型实例： 对于爬取到的每一条数据，创建一个 Job 模型的实例。可以使用字典解包 Job(**job_data) 来方便地将字典转换为模型实例。
- 添加到会话： 将创建的模型实例添加到数据库会话 (db.session) 中。对于批量插入，使用 db.session.add_all() 效率更高。
- 提交事务： 调用 db.session.commit() 将会话中的所有更改（包括新增、修改、删除）持久化到数据库。
- 处理错误并回滚： 强烈建议使用 try...except 块来捕获可能的数据库错误。如果发生错误，调用 db.session.rollback() 可以撤销当前事务中的所有操作，保持数据的一致性。
以下是一个将爬取数据插入数据库的函数示例：
def insert_jobs(jobs_data_list):
"""
将爬取到的职位数据列表插入到数据库中。
Args:
jobs_data_list (list): 包含职位信息的字典列表。
"""
with app.app_context(): # 确保在应用上下文中执行数据库操作
try:
# 使用列表推导式和字典解包创建Job模型实例列表
job_instances = [Job(**job_data) for job_data in jobs_data_list]
db.session.add_all(job_instances) # 批量添加所有实例到会话
db.session.commit() # 提交事务，将数据写入数据库
print(f"成功插入 {len(jobs_data_list)} 条职位数据。")
except Exception as e:
db.session.rollback() # 发生错误时回滚事务
print(f"插入数据时发生错误: {e}")调用插入函数：
# 假设您已经有了 scraped_jobs_data 列表
insert_jobs(scraped_jobs_data)
# 验证数据是否已插入
with app.app_context():
all_jobs = Job.query.all()
print("\n数据库中的所有职位:")
for job in all_jobs:
print(f"- {job.title} ({job.location})")注意事项与最佳实践
- 应用程序上下文： 任何脱离 Flask 请求上下文的数据库操作（例如在独立的脚本中运行爬虫，或者在后台任务中）都必须手动创建 app.app_context()。否则，您可能会遇到 RuntimeError: Working outside of application context.。
- 批量插入： 当需要插入大量数据时，使用 db.session.add_all() 远比循环调用 db.session.add() 更高效，因为它能将多个插入操作合并到一个事务中。
- 事务管理： db.session.commit() 是将更改写入数据库的关键。如果没有调用 commit()，所有添加到会话中的更改都不会保存。db.session.rollback() 在错误发生时至关重要，它能撤销未提交的更改，避免部分数据写入导致的脏数据。
- 错误处理： 良好的错误处理机制对于生产环境至关重要。捕获异常并进行适当的日志记录，有助于问题诊断。
- 模型字段与爬取数据字段匹配： 确保爬取数据字典的键与模型中的列名完全一致，这样 Job(**job_data) 才能正确地将数据映射到模型实例。
- 数据库连接管理： Flask-SQLAlchemy 会自动管理数据库连接。在 app.app_context() 退出时，连接通常会被释放或返回到连接池。
总结
通过将原生 SQL 数据库操作迁移到 Flask-SQLAlchemy ORM，您可以利用 Python 对象的强大功能来管理数据库。关键在于正确定义数据模型，并在 Flask 应用程序上下文中，通过创建模型实例、将其添加到 db.session，并最终 commit() 事务来持久化数据。同时，不要忘记实现健壮的错误处理和事务回滚机制，以确保数据的一致性和应用程序的稳定性。这种方法不仅简化了代码，也为未来的扩展和维护奠定了坚实的基础。
