0

0

Python消息队列教程_Celery异步任务实践

冷漠man

冷漠man

发布时间:2026-01-11 20:25:15

|

702人浏览过

|

来源于php中文网

原创

celery 是 python 最成熟分布式异步任务队列框架,核心是可靠发送任务、稳定执行与清晰反馈结果;选 broker 时,redis 适合开发测试,rabbitmq 更适企业级生产;任务需可序列化、无状态、参数精简;启动 worker 和调用任务须分离,避免同步执行;定时任务应使用 celery beat 而非 crontab。

python消息队列教程_celery异步任务实践

Celery 是 Python 生态中最成熟、最常用的分布式异步任务队列框架。它不负责“造轮子”,而是专注做好三件事:把任务可靠地发出去、让 worker 稳定地接住并执行、把结果或状态清晰地反馈回来。用好 Celery 的关键,不是堆功能,而是理解它的运行逻辑和常见陷阱。

消息中间件怎么选?Redis 和 RabbitMQ 各有什么侧重

Broker 是 Celery 的通信枢纽,选错会影响稳定性、扩展性和运维成本。

  • Redis:上手快、轻量、支持发布/订阅和简单队列,适合中小项目或开发测试;但原生不支持消息持久化(需手动配置 RDB/AOF)、无优先级队列、集群模式下故障转移较弱
  • RabbitMQ:企业级首选,天然支持消息确认、死信队列、优先级、延迟插件、多租户和高可用集群;配置稍复杂,但长期看更省心,尤其在金融、订单类场景中优势明显
  • 小建议:本地开发用 Redis(pip install redis),上线前评估是否切换 RabbitMQ;避免用 SQLite 或文件系统做 broker —— 它们不满足并发与可靠性要求

任务定义要“干净”:可序列化、无状态、参数精简

任务函数被发送到 worker 进程执行,跨进程意味着不能传对象引用、闭包或数据库连接。

Video Ocean
Video Ocean

人人皆导演,让视频创作变得轻松自如

下载
  • 只用基础类型传参:int、str、dict、list、bool,避免 datetime 对象(改用 ISO 格式字符串)或自定义类实例
  • 不要在任务里直接用 requestcurrent_app 或 Djangouser 对象;应传 ID,进任务后再查库重建上下文
  • @app.task(bind=True, retry=True, autoretry_for=(ConnectionError,), max_retries=3) 显式控制重试行为,比默认策略更可控
  • 设置超时:用 soft_time_limit=30 防卡死,time_limit=45 强制终止(单位秒)

启动与调用:两步走清,别混在一起

很多人卡在“写了任务却没反应”,问题常出在启动方式或调用姿势不对。

立即学习Python免费学习笔记(深入)”;

  • 启动 worker:在 tasks.py 所在目录运行 celery -A tasks worker --loglevel=info;注意 -A 后跟的是模块名(不含 .py),不是文件路径
  • 触发任务:用 .delay() 发送异步任务(推荐),或 .apply_async(args=[1,2], countdown=60) 延迟 60 秒执行
  • 获取结果:仅当配置了 result_backend(如 backend='redis://localhost:6379/1')后,result.get(timeout=10) 才有效;否则会一直阻塞或报错
  • 常见误区:在 Flask/Django 视图里直接调用 add(4, 6)(同步执行)—— 这完全绕过了 Celery,起不到异步作用

定时任务别靠 crontab 模拟,用 Celery Beat 管理更稳

Celery Beat 是独立调度进程,不是 crontab 的 Python 封装,它必须和 worker 共用同一套 broker 和 backend。

  • celeryconfig.py 中配置:beat_schedule = {'daily-report': {'task': 'tasks.send_report', 'schedule': 3600}}(每小时一次)
  • 启动命令:celery -A tasks beat --loglevel=info;生产环境建议搭配 supervisord 或 systemd 管理进程生命周期
  • 动态周期任务(如运营后台可增删的推送计划)推荐用 django-celery-beat,它把调度规则存在数据库里,无需重启服务
  • 重要提醒:Beat 不执行任务,只发任务;如果 worker 挂了,任务会积压在 broker 中,等 worker 恢复后继续消费

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python Web 框架 Django 深度开发
Python Web 框架 Django 深度开发

本专题系统讲解 Python Django 框架的核心功能与进阶开发技巧,包括 Django 项目结构、数据库模型与迁移、视图与模板渲染、表单与认证管理、RESTful API 开发、Django 中间件与缓存优化、部署与性能调优。通过实战案例,帮助学习者掌握 使用 Django 快速构建功能全面的 Web 应用与全栈开发能力。

163

2026.02.04

rabbitmq和kafka有什么区别
rabbitmq和kafka有什么区别

rabbitmq和kafka的区别:1、语言与平台;2、消息传递模型;3、可靠性;4、性能与吞吐量;5、集群与负载均衡;6、消费模型;7、用途与场景;8、社区与生态系统;9、监控与管理;10、其他特性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

207

2024.02.23

Java 消息队列与异步架构实战
Java 消息队列与异步架构实战

本专题系统讲解 Java 在消息队列与异步系统架构中的核心应用,涵盖消息队列基本原理、Kafka 与 RabbitMQ 的使用场景对比、生产者与消费者模型、消息可靠性与顺序性保障、重复消费与幂等处理,以及在高并发系统中的异步解耦设计。通过实战案例,帮助学习者掌握 使用 Java 构建高吞吐、高可靠异步消息系统的完整思路。

48

2026.01.28

Python Flask框架
Python Flask框架

本专题专注于 Python 轻量级 Web 框架 Flask 的学习与实战,内容涵盖路由与视图、模板渲染、表单处理、数据库集成、用户认证以及RESTful API 开发。通过博客系统、任务管理工具与微服务接口等项目实战,帮助学员掌握 Flask 在快速构建小型到中型 Web 应用中的核心技能。

104

2025.08.25

Python Flask Web框架与API开发
Python Flask Web框架与API开发

本专题系统介绍 Python Flask Web框架的基础与进阶应用,包括Flask路由、请求与响应、模板渲染、表单处理、安全性加固、数据库集成(SQLAlchemy)、以及使用Flask构建 RESTful API 服务。通过多个实战项目,帮助学习者掌握使用 Flask 开发高效、可扩展的 Web 应用与 API。

81

2025.12.15

什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

405

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

251

2023.10.07

什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

182

2024.05.11

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号