0

0

Python 异步任务的并发与顺序控制

舞姬之光

舞姬之光

发布时间:2026-02-18 16:09:35

|

372人浏览过

|

来源于php中文网

原创

asyncio.gather()是并发启动并等待全部完成的批处理工具,create_task()是立即将协程调度为task对象以便精细控制;二者协作而非替代,gather适用于不关心响应顺序的并行请求,create_task适用于需穿插await的顺序依赖场景。

python 异步任务的并发与顺序控制

asyncio.gather() 和 asyncio.create_task() 的本质区别

asyncio.gather() 是并发启动、等待全部完成的“批处理工具”,而 asyncio.create_task() 是把协程立刻调度进事件循环、返回一个可随时 await 的 Task 对象。两者不是替代关系,而是协作关系。

常见错误是以为 await asyncio.gather(a(), b()) 能控制执行顺序——其实它只保证“全部开始、全部结束”,中间谁先返回谁后返回完全不可控;而用 create_task() 才能穿插 await 实现精细调度。

  • 需要并行发多个 HTTP 请求且不关心响应顺序 → 用 gather()
  • 想发请求 A,等它返回后再发请求 B,但又不想阻塞整个协程 → 先 create_task(a()),再 await 它,接着 create_task(b())
  • gather() 中任意一个协程抛出异常,所有任务都会被取消(除非加 return_exceptions=True);create_task() 抛异常只影响自身,不影响其他已提交的 Task

用 asyncio.Semaphore 控制并发数,别靠 time.sleep()

很多人用 await asyncio.sleep(0.1) 模拟“错峰”,这既不准又浪费资源:sleep 不等于让出 CPU,只是延迟 await,实际并发数还是由事件循环调度决定,根本压不住连接数或 API 调用频次。

真正可控的方式是 asyncio.Semaphore,它像一道门禁,限制同时最多几个协程能通过关键代码段。

立即学习Python免费学习笔记(深入)”;

Unreal Images
Unreal Images

免费的AI图片库

下载
  • 初始化时指定最大并发数:sem = asyncio.Semaphore(5)
  • 在要限流的代码块前加 async with sem:,自动 acquire/release
  • 注意:Semaphore 不感知任务实际耗时,只管“进的数量”,所以适合 IO 密集型场景(如爬虫、批量 API 调用),不适合 CPU 密集型(得用线程池)
  • 别在循环里反复创建 Semaphore,它应作为共享对象传入或定义为模块级变量

await 一个已经完成的 Task 不会挂起,但 await 同一个协程两次会报错

这是容易混淆的点:create_task() 返回的是 Task 对象,它可被多次 await;而普通协程函数(比如 fetch_data())每次调用都返回新协程对象,只能 await 一次。

典型错误现象:RuntimeError: cannot reuse already awaited coroutine,往往出现在把协程赋值给变量后重复 await。

  • ✅ 正确:task = asyncio.create_task(fetch_data()),然后 await task 多次(第二次直接返回结果)
  • ❌ 错误:coro = fetch_data(),然后 await coro 两次
  • ⚠️ 注意:asyncio.ensure_future() 行为类似 create_task(),但推荐用后者(更明确、有 loop 绑定保障)
  • 如果不确定来源是协程还是 Task,可用 asyncio.iscoroutine()asyncio.isfuture() 判断

asyncio.run() 内部会新建事件循环,别在已有 loop 中调用

在 Jupyter、FastAPI 生命周期、或已运行 asyncio.get_event_loop() 的进程里再调 asyncio.run(main()),会触发 RuntimeError: asyncio.run() cannot be called from a running event loop

这不是 bug,是设计:asyncio.run() 是为脚本入口准备的“一键启动+清理”封装,它自己管理 loop 生命周期。生产环境里你通常不该手动调它。

  • 脚本主入口(if __name__ == '__main__':)→ 用 asyncio.run(main())
  • Web 框架(如 FastAPI、Starlette)→ 框架已接管 loop,你只写路由协程,不用管 run
  • Jupyter / REPL → 用 await main() 直接执行,或装 nest_asyncio(仅调试)
  • 想复用当前 loop?直接 asyncio.create_task()loop.create_task(),别碰 run()
事情说清了就结束。最常出问题的地方不是语法,而是对 “Task 是什么”“loop 是谁在管”“并发 ≠ 并行” 这几件事没形成直觉。写完记得用 asyncio.current_task()asyncio.all_tasks() 看一眼实际在跑啥。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

28

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

223

2026.02.06

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

817

2023.08.22

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

675

2023.08.10

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

467

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

436

2023.11.14

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

3109

2024.03.12

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2571

2024.08.16

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

561

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号