0

0

Python 异步任务并发与顺序控制

舞夢輝影

舞夢輝影

发布时间:2026-01-30 20:36:48

|

845人浏览过

|

来源于php中文网

原创

asyncio.gather()保持结果顺序且默认失败即停,适合全成功场景;asyncio.wait()返回完成/未完成任务集,适合监听状态变化或竞速响应。

python 异步任务并发与顺序控制

asyncio.gather() 和 asyncio.wait() 的核心区别

asyncio.gather() 还是 asyncio.wait(),取决于你是否需要结果顺序、是否容忍单个任务失败、以及是否要提前响应完成事件。

asyncio.gather() 默认保持输入协程的执行顺序,并按原序返回结果;任一任务抛出异常会立即中断全部(除非传 return_exceptions=True)。适合“全成功才继续”的聚合场景。

asyncio.wait() 不保证返回顺序,只返回已完成和未完成的 Task 集合;它更适合监听状态变化,比如“只要有一个完成就处理”,或需区分 donepending 后分别调度。

  • 需要结果和调用顺序严格对应 → 选 gather()
  • 要实现超时后取消剩余任务 → wait(..., timeout=5) 更直接
  • 想对第一个完成的任务做响应(如竞速请求)→ wait(..., return_when=asyncio.FIRST_COMPLETED)
  • gather() 内部其实也基于 wait() 实现,但封装了结果整理逻辑

控制并发数量:避免 asyncio.create_task() 无节制启动

直接对几百个 URL 调用 asyncio.create_task() 并发发起 HTTP 请求,大概率触发连接池耗尽、服务端限流或本地文件描述符不足(OSError: [Errno 24] Too many open files)。

立即学习Python免费学习笔记(深入)”;

正确做法是用信号量(asyncio.Semaphore)或任务队列限流:

Pixso AI
Pixso AI

Pixso AI是一款智能生成设计稿工具,通过AI一键实现文本输入到设计稿生成。

下载
sem = asyncio.Semaphore(10)  # 最多 10 个并发

async def fetch(url): async with sem: # 进入前等待,超出则阻塞 return await aiohttp.ClientSession().get(url)

  • 别把 Semaphore 放在循环外却忘了 async with —— 它不是装饰器,不自动生效
  • 若用 asyncio.to_thread() 包裹 CPU 密集型操作,同样需要限流,否则线程数爆炸
  • 某些库(如 aiohttp)自带连接池限制(connector=TCPConnector(limit=100)),但这是传输层限制,和业务逻辑层的语义并发控制不等价

强制顺序执行:什么时候不该用 async/await

如果一组操作天然存在强依赖(例如:先登录 → 拿到 token → 用 token 请求数据 → 用数据提交表单),强行拆成并发任务只会引入竞态、重复登录或 token 过期错误。

此时应放弃“看起来快”,老老实实写成串行 await 链:

token = await login()
data = await fetch_with_token(token)
result = await submit(data)
  • 不要为了“统一用 async”而把同步函数包装成 await asyncio.to_thread(...) 再塞进并发池——这反而增加调度开销
  • 数据库事务、文件写入、状态机推进等场景,顺序性是正确性的前提,不是性能瓶颈的来源
  • 可以用 asyncio.Lock() 保护共享状态,但锁本身会削弱并发收益;真需要顺序,不如不并发

asyncio.run() 的隐藏约束与嵌套陷阱

asyncio.run() 只能被最外层调用一次,且会创建并关闭全新的事件循环。在已有运行中的 loop 里再调用它,会报 RuntimeError: asyncio.run() cannot be called from a running event loop

常见于:Jupyter notebook、FastAPI 路由、或已用 loop.run_until_complete() 启动的脚本中二次调用 run()

  • 在非主模块或框架内,改用 asyncio.create_task() 或显式获取当前 loop:asyncio.get_running_loop().create_task(...)
  • Jupyter 中推荐用 await 直接执行协程,而不是包一层 asyncio.run()
  • 测试异步函数时,用 pytest-asyncio 插件比手动 run() 更可靠,它能管理 loop 生命周期

并发控制的难点不在语法,而在识别哪些依赖不可打破、哪些资源有隐式上限、以及何时该主动放弃“并发幻觉”。这些判断没法靠工具自动完成。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

27

2025.12.22

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

6197

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

820

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

1070

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

1359

2024.03.01

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

523

2023.08.10

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

359

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2082

2023.08.14

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

14

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号