0

0

Python asyncio.as_completed 的使用规范

舞姬之光

舞姬之光

发布时间:2026-02-14 22:08:02

|

490人浏览过

|

来源于php中文网

原创

as_completed返回异步生成器,须用async for消费并await获取结果;它不支持索引、len等操作,会吞异常且不限并发,需配合semaphore控流,与gather的核心区别在于按完成顺序而非输入顺序返回结果。

python asyncio.as_completed 的使用规范

as_completed 返回的是迭代器,不是列表

很多人调用 asyncio.as_completed 后直接想用索引取结果,比如 results[0],结果报 TypeError: 'coroutine' object is not subscriptable 或更隐蔽的 TypeError: 'generator' object is not subscriptable——其实它返回的是一个异步生成器(AsyncGenerator),必须用 async for 消费。

  • 不能用 list(as_completed(...)),会报错:它不支持同步转列表
  • 不能用 len()index()、切片等操作,因为没实现对应协议
  • 典型正确写法是:async for coro in asyncio.as_completed(tasks): result = await coro
  • 如果你真需要按完成顺序收集成列表,得自己 append,不能依赖返回值本身可索引

as_completed 会吞掉异常,除非你显式 await

这是最常踩的坑:任务出错了,as_completed 还照常 yield 它对应的协程对象,但你不 await 就永远看不到错误。它只保证“谁先完成谁先出来”,不管完成得是结果还是异常。

  • 如果某个 task 抛了 ValueErroras_completed 依然会把它排在队列里;只有当你 await coro 时,异常才真正抛出
  • 常见误写:for coro in as_completed(tasks): print(coro) —— 这只会打印协程对象地址,啥也不发生
  • 正确做法是始终搭配 await,并在外层加 try/except 捕获单个任务异常
  • 如果想区分成功/失败,可以配合 asyncio.create_task + exception() 方法检查,但更直觉的方式仍是 await 后处理

as_completed 不控制并发数,容易压垮下游

as_completed 本身不做限流,它只是调度器视角的“完成顺序观察者”。如果你传入 1000 个未加限制的 HTTP 请求任务,它们会一股脑被 asyncio.create_taskasyncio.gather 调度出去——实际并发量取决于事件循环和底层连接池,很可能触发 ConnectionRefusedError 或服务端限流。

AI Word
AI Word

一款强大的 AI 智能内容创作平台,致力于帮助用户高效生成高质量、原创且符合 SEO 规范的各类文章。

下载
  • 它不等价于“一次只跑 N 个”,要控并发得用 asyncio.Semaphore 包裹每个任务的执行逻辑
  • 别指望靠 as_completed(tasks[:10]) 来限流:这只是切片原始任务列表,没阻塞后续提交
  • 典型组合是:sem = asyncio.Semaphore(5); async with sem: return await aiohttp_session.get(url)
  • 注意:Semaphore 是 per-task 的,不是 per-as_completed 调用的

与 gather 的核心区别:顺序 vs 完成态

as_completed 还是 gather,关键不在“快慢”,而在你是否关心“谁先回来”。gather 严格按输入顺序返回结果(哪怕第 0 个任务最慢);as_completed 打乱顺序,优先吐出已结束的协程。

立即学习Python免费学习笔记(深入)”;

  • 做轮询或“抢答”类逻辑(如查多个 DNS、试连多个备份地址),用 as_completed
  • 需要保持输入输出一一对应(如批量发消息后按原序存日志),用 gather 更安全
  • gather 默认 return_exceptions=False,一个失败全崩;as_completed 则允许部分失败、部分继续
  • 性能上无本质差异,都是事件循环调度,但 as_completed 多一层生成器包装,开销可忽略
事情说清了就结束。真正难的不是语法,而是想清楚:你到底要“按什么顺序处理结果”,以及“能不能容忍中间某个任务挂掉”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

192

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

11

2026.02.03

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

47

2025.09.03

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

47

2025.09.03

append用法
append用法

append是一个常用的命令行工具,用于将一个文件的内容追加到另一个文件的末尾。想了解更多append用法相关内容,可以阅读本专题下面的文章。

347

2023.10.25

python中append的用法
python中append的用法

在Python中,append()是列表对象的一个方法,用于向列表末尾添加一个元素。想了解更多append的更多内容,可以阅读本专题下面的文章。

1078

2023.11.14

python中append的含义
python中append的含义

本专题整合了python中append的相关内容,阅读专题下面的文章了解更多详细内容。

178

2025.09.12

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

463

2023.11.09

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

76

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号