0

0

Python asyncio 异步编程:理解与实现任务的顺序执行

聖光之護

聖光之護

发布时间:2025-10-09 11:44:55

|

1001人浏览过

|

来源于php中文网

原创

Python asyncio 异步编程:理解与实现任务的顺序执行

asyncio 模块设计用于实现并发,asyncio.gather() 会同时运行多个任务,而非按序执行。若需确保异步任务严格依照特定顺序完成,例如当任务间存在数据依赖时,应避免使用 asyncio.gather() 进行并发调度,转而通过在循环中逐个 await 任务来强制实现串行执行,确保前一个任务完成后才启动下一个。

asyncio 并发模型概述

python 的 asyncio 库是构建并发应用程序的强大工具,它通过协程(coroutines)和事件循环(event loop)实现单线程内的并发。在处理 i/o 密集型任务,如网络请求、文件读写时,asyncio 能够显著提高程序的效率,因为它允许程序在等待 i/o 完成时切换到其他任务,而不是阻塞。

asyncio.gather() 是一个常用的函数,用于并发地运行多个协程,并等待它们全部完成。它的设计目标是最大化并行度,即同时启动所有给定的协程,并在所有协程都完成后返回它们的结果。然而,这也就意味着 asyncio.gather() 并不保证这些协程的完成顺序与它们在列表中出现的顺序一致,而是取决于每个协程内部的 I/O 等待时间。

考虑以下一个模拟从多个网站抓取数据的场景:

import asyncio

async def fetch_data(url):
    """模拟从指定URL抓取数据的异步操作"""
    # 模拟网络延迟或数据处理时间
    await asyncio.sleep(2)
    print(f"数据已从 {url} 获取")
    return f"Data from {url}"

async def main_concurrent():
    """使用 asyncio.gather() 并发执行任务"""
    websites = ["site1.com", "site2.com", "site3.com"]

    print("--- 启动并发数据抓取 ---")
    tasks = [fetch_data(url) for url in websites]
    # gather 会同时启动所有任务
    await asyncio.gather(*tasks)
    print("--- 并发数据抓取完成 ---")

if __name__ == "__main__":
    asyncio.run(main_concurrent())

运行上述代码,你会发现输出的顺序可能不是 site1.com、site2.com、site3.com 严格按序排列。例如,site2.com 的数据可能在 site1.com 之前打印,或者它们的完成时间交错。这是 asyncio.gather() 预期中的行为,它旨在并发执行,而非保证顺序。

理解并发与顺序执行的差异

在异步编程中,理解“并发”与“顺序执行”的区别至关重要。

立即学习Python免费学习笔记(深入)”;

  • 并发 (Concurrency): 指的是程序在同一时间段内处理多个任务的能力。这些任务可能在宏观上看起来是同时进行的,但在微观上,如果只有一个执行线程,它们是通过快速切换上下文来完成的。asyncio 就是实现并发的典型例子,它通过事件循环在不同的协程之间切换,以充分利用 I/O 等待时间。asyncio.gather() 正是实现并发任务调度的主要工具。
  • 顺序执行 (Sequential Execution): 指的是任务严格按照预定的先后顺序依次完成。一个任务必须在前一个任务完全结束后才能开始。当任务之间存在数据依赖性时,即后续任务的输入依赖于前一个任务的输出,或者任务的执行必须遵循特定的业务流程时,顺序执行是不可或缺的。

如果你的项目需求是数据抓取过程对每个网站必须是顺序的,例如,从 site2.com 抓取的数据处理需要依赖 site1.com 抓取到的某些信息,那么 asyncio.gather() 的并发特性将无法满足这种严格的顺序要求。

实现任务的严格顺序执行

当异步任务之间存在强烈的顺序依赖,或者业务逻辑要求它们必须按特定顺序执行时,我们不能依赖 asyncio.gather() 的并发调度。此时,最直接且有效的方法是利用 await 关键字,在循环中逐个等待每个异步任务完成。

以下是实现严格顺序执行的示例代码:

白月生产企业订单管理系统GBK2.0  Build 080807
白月生产企业订单管理系统GBK2.0 Build 080807

请注意以下说明:1、本程序允许任何人免费使用。2、本程序采用PHP+MYSQL架构编写。并且经过ZEND加密,所以运行环境需要有ZEND引擎支持。3、需要售后服务的,请与本作者联系,联系方式见下方。4、本程序还可以与您的网站想整合,可以实现用户在线服务功能,可以让客户管理自己的信息,可以查询自己的订单状况。以及返点信息等相关客户利益的信息。这个功能可提高客户的向心度。安装方法:1、解压本系统,放在

下载
import asyncio

async def fetch_data(url):
    """模拟从指定URL抓取数据的异步操作"""
    # 模拟网络延迟或数据处理时间
    await asyncio.sleep(2)
    print(f"数据已从 {url} 获取")
    return f"Data from {url}"

async def main_sequential():
    """通过循环 await 实现任务的顺序执行"""
    websites = ["site1.com", "site2.com", "site3.com"]

    print("--- 启动顺序数据抓取 ---")
    for url in websites:
        # 每次循环都会等待当前的 fetch_data 协程完全执行完毕
        # 然后才会进入下一次循环,启动下一个协程
        await fetch_data(url)
    print("--- 顺序数据抓取完成 ---")

if __name__ == "__main__":
    asyncio.run(main_sequential())

代码解释:

在这个修改后的 main_sequential 函数中,我们不再使用 asyncio.gather()。取而代之的是,我们遍历 websites 列表,并在循环内部对每一个 fetch_data(url) 协程直接使用 await 关键字。

await 关键字的作用是暂停当前协程(main_sequential),直到它所等待的另一个协程(fetch_data(url))完成执行并返回结果。一旦 fetch_data(url) 完成,main_sequential 协程会从 await 的位置恢复执行,然后进入循环的下一个迭代,启动并等待下一个 fetch_data 协程。

通过这种方式,我们强制保证了 fetch_data("site1.com") 必须完全执行完毕,包括其内部的 asyncio.sleep(2) 和 print 语句,之后 fetch_data("site2.com") 才会开始执行,以此类推。因此,输出将严格按照 site1.com、site2.com、site3.com 的顺序打印。

选择策略:并发还是顺序?

在 asyncio 编程中,选择并发还是顺序执行取决于你的具体需求和任务特性:

  1. 何时使用 asyncio.gather() (并发):

    • 任务相互独立: 各个任务之间没有数据依赖,它们的执行结果互不影响。
    • 追求整体效率: 目标是尽可能快地完成所有任务的总和,而不关心单个任务的完成顺序。
    • I/O 密集型任务: 当任务大部分时间都在等待外部资源(如网络响应、数据库查询)时,并发能充分利用这些等待时间来处理其他任务,从而提高整体吞吐量。
  2. 何时使用循环 await (顺序):

    • 任务存在依赖关系: 后续任务的执行或其输入数据严格依赖于前一个任务的输出或状态。
    • 严格的业务流程: 业务逻辑要求必须按照特定的步骤依次完成,例如,先创建订单再支付,先登录再访问受保护资源。
    • 调试和可预测性: 在某些情况下,为了简化调试或确保输出的可预测性,即使任务可以并发,也可能选择顺序执行。

注意事项

  • 性能权衡: 采用顺序执行意味着你放弃了 asyncio 带来的并发优势。如果任务本身是 CPU 密集型的,或者你只是为了确保输出顺序而牺牲了潜在的并发性,那么程序的总运行时间会是所有任务运行时间的简单叠加,可能比并发执行慢得多。
  • 错误处理: 在实际项目中,无论是并发还是顺序执行,都需要考虑任务失败时的错误处理机制。对于顺序执行,一个任务的失败可能会阻止后续任务的执行。你可以使用 try...except 块来捕获单个 await 调用的异常。
  • 复杂依赖: 对于更复杂的依赖图,例如某些任务可以并发,但另一些任务又依赖于它们的结果,可能需要结合使用 asyncio.create_task()、asyncio.wait() 和 asyncio.gather() 来精细化任务编排。

总结

理解 asyncio 的核心在于区分并发和顺序执行。asyncio.gather() 是实现并发的利器,适用于相互独立的任务,以提高整体效率。然而,当异步任务之间存在严格的顺序依赖时,必须通过在循环中逐个 await 任务来强制实现串行执行。正确选择任务执行策略,是高效且健壮地使用 asyncio 进行异步编程的关键。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

192

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

19

2026.02.03

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

385

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2111

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

357

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

259

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

329

2023.10.09

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号