0

0

如何正确实现 Python 异步任务的依赖顺序与并发执行

碧海醫心

碧海醫心

发布时间:2026-01-30 15:46:06

|

847人浏览过

|

来源于php中文网

原创

如何正确实现 Python 异步任务的依赖顺序与并发执行

本文详解如何在 asyncio 中确保子任务(如 `a_task`)在父任务(如 `fetch_values`)完成后立即并发启动,且后续任务(如 `other_task`)严格等待同一批数据的前置任务全部完成,避免因阻塞调用和错误 await 导致的串行化问题。

在 Python 的异步编程中,一个常见误区是混淆同步阻塞异步挂起——例如使用 time.sleep() 会完全阻塞事件循环,导致所有协程“假并发”;而真正的并发必须依赖 await asyncio.sleep() 或其他 awaitable 对象(如 aiohttp.get()、asyncpg.fetch() 等)。此外,任务依赖关系必须通过 await 显式表达:只有当 fetch_values() 完成并返回结果后,才能基于该结果派生 a_task 和 other_task,且 other_task 必须在同 item 的全部 a_task 结束后才执行。

以下是修正后的完整可运行示例,已修复三大核心问题:

  1. ✅ 将 time.sleep() 替换为 await asyncio.sleep(),释放事件循环控制权;
  2. ✅ 确保 fetch_values() 被 await,使 a_values/other_values 分析基于真实返回数据;
  3. ✅ 将 a_task 的并发执行与 other_task 的串行依赖(按 item 隔离)严格对齐——即每个 item 内部形成 fetch → [a_task × N] → other_task 的原子链,不同 item 之间完全并发。
import asyncio
import pandas as pd


async def execute_check():
    print("execute_check")
    items = [1, 2, 3, 4]
    # 并发启动 4 个独立 item 处理流程
    tasks = [fetch_values_and_process(item) for item in items]
    await asyncio.gather(*tasks)


async def fetch_values_and_process(item):
    print(f"fetch_values_and_process for item {item}")
    values_df = await fetch_values(item)  # ✅ 关键:await 确保数据就绪

    a_values = values_df[values_df["Label"] == "A"]
    other_values = values_df[values_df["Label"] != "A"]

    # 同一 item 的所有 a_task 并发执行
    if not a_values.empty:
        a_tasks = [a_task(row) for _, row in a_values.iterrows()]
        await asyncio.gather(*a_tasks)  # ✅ 所有 a_task 完成后才继续

    # other_task 严格依赖本 item 的全部 a_task 完成
    await other_task(other_values)


async def fetch_values(item):
    print(f"fetch_values for item {item}")
    await asyncio.sleep(5)  # ✅ 非阻塞挂起,允许其他协程运行
    # 为区分 item,使用 item 值填充 DataFrame(原代码逻辑有歧义)
    return pd.DataFrame({"Item": [item] * 4, "Label": ["A", "B", "C", "D"]})


async def a_task(row):
    print(f"a_task for item {row['Item']}, label {row['Label']}")
    await asyncio.sleep(2)


async def other_task(other_values):
    count = len(other_values)
    print(f"other_task processing {count} non-A rows")
    await asyncio.sleep(2)


if __name__ == "__main__":
    asyncio.run(execute_check())

预期输出特征(体现正确并发与依赖):

  • 四组 fetch_values for item X 几乎同时打印(因 asyncio.gather 并发启动);
  • 每组 fetch 完成后,立即并发打印其对应的 a_task(如 item 1 的 a_task 不等待 item 2);
  • 每个 item 的 other_task 仅在其自身 a_task 全部结束后触发;
  • 总耗时约 7 秒左右(最长路径:5s fetch + 2s a_task/other_task 串行),而非原始代码的 ~14s(因 time.sleep 强制串行)。

关键注意事项:

AIPAI
AIPAI

AI视频创作智能体

下载

立即学习Python免费学习笔记(深入)”;

  • ❌ 切勿在协程中使用 time.sleep()、requests.get()、pandas.read_csv() 等同步阻塞操作——它们会冻结整个事件循环;
  • ✅ I/O 密集型操作请改用异步库(如 aiohttp、aiosqlite、asyncpg),CPU 密集型任务应使用 loop.run_in_executor() 脱离事件循环;
  • ✅ asyncio.gather() 是并发执行多个协程的首选,但需确保所有参数均为 awaitable;
  • ? 若需更复杂的依赖图(如跨 item 协调),可考虑 asyncio.Semaphore、asyncio.Event 或 asyncio.Queue 进行同步控制。

掌握“await 显式声明依赖”与“非阻塞 I/O 替代同步调用”这两条原则,即可构建真正高效、可预测的异步数据处理流水线。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

68

2025.12.04

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

9

2026.01.30

c++ 字符串格式化
c++ 字符串格式化

本专题整合了c++字符串格式化用法、输出技巧、实践等等内容,阅读专题下面的文章了解更多详细内容。

9

2026.01.30

java 字符串格式化
java 字符串格式化

本专题整合了java如何进行字符串格式化相关教程、使用解析、方法详解等等内容。阅读专题下面的文章了解更多详细教程。

11

2026.01.30

python 字符串格式化
python 字符串格式化

本专题整合了python字符串格式化教程、实践、方法、进阶等等相关内容,阅读专题下面的文章了解更多详细操作。

3

2026.01.30

java入门学习合集
java入门学习合集

本专题整合了java入门学习指南、初学者项目实战、入门到精通等等内容,阅读专题下面的文章了解更多详细学习方法。

20

2026.01.29

java配置环境变量教程合集
java配置环境变量教程合集

本专题整合了java配置环境变量设置、步骤、安装jdk、避免冲突等等相关内容,阅读专题下面的文章了解更多详细操作。

17

2026.01.29

java成品学习网站推荐大全
java成品学习网站推荐大全

本专题整合了java成品网站、在线成品网站源码、源码入口等等相关内容,阅读专题下面的文章了解更多详细推荐内容。

19

2026.01.29

Java字符串处理使用教程合集
Java字符串处理使用教程合集

本专题整合了Java字符串截取、处理、使用、实战等等教程内容,阅读专题下面的文章了解详细操作教程。

3

2026.01.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号