0

0

如何在 Python 中异步执行有序的串行 API 调用(不阻塞循环)

霞舞

霞舞

发布时间:2026-02-04 23:27:10

|

563人浏览过

|

来源于php中文网

原创

如何在 Python 中异步执行有序的串行 API 调用(不阻塞循环)

本文介绍如何在保持发送顺序的前提下,将原本同步阻塞的 `send_to_space()` 调用转为非阻塞异步执行,从而显著提升批量任务吞吐量,同时无需修改原函数、不依赖线程且避免竞态风险。

在实际开发中,我们常遇到这样一类场景:需按严格顺序向外部服务(如 Space API)逐个发送请求,但每个请求本身是 I/O 密集型、耗时数十毫秒,且调用方并不关心响应内容。若直接使用同步循环(for item in items_list: send_to_space(item)),整个流程将被逐次阻塞,总耗时 ≈ N × 单次延迟 —— 这在处理数百项时会明显拖慢整体性能。

此时,asyncio 是最恰当的选择,而非多线程或多进程。原因如下:

  • ✅ send_to_space() 是 I/O 等待型函数(即使当前是同步写法),本质适合异步调度;
  • ✅ asyncio.create_task() 可立即提交协程并返回 Task 对象,不等待其完成,实现“发完即走”;
  • ✅ await 在循环体内逐个 await create_task(...) 保证了逻辑上的严格串行性:前一个请求已发起(非必须完成),才发起下一个,既避免乱序,又消除阻塞;
  • ❌ 多线程(threading.Thread)会引入 GIL 争用与上下文切换开销,且无法天然保障执行/发送顺序;
  • ❌ asyncio.gather() 或 asyncio.as_completed() 会导致并发乱序,违背“必须按列表顺序发送”的硬性要求。

以下是优化后的完整实现:

import asyncio

# 假设 send_to_space 是一个同步函数(不可修改),例如:
# def send_to_space(sub_item):
#     requests.post("https://api.space.example", json={"data": sub_item})

# 将其包装为可 await 的协程(推荐方式)
async def send_to_space_async(sub_item):
    loop = asyncio.get_running_loop()
    # 使用 run_in_executor 非阻塞调用同步函数
    await loop.run_in_executor(None, send_to_space, sub_item)

# 主协程:按序发起请求,不等待响应完成
async def send_items(items_list):
    for item in items_list:
        sub_item = item['sub_item']
        # 创建任务并立即继续下一轮 —— 发送动作已启动
        task = asyncio.create_task(send_to_space_async(sub_item))
        # 注意:此处不 await task,否则退化为同步
        # 但我们仍需确保“发起顺序”,所以用 await task 确保前一个已提交再发下一个
        # 更准确地说:await task 保证前一个请求已进入网络栈,符合“顺序发送”语义
        await task

# 入口点
if __name__ == "__main__":
    my_finite_list = [
        {"sub_item": "A"}, {"sub_item": "B"}, {"sub_item": "C"}
    ]
    asyncio.run(send_items(my_finite_list))

⚠️ 关键注意事项:

MakeSong
MakeSong

AI音乐生成,生成高质量音乐,仅需30秒的时间

下载

立即学习Python免费学习笔记(深入)”;

  • 若 send_to_space() 内部含大量 CPU 计算,建议改用 concurrent.futures.ProcessPoolExecutor 替代 None(默认 ThreadPoolExecutor);
  • await task 并非等待响应返回,而是等待该任务被调度并开始执行(在 run_in_executor 场景下,即等待同步函数被线程池接纳)。这已满足“顺序发出”的约束;
  • 若你 完全不需要任何等待(甚至不关心是否已成功提交),可改用 asyncio.create_task(...) 后不 await —— 但需额外处理异常和生命周期(如 asyncio.all_tasks() 清理),不推荐用于生产级顺序任务;
  • Python ≥ 3.9 支持 asyncio.to_thread()(更简洁替代 run_in_executor),可进一步简化包装逻辑。

总结:对于“顺序 + 非阻塞 + 不改原函数”的需求,asyncio 结合 run_in_executor 是兼具简洁性、可控性与可靠性的标准解法。它让同步代码在异步框架中高效复用,是现代 Python I/O 编程的核心实践之一。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

589

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

259

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

21

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

23

2026.01.21

Java 并发编程高级实践
Java 并发编程高级实践

本专题深入讲解 Java 在高并发开发中的核心技术,涵盖线程模型、Thread 与 Runnable、Lock 与 synchronized、原子类、并发容器、线程池(Executor 框架)、阻塞队列、并发工具类(CountDownLatch、Semaphore)、以及高并发系统设计中的关键策略。通过实战案例帮助学习者全面掌握构建高性能并发应用的工程能力。

87

2025.12.01

抖音网页版入口与视频观看指南 抖音官网视频在线访问
抖音网页版入口与视频观看指南 抖音官网视频在线访问

本专题汇总了抖音网页版的入口链接、官方登录页面以及视频观看入口,帮助用户快速访问抖音网页版,提供免登录访问方式和直接进入视频播放页面的方法,确保顺利浏览和观看抖音视频。

61

2026.02.04

学习通网页版入口与在线学习指南 学习通官网登录与使用方法
学习通网页版入口与在线学习指南 学习通官网登录与使用方法

本专题详细汇总了学习通网页版入口与登录方法,提供学习通官方网页端入口、学生登录平台、网页版使用指南等内容,帮助用户快速稳定地登录学习通官网,顺利进入学习平台,提升学习效率和体验。

8

2026.02.04

Python Web 框架 Django 深度开发
Python Web 框架 Django 深度开发

本专题系统讲解 Python Django 框架的核心功能与进阶开发技巧,包括 Django 项目结构、数据库模型与迁移、视图与模板渲染、表单与认证管理、RESTful API 开发、Django 中间件与缓存优化、部署与性能调优。通过实战案例,帮助学习者掌握 使用 Django 快速构建功能全面的 Web 应用与全栈开发能力。

9

2026.02.04

Java 流式处理与 Apache Kafka 实战
Java 流式处理与 Apache Kafka 实战

本专题专注讲解 Java 在流式数据处理与消息队列系统中的应用,系统讲解 Apache Kafka 的基础概念、生产者与消费者模型、Kafka Streams 与 KSQL 流式处理框架、实时数据分析与监控,结合实际业务场景,帮助开发者构建 高吞吐量、低延迟的实时数据流管道,实现高效的数据流转与处理。

3

2026.02.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号