0

0

Python 并发模型选型的决策思路

舞夢輝影

舞夢輝影

发布时间:2026-02-13 21:12:10

|

155人浏览过

|

来源于php中文网

原创

asyncio适合i/o密集且协程可挂起的场景,如aiohttp请求、asyncpg查询、异步文件读写;不适合cpu密集任务如图像处理、数值计算,此时应使用processpoolexecutor。

python 并发模型选型的决策思路

asyncio 适合什么场景,不适合什么场景

asyncio 不是万能并发解药,它只在 I/O 密集、协程可挂起的场景下真正省资源。CPU 密集任务扔进 asyncio.run() 只会让单线程更忙,还加了调度开销。

常见错误现象:asyncio 跑着跑着 CPU 占满、响应反而变慢;用 time.sleep() 阻塞协程导致整个事件循环卡住。

  • 适合:HTTP 请求(aiohttp)、数据库查询(aiomysqlasyncpg)、文件异步读写(asyncio.open()
  • 不适合:图像处理、数值计算、正则反复匹配——这些该交给 concurrent.futures.ProcessPoolExecutor
  • 注意:asyncio.to_thread() 是 Python 3.9+ 的补救手段,但只是把同步阻塞调用“挪到线程里”,不是原生异步

多线程 vs 多进程:别被 GIL 带偏节奏

GIL 确实存在,但它不等于“Python 不能并发”。关键看瓶颈在哪:如果卡在系统调用(比如 requests.get()),线程就能并行;如果卡在纯 Python 循环,才需要进程。

使用场景差异明显:threading.Thread 启动快、内存共享方便,适合短时 I/O;multiprocessing.Process 开销大、序列化成本高,但能压满多核 CPU。

立即学习Python免费学习笔记(深入)”;

DESTOON B2B网站管理系统
DESTOON B2B网站管理系统

DESTOON B2B网站管理系统是一套完善的B2B(电子商务)行业门户解决方案。系统基于PHP+MySQL开发,采用B/S架构,模板与程序分离,源码开放。模型化的开发思路,可扩展或删除任何功能;创新的缓存技术与数据库设计,可负载千万级别数据容量及访问。

下载
  • 别盲目上 multiprocessing:传参必须可序列化,lambda、嵌套函数、类实例方法直接报 PicklingError
  • ThreadPoolExecutor 比裸 threading 更安全,自动管理生命周期,推荐优先用
  • Windows 下 multiprocessing 默认启动方式是 spawn,模块级代码可能重复执行——记得包好 if __name__ == '__main__':

什么时候该混用(async + thread + process)

真实服务常同时面对 I/O 等待、第三方 SDK 阻塞、本地计算三类负载。硬选一种模型只会让某部分成为瓶颈。

典型组合:asyncio 做主流程编排,把阻塞操作丢给 ThreadPoolExecutor(如调用旧版 requests),再把 CPU 重活交由 ProcessPoolExecutor(如 numpy.linalg.svd)。

  • 避免在协程里直接 await loop.run_in_executor(None, ...):用 None 表示默认线程池,但没控制权;显式创建 ThreadPoolExecutor 实例更好管理
  • 进程池不能传协程对象,也不能在子进程中调用 asyncio.run() —— 子进程是干净的 Python 解释器,没有父进程的事件循环
  • 跨 executor 传递数据尽量轻量:大对象序列化/反序列化比计算本身还慢

调试并发问题比写代码还花时间

竞态、死锁、资源耗尽这些问题不会立刻报错,而是隔几十分钟突然 ConnectionRefusedErrorRuntimeWarning: coroutine 'xxx' was never awaited

最容易被忽略的是资源泄漏:忘了关 aiohttp.ClientSession、线程池没 shutdown()、进程池句柄未释放,跑一两天后连接数爆满或文件描述符占尽。

  • asyncio.all_tasks() 查看还在跑的协程,配合 task.get_coro().__name__ 定位挂起点
  • threading.enumerate()multiprocessing.active_children() 是排查“线程/进程没退出”的基本工具
  • 别信日志时间戳:多个线程/协程打日志会交错,加 threading.get_ident()asyncio.current_task() 辅助区分

并发不是加个 async 就完事,它把隐性依赖显性化了——哪段代码依赖全局状态、哪个函数偷偷改了环境变量、谁在共享队列里没取完就 exit,这些细节全得抠清楚。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

808

2023.08.22

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

211

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

191

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

58

2026.01.05

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

673

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

325

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

24

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

24

2026.01.21

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

23

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号