asyncio 与 threading 协作需用 run_in_executor 执行阻塞操作、run_coroutine_threadsafe 跨线程调度协程、threading.lock 保障共享状态安全,并避免跨线程访问事件循环。

当需要在 Python 异步程序中调用阻塞型 I/O 或 CPU 密集型函数时,直接在 asyncio 事件循环中执行会导致整个协程挂起。以下是实现 asyncio 与 threading 协作的具体方式:
一、使用 loop.run_in_executor 启动线程
asyncio 事件循环提供 run_in_executor 方法,可将阻塞操作提交至线程池(默认 ThreadPoolExecutor)异步执行,避免阻塞主事件循环。该方法返回一个 awaitable 对象,可在协程中等待其完成。
1、导入必要模块:import asyncio, time, concurrent.futures
2、定义阻塞函数:def blocking_io(): time.sleep(2); return "done"
立即学习“Python免费学习笔记(深入)”;
3、在协程中调用:result = await loop.run_in_executor(None, blocking_io)
4、注意:若未显式传入 executor,默认使用全局线程池,不可在 executor 中直接操作 asyncio 的事件循环或协程对象
二、手动创建并管理线程池
通过显式构造 concurrent.futures.ThreadPoolExecutor 实例,可控制线程数量、生命周期及资源复用,适用于需精细调度的场景。
1、创建固定大小线程池:executor = concurrent.futures.ThreadPoolExecutor(max_workers=4)
2、在协程中提交任务:result = await loop.run_in_executor(executor, blocking_io)
3、任务完成后关闭线程池:executor.shutdown(wait=True)
4、必须确保 shutdown 在所有 await 调用结束后执行,否则可能引发 RuntimeError
三、在线程中安全调用 asyncio.run_coroutine_threadsafe
当已有活跃的 asyncio 事件循环运行于主线程,而其他线程需触发协程执行时,应使用 run_coroutine_threadsafe 函数。它将协程调度到指定事件循环,并返回 concurrent.futures.Future 对象。
1、获取当前事件循环引用:loop = asyncio.get_running_loop()
萌次元商城是一个针对二次元的开源发卡系统。系统免费开源、界面美观、功能丰富。 (存在与第三方服务器连接的付费增值服务,但自身免费功能能够满足基本需求) 版权:遵循MIT协议从lizhipay处获得授权进行再分发 特色功能: 1.可以分发密钥,作为发卡网使用 2.可以关联快递单号,作为微商自建电商平台使用 3.支持多种支付方式,包括微信、支付宝、银联和国际
2、在子线程中调用:future = asyncio.run_coroutine_threadsafe(coroutine_func(), loop)
3、获取结果:result = future.result(timeout=5)
4、该函数仅适用于已启动且未关闭的事件循环,不可用于已停止或未启动的循环
四、共享状态时的线程安全处理
asyncio 协程与线程共存时,对共享变量(如字典、列表)的读写需防止竞态条件。asyncio 提供的同步原语不适用于跨线程场景,须改用 threading 模块提供的锁机制。
1、初始化线程安全对象:shared_data = {}; lock = threading.Lock()
2、在线程中写入前加锁:with lock: shared_data["key"] = value
3、在协程中读取时同样加锁:with lock: val = shared_data.get("key")
4、不可混用 asyncio.Lock 与 threading.Lock,二者作用域和实现机制完全不同
五、避免事件循环嵌套与跨线程访问
asyncio 事件循环是线程绑定的,每个线程最多只能有一个运行中的事件循环。尝试在非创建线程中调用 loop.run_until_complete 或访问 loop.is_running() 将导致异常。
1、检查当前线程是否已有运行中循环:try: asyncio.get_running_loop() except RuntimeError: pass
2、若需在新线程启动循环,必须显式调用 asyncio.new_event_loop() 和 loop.run_forever()
3、禁止将主线程 loop 对象传递至子线程后直接调用 run_until_complete
4、loop.create_task() 只能在创建该 loop 的线程中调用,否则抛出 RuntimeError








