0

0

Python atomic 操作的多种方案对比

舞夢輝影

舞夢輝影

发布时间:2026-02-15 18:14:02

|

348人浏览过

|

来源于php中文网

原创

python中无真正原子操作,int/list/dict等类型的操作在字节码层面非原子,gil不保证线程安全;需用threading.lock或asyncio.lock显式同步,多进程则需manager或消息传递。

python atomic 操作的多种方案对比

Python 里没有真正的 atomic 操作

Python 的 intlistdict 等内置类型,哪怕看起来是“单行赋值”,在字节码层面也往往拆成多步(LOAD、STORE、BINARY_SUBSCR 等),CPython 的 GIL 只能保证某些简单操作的原子性(比如对全局变量的读写),但不等于线程安全。你写的 x += 1 在多线程下大概率出错,这不是“没加锁”的问题,而是它本身就不是原子的。

常见错误现象:threading.Thread 并发跑 100 次 counter += 1,最终结果远小于 100;用 queue.Queue 却手动去 len(my_list) 判断再 pop(0),引发 IndexError

  • +=append()pop()del d[key] 这些都不是原子操作,别凭直觉认为“一行代码=一个不可打断的动作”
  • GIL 不是锁,它只防止多线程同时执行 Python 字节码,但无法保护你程序逻辑上的临界区
  • 真正需要原子语义的地方(如计数器、状态切换、资源分配),必须显式同步

threading.Lock 是最常用也最可靠的方案

90% 的场景下,用 threading.Lock 就够了。它开销小、语义清晰、跨平台稳定,且不会引入死锁以外的隐藏行为。

使用场景:共享变量更新(计数器、缓存状态)、文件写入、数据库连接池借用/归还等需要排他访问的环节。

立即学习Python免费学习笔记(深入)”;

  • 务必用 with lock: 语法,避免忘记 release() 导致死锁;裸调 lock.acquire() 很容易漏掉异常路径
  • 不要在锁内做耗时操作(如 HTTP 请求、大文件读写),否则其他线程会长时间阻塞
  • 多个锁嵌套时注意顺序,否则可能触发死锁;优先考虑能否合并为一个锁,或改用 threading.RLock

示例:

美易企业内容管理系统4.5
美易企业内容管理系统4.5

美易企业内容管理系统(原美易企业建站系统),是我们结合多年企业建站经验,专门针对中小企业,自主开发的快速建站程序,具有操作简便,扩展功能强大,模板使用简单,网站后续维护成本低等优点,得到众多企业用户的好评。美易企业内容管理系统,所有功能的实现均使用HTML、CSS、JS来实现,完全不需要去修改程序,让用户技术要求更低,使用更简单,功能扩展更方便。程序优势对比美易系统,使用简单:考虑到企业网站管理人

下载
counter = 0
lock = threading.Lock()
<p>def increment():
global counter
with lock:  # 进入即 acquire,退出自动 release
counter += 1  # 这里才真正安全

asyncio 中不能用 threading.Lock,得换 asyncio.Lock

asyncio 协程环境里,threading.Lock 会直接阻塞整个事件循环——因为它是基于操作系统线程原语的,而协程是用户态调度。你 await 的不是锁,是线程挂起,这会让所有协程卡住。

常见错误现象:用 threading.Lock 包裹 await aiohttp.get(...),结果整个服务变慢甚至无响应;或者误以为 asyncio.Lockthreading.Lock 可以混用。

  • asyncio.Lock 必须用 async with lock:,不是 with
  • 它只在同一个事件循环内有效;跨 loop(比如多进程启动多个 event loop)需用进程间通信替代
  • 不要在 async with lock: 块里调用阻塞函数(如 time.sleep()requests.get()),否则同样拖垮 loop

示例:

import asyncio
lock = asyncio.Lock()
counter = 0
<p>async def increment():
global counter
async with lock:
counter += 1  # 安全

atomic 操作的边界:multiprocessing 里要换思路

多进程之间内存不共享,threading.Lockasyncio.Lock 都无效。你不能靠“加锁”让两个进程原子地修改同一块内存——它们压根看不到彼此的内存地址。

使用场景:CPU 密集型任务分发、并行数据处理、模型推理服务等需要真正并行的场合。

  • multiprocessing.Manager() 提供的 ValueArraydict 等代理对象,底层带进程间同步,但性能较差
  • 更高效的做法是避免共享状态:每个进程维护本地状态,最后由主进程聚合;或用 multiprocessing.Queue / pipe 显式传递数据
  • multiprocessing.Lock 只能保护进程内共享内存(如 mmapshared_memory),不是万能的,且 Windows 上行为略有差异

容易被忽略的一点:concurrent.futures.ProcessPoolExecutor 默认不共享任何状态,传参和返回值都会序列化,看似“安全”,但如果你在 worker 函数里偷偷改了模块级变量,那只是改了那个子进程自己的副本——这种“假共享”比真竞争更难 debug。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

85

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

101

2025.09.18

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

730

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

565

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

234

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

209

2025.08.29

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

673

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

345

2025.12.24

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

139

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号