python中无真正原子操作,int/list/dict等类型的操作在字节码层面非原子,gil不保证线程安全;需用threading.lock或asyncio.lock显式同步,多进程则需manager或消息传递。

Python 里没有真正的 atomic 操作
Python 的 int、list、dict 等内置类型,哪怕看起来是“单行赋值”,在字节码层面也往往拆成多步(LOAD、STORE、BINARY_SUBSCR 等),CPython 的 GIL 只能保证某些简单操作的原子性(比如对全局变量的读写),但不等于线程安全。你写的 x += 1 在多线程下大概率出错,这不是“没加锁”的问题,而是它本身就不是原子的。
常见错误现象:threading.Thread 并发跑 100 次 counter += 1,最终结果远小于 100;用 queue.Queue 却手动去 len(my_list) 判断再 pop(0),引发 IndexError。
-
+=、append()、pop()、del d[key]这些都不是原子操作,别凭直觉认为“一行代码=一个不可打断的动作” - GIL 不是锁,它只防止多线程同时执行 Python 字节码,但无法保护你程序逻辑上的临界区
- 真正需要原子语义的地方(如计数器、状态切换、资源分配),必须显式同步
threading.Lock 是最常用也最可靠的方案
90% 的场景下,用 threading.Lock 就够了。它开销小、语义清晰、跨平台稳定,且不会引入死锁以外的隐藏行为。
使用场景:共享变量更新(计数器、缓存状态)、文件写入、数据库连接池借用/归还等需要排他访问的环节。
立即学习“Python免费学习笔记(深入)”;
- 务必用
with lock:语法,避免忘记release()导致死锁;裸调lock.acquire()很容易漏掉异常路径 - 不要在锁内做耗时操作(如 HTTP 请求、大文件读写),否则其他线程会长时间阻塞
- 多个锁嵌套时注意顺序,否则可能触发死锁;优先考虑能否合并为一个锁,或改用
threading.RLock
示例:
美易企业内容管理系统(原美易企业建站系统),是我们结合多年企业建站经验,专门针对中小企业,自主开发的快速建站程序,具有操作简便,扩展功能强大,模板使用简单,网站后续维护成本低等优点,得到众多企业用户的好评。美易企业内容管理系统,所有功能的实现均使用HTML、CSS、JS来实现,完全不需要去修改程序,让用户技术要求更低,使用更简单,功能扩展更方便。程序优势对比美易系统,使用简单:考虑到企业网站管理人
counter = 0 lock = threading.Lock() <p>def increment(): global counter with lock: # 进入即 acquire,退出自动 release counter += 1 # 这里才真正安全
asyncio 中不能用 threading.Lock,得换 asyncio.Lock
在 asyncio 协程环境里,threading.Lock 会直接阻塞整个事件循环——因为它是基于操作系统线程原语的,而协程是用户态调度。你 await 的不是锁,是线程挂起,这会让所有协程卡住。
常见错误现象:用 threading.Lock 包裹 await aiohttp.get(...),结果整个服务变慢甚至无响应;或者误以为 asyncio.Lock 和 threading.Lock 可以混用。
-
asyncio.Lock必须用async with lock:,不是with - 它只在同一个事件循环内有效;跨 loop(比如多进程启动多个 event loop)需用进程间通信替代
- 不要在
async with lock:块里调用阻塞函数(如time.sleep()、requests.get()),否则同样拖垮 loop
示例:
import asyncio lock = asyncio.Lock() counter = 0 <p>async def increment(): global counter async with lock: counter += 1 # 安全
atomic 操作的边界:multiprocessing 里要换思路
多进程之间内存不共享,threading.Lock 和 asyncio.Lock 都无效。你不能靠“加锁”让两个进程原子地修改同一块内存——它们压根看不到彼此的内存地址。
使用场景:CPU 密集型任务分发、并行数据处理、模型推理服务等需要真正并行的场合。
- 用
multiprocessing.Manager()提供的Value、Array、dict等代理对象,底层带进程间同步,但性能较差 - 更高效的做法是避免共享状态:每个进程维护本地状态,最后由主进程聚合;或用
multiprocessing.Queue/pipe显式传递数据 -
multiprocessing.Lock只能保护进程内共享内存(如mmap或shared_memory),不是万能的,且 Windows 上行为略有差异
容易被忽略的一点:concurrent.futures.ProcessPoolExecutor 默认不共享任何状态,传参和返回值都会序列化,看似“安全”,但如果你在 worker 函数里偷偷改了模块级变量,那只是改了那个子进程自己的副本——这种“假共享”比真竞争更难 debug。









