macos 上 flock 不生效是因为其仅支持建议性锁且不跨进程持久化,对 nfs 或 pathlib 等封装常无效;应改用 portalocker 实现跨平台文件锁。

Python 中 flock 为什么在 macOS 上不生效?
因为 macOS 的 flock 系统调用是 advisory-only(建议性锁),且不跨进程持久化,实际对 NFS 或某些 Python 封装(如 pathlib.Path.open)可能完全无效。
常见错误现象:OSError: [Errno 38] Function not implemented 或锁看似成功但多个进程仍同时写入文件。
- 只在 Linux 上可靠;macOS 和 Windows 均不推荐依赖
flock - 即使在 Linux,若文件挂载时用了
noac或nolock(如某些 NFS 配置),flock也会静默失效 - Python 的
fcntl.flock(fd, fcntl.LOCK_EX)必须作用于已打开的文件描述符,不能对路径直接加锁
示例:以下代码在 macOS 上不会阻塞,也不提供互斥保障
import fcntl
with open("data.txt", "w") as f:
fcntl.flock(f.fileno(), fcntl.LOCK_EX) # ⚠️ macOS 上形同虚设
f.write("hello")
fcntl.flock(f.fileno(), fcntl.LOCK_UN)
跨平台安全的文件锁该用哪个库?
用 portalocker —— 它自动适配底层机制:flock(Linux)、msvcrt.locking(Windows)、fcntl.lockf(macOS 可用,比 flock 更可靠)。
立即学习“Python免费学习笔记(深入)”;
使用场景:需要确保单实例运行、防止 cron 多次触发写冲突、日志轮转时避免覆盖。
-
portalocker.Lock支持上下文管理器和超时控制,比手写兼容逻辑更稳 - 不依赖
threading.Lock,它是真正的进程级锁 - 注意:锁文件必须是普通文件(不能是符号链接或 /dev/null),且路径需所有进程一致
简短示例:
import portalocker
with open("state.lock", "w") as lockfile:
portalocker.lock(lockfile, portalocker.LOCK_EX)
# 此处执行临界区操作
portalocker.unlock(lockfile)
threading.Lock 能代替文件锁吗?
不能。它只在单个 Python 进程内有效,对 fork 出的子进程、独立启动的脚本、不同用户下的进程完全无效。
常见错误现象:用 threading.Lock 包裹写文件逻辑后,cron 每分钟跑一次脚本,仍然出现数据错乱或损坏。
- 多线程 ≠ 多进程 —— Python 的 GIL 不影响进程并发,
threading.Lock对subprocess.Popen或另一个python script.py无任何约束力 - 如果程序本身是单进程且纯线程模型(比如 Flask 同一进程内多线程处理请求),
threading.Lock可用于保护共享内存变量,但绝不该用于文件 I/O 协调 - 混淆使用会导致“本地测试正常、上线就出问题”,尤其在容器或 systemd service 场景下
临时文件 + 原子重命名是否算一种锁?
是,而且是轻量、跨平台、无需额外依赖的替代方案,适合“写完即走”类任务(如生成配置、缓存刷新)。
原理:利用 os.replace()(POSIX)或 MoveFileEx(Windows)的原子性,先写到临时路径,再替换目标文件。
- 不阻塞其他读取者 —— 旧文件始终可用,新内容一次性生效
- 无法实现“等待锁释放”的语义,只能做“尽力而为”的单次写入,不适合需要排队协调的场景(如计数器累加)
- 注意:临时文件必须与目标文件在同一文件系统(否则
os.replace会降级为 copy+unlink,非原子)
示例:
import os
import tempfile
with tempfile.NamedTemporaryFile(
dir=os.path.dirname("config.json"),
delete=False,
suffix=".tmp"
) as tmp:
tmp.write(b'{"mode": "prod"}')
tmp.flush()
os.replace(tmp.name, "config.json") # 原子生效
文件锁最易被忽略的一点:锁文件本身不是魔法,它的有效性完全取决于所有参与者是否主动检查并遵守同一把锁。没有强制力,也没有内核级仲裁 —— 写错路径、漏加锁、混用不同锁机制,都会让整个防护形同虚设。










