filecmp.cmp() 默认 shallow=True 仅比对元数据,需设 shallow=False 才逐字节比较;Windows换行符差异仍致False;推荐用rb模式分块计算sha256哈希校验。

filecmp.cmp() 为什么返回 False 却实际内容一样
常见现象是两个文件用文本编辑器看完全相同,但 filecmp.cmp() 返回 False。根本原因默认开启 shallow=True:它只比对文件的 stat 元数据(如修改时间、大小),不读取内容。
- 必须显式传入
shallow=False才真正逐字节比对内容 - Windows 下注意换行符差异:一个文件用
\r\n,另一个用\n,filecmp.cmp(a, b, shallow=False)仍会返回False - 如果只是校验内容一致性(比如部署后验证),建议跳过
filecmp,直接用哈希——更可控、无平台歧义
用 hashlib 做可靠哈希校验的最小安全写法
直接调 hashlib.md5().hexdigest() 读整个文件进内存,大文件(>1GB)容易 OOM;而忽略错误编码又可能在二进制文件上出错。
- 始终以
'rb'模式打开文件,避免编码干扰和换行符自动转换 - 分块读取,比如每次
8192字节,兼顾性能与内存友好 - 推荐用
sha256而非md5:防碰撞要求不高时无所谓,但若涉及可信校验(如下载包完整性),md5已不安全
示例:
def file_sha256(path):
h = hashlib.sha256()
with open(path, 'rb') as f:
while chunk := f.read(8192):
h.update(chunk)
return h.hexdigest()
filecmp.dircmp() 对比目录时隐藏的陷阱
filecmp.dircmp 看起来方便,但它的 diff_files、same_files 列表只基于文件名 + 默认 shallow 行为,极易漏判。
立即学习“Python免费学习笔记(深入)”;
- 子目录里有同名文件,但一个被删了、一个被改了,
dircmp可能把它归进common_files,却不告诉你内容是否一致 - 它不会递归检查子目录内部差异,
subdirs是 dict,值又是dircmp对象,需手动遍历——没人这么干,太容易栈溢出或漏层级 - 真实场景中,需要“哪些文件内容变了”+“哪些文件只在一侧存在”,建议组合
pathlib.Path.rglob()+ 单文件哈希比对,逻辑清晰、可控性强
什么时候该放弃 filecmp,直接用系统命令
当你要快速判断两个大目录是否完全一致,且运行环境确定有 diff(Linux/macOS)或 fc(Windows),别硬写 Python。
-
diff -r dir1 dir2输出简洁,空输出即表示一致;加-q更快(只报差异,不输出上下文) - Python 里用
subprocess.run()捕获退出码即可:ret.returncode == 0表示无差异 - 注意路径含空格或特殊字符时,别拼字符串调
os.system(),用subprocess.run([cmd, arg1, arg2])形式 - 跨平台脚本里混用命令风险高,此时回到纯 Python 哈希方案更稳——但得接受慢一点
rb 或 wb,在 Windows 上就可能悄悄改换行符、在 Python 3 里因编码问题中断读取。不是所有“看起来一样”的文件,filecmp 都能给你准答案。










