用 sum(1 for _ in f) 统计行数最快且内存恒定,适合任意大小文本文件;wc -l 更快但依赖 shell 且跨平台受限;逐块读取适用于禁用 subprocess 的超大文件场景。

用 sum(1 for _ in f) 读文件比 len(f.readlines()) 快得多
因为 len(f.readlines()) 会把整行内容全加载进内存,大文件直接 OOM;而生成器表达式 sum(1 for _ in f) 每次只读一行、不存内容,内存占用恒定在几百字节。
- 适用于任意大小文本文件,包括 GB 级日志
- 注意必须以文本模式打开(
'r'),不能用'rb',否则换行符识别错乱 - Windows 和 Linux 换行符(
\r\nvs\n)不影响计数,Python 的for line in f自动按逻辑行切分 - 示例:
with open('data.log', 'r', encoding='utf-8') as f: line_count = sum(1 for _ in f)
wc -l 在 Linux/macOS 上通常比纯 Python 快 3–10 倍
因为 wc 是 C 实现、做了 syscall 层面优化(如 readv 批量读取、跳过内容解析),而 Python 即使是生成器也要走解释器循环和对象创建开销。
- 前提是你有 shell 环境且文件路径不含空格或特殊字符(否则需转义,反而拖慢)
- 命令要加
-l,不加会输出文件名,干扰解析;推荐用subprocess.run(..., capture_output=True, text=True) - 跨平台不通用:Windows 默认无
wc,装 Git Bash 或 WSL 才能用 - 示例:
import subprocess result = subprocess.run(['wc', '-l', 'data.log'], capture_output=True, text=True) line_count = int(result.stdout.split()[0])
逐块读取(buffer 方式)适合超大文件且不能依赖 shell 的场景
当既要避免内存爆炸,又不能调用外部命令(如容器环境禁止 subprocess、或安全策略拦截),就得自己按字节块扫 \n。
- 核心逻辑是:读一块字节 → 数其中
\n个数 → 移动偏移 → 继续,但要注意文件末尾没换行时少算一行 - 缓冲区大小设为 8192 或 65536 字节较平衡;太小频繁系统调用,太大内存浪费
- 二进制模式读取(
'rb')更可靠,避免编码错误打断扫描 - 示例关键片段:
count = 0 with open('huge.log', 'rb') as f: while True: chunk = f.read(8192) if not chunk: break count += chunk.count(b'\n') # 若文件非空且末尾无换行,则 +1 if chunk and not chunk.endswith(b'\n'): count += 1
别忽略编码问题和空行误判
很多“行数不准”不是算法问题,而是打开方式不对:比如用 encoding='gbk' 读 UTF-8 文件,遇到乱码字节直接抛 UnicodeDecodeError;或者把带 BOM 的 UTF-8 当普通文本,首行被吃掉。
立即学习“Python免费学习笔记(深入)”;
- 默认用
encoding='utf-8',不确定时加errors='ignore'或'replace'防崩溃(但会影响真实行数) -
sum(1 for _ in f)统计的是“可迭代出的行”,即含换行符或文件结尾的逻辑行,空文件返回 0,末尾无换行也正常计 1 行 - 如果业务要求“非空行数”,得额外判断
line.strip(),但这会让速度下降 2–3 倍,别默认加
实际选哪种,取决于你手上的约束:有没有 shell、文件多大、是否允许异常容忍、要不要跨平台。三者里最常踩的坑是忘了编码,其次是误用 readlines() 处理日志文件——一个 2GB 的 access.log 足够让 Python 进程卡死一分钟再 OOM。










