真正节省内存的关键是逐行迭代、即时处理、不累积；用for line in open()流式读取，避免readlines()或列表推导式等全量加载操作。
内存不够时按行读取文件本身是合理的做法，问题往往出在“看似按行读取”，实际却一次性加载了全部内容——比如用了 readlines() 或把每行处理结果全存进列表。真正节省内存的关键是：**逐行迭代、即时处理、不累积**。
用 for line in open() 真正流式读取
这是最轻量、最常用的方式。Python 文件对象是可迭代的，for 循环会自动按行缓冲读取，内存只保留当前一行：
- ✅ 正确写法（推荐）：
with open("large.txt") as f:
for line in f:
process(line) # 立即处理，不保存 - ❌ 错误写法：
f.readlines()或list(f)—— 这会把所有行读进内存，和read()几乎一样吃内存
需要跳过空行或过滤时，别先 collect 再 filter
常见误区：先用 [line for line in f if line.strip()] 构建新列表——这又把符合条件的行全装进内存了。
- ✅ 改成生成器表达式：
(line for line in f if line.strip())，它不立刻计算，只是定义规则 - ✅ 或直接在循环里判断：
for line in f:
if line.strip():
process(line)
处理后要写入新文件？也别缓存结果
比如清洗日志、转换格式后保存，避免用 results.append(...) 最后再 writelines(results)。
立即学习“Python免费学习笔记（深入）”；
- ✅ 边读边写：
with open("in.txt") as fin, open("out.txt", "w") as fout:
for line in fin:
cleaned = clean(line)
fout.write(cleaned) - 注意：
fout.write()比fout.writelines()更可控，避免意外换行或编码问题
超大文件需随机访问某几行？用 linecache 或 mmap
如果真要“读第100万行”，又不想遍历前面所有行，普通按行读取就不够高效了。
- ✅ 小需求用
linecache.getline("file.txt", 1000000)—— 它内部做了缓存，适合偶尔查几行 - ✅ 超大文本且频繁随机读，考虑
mmap+ 自己找换行符，但实现复杂，一般场景不推荐 - ⚠️ 注意：这些不是替代按行读取，而是特定场景的补充方案
基本上就这些。核心就一条：别让数据在内存里“堆着”。只要不显式收集、不调用会全加载的方法，哪怕几十GB的纯文本，也能靠一行行流式处理完。
