答案：处理大文件时，小文件高频读取用内存缓存，大文件随机访问用mmap。缓存减少重复i/o，适合中小文件；mmap映射文件到内存，按需加载，支持随机读写和跨进程共享，适用于大文件处理。
处理大文件时，直接读取可能消耗大量内存和时间。Python 提供了多种方式优化文件数据访问，其中 数据缓存 和 mmap（内存映射） 是两种高效手段。它们各有适用场景，合理使用能显著提升性能。
数据缓存：减少重复 I/O 操作
当程序需要多次读取同一文件内容时，将数据保存在内存中可避免重复磁盘读取。
常见做法是将文件内容一次性加载到变量或字典中：
- 适合中小文件，且访问模式频繁、随机
- 可用
functools.lru_cache缓存函数结果 - 注意控制缓存大小，防止内存溢出
示例：用 LRU 缓存读取配置文件
立即学习“Python免费学习笔记（深入）”；
from functools import lru_cache
import json
@lru_cache(maxsize=8)
def load_config(filepath):
with open(filepath, 'r') as f:
return json.load(f)
mmap：内存映射大文件
mmap 将文件直接映射到进程的虚拟内存空间，允许像操作数组一样访问文件内容，无需全部加载进物理内存。
适用于处理超大文件（如日志、数据库快照），支持随机访问且节省内存。
- 不立即加载整个文件，按需分页加载
- 支持类字符串操作（如切片、查找）
- 可读写，修改会反映到磁盘（取决于权限）
示例：用 mmap 查找关键词位置
import mmap
with open('large_file.txt', 'r+b') as f:
mm = mmap.mmap(f.fileno(), 0)
pos = mm.find(b'keyword')
if pos != -1:
print(f'Found at byte {pos}')
mm.close()
选择建议：根据场景权衡
是否使用缓存或 mmap，取决于数据大小和访问模式。
- 小文件 + 高频读取 → 使用内存缓存
- 大文件 + 随机访问或搜索 → 使用 mmap
- 顺序读取大文件 → 普通迭代更简单高效
- 需要跨进程共享文件内容 → mmap 更合适
基本上就这些。mmap 强大但需小心使用，比如关闭映射、处理异常；缓存则要警惕内存增长。理解需求再选方法，效果最好。
