openpyxl读大Excel慢因默认DOM加载全表到内存,改用read_only=True可提速3–5倍;pandas.read_excel()底层仍用openpyxl,慢因dtype推断耗时;写入时pandas生成新文件,openpyxl可复用模板;超20万行应换CSV或SQLite。

openpyxl 读取大 Excel 文件为什么慢得像卡住
因为 openpyxl 默认以「DOM 方式」加载整个工作表到内存,每个单元格都变成一个 Python 对象。10 万行 × 50 列的文件,轻松吃掉 500MB+ 内存,CPU 解析 XML 的开销也高。
- 用
read_only=True参数可切换为流式读取,速度提升 3–5 倍,但只能顺序读、不支持写、不能访问公式结果(只读原始值) - 避免用
ws['A1':'Z1000']这种切片语法遍历——它会提前加载所有单元格对象;改用ws.iter_rows()+values_only=True - 如果只是提取几列数据,别用
ws.iter_rows()遍历全部行,先用ws.max_row和ws.max_column判断范围,再按需取
pandas.read_excel() 默认用什么引擎?为什么有时比 openpyxl 还慢
默认用 xlrd(仅支持 .xls),但新版 pandas 已弃用它;实际常用的是 openpyxl(.xlsx)或 odf(.ods)。也就是说,pandas.read_excel() 在读 .xlsx 时底层仍是 openpyxl,只是加了一层 DataFrame 封装。
- 慢的主因是 pandas 会把整张表转成
object或string类型列,再尝试推断 dtype —— 这步非常耗时;加dtype=str或显式指定每列类型(如dtype={'id': 'int64', 'name': 'string'})能提速 2 倍以上 -
usecols参数必须用,比如usecols="A:C"或usecols=[0, 2, 4],跳过无关列能显著减少解析量 - 不要依赖
skiprows跳过前几行标题后再读——它仍是先加载全表再切片;真有复杂表头,考虑用header=None+ 手动处理,或换openpyxl定位区域读
写 Excel:pandas.to_excel() 和 openpyxl.save() 的性能分水岭在哪
写入速度差异主要来自「是否复用已有文件结构」。pandas 写新文件很快,但往已有格式(带样式/图表/合并单元格)的模板里追加数据时,必须用 openpyxl。
- pandas 写入本质是「生成全新工作簿」,适合导出报表;但它不保留原文件任何样式、条件格式、批注——哪怕你只改一列数据,也要重写整个文件
- 用
openpyxl.load_workbook(..., keep_vba=False, read_only=False)加载模板后,直接操作ws['B5'] = value,再wb.save(),比 pandas 快且精准;但注意keep_vba=True会让加载变慢 3 倍以上,非必要关掉 - 批量写入别用循环赋值
ws.cell(row=i, column=j).value = ...;改用ws.append([v1, v2, v3])或一次性写二维列表到ws['A1'].value = [['a','b'],['c','d']]
什么时候该放弃 Excel,改用 CSV 或数据库
当单表超过 20 万行、或频繁读写、或多进程并发操作时,Excel 文件锁、解析开销、内存暴涨问题会集中爆发,这时候坚持用它就是在给自己埋雷。
立即学习“Python免费学习笔记(深入)”;
- CSV 没格式、没公式、没样式,但
pandas.read_csv()可以秒读百万行,配合chunksize流式处理,内存可控 - SQLite 是零配置嵌入式数据库,
pandas.to_sql()写入 50 万行比写 Excel 快 10 倍以上,且支持索引、查询、事务 - 如果必须交付 Excel 给业务方,最后一步再用
openpyxl把 CSV 或 SQLite 导出成带样式的报表,而不是全程拿 Excel 当中间存储
Excel 不是数据库,也不是日志文件。它适合人看,不适合程序反复折腾——这个边界划不清,后面全是坑。










