当使用pandas的pd.read_csv()无法完整加载500万行级csv文件时，推荐采用dask dataframe进行分块并行读取，兼顾内存效率与操作兼容性。
当使用pandas的pd.read_csv()无法完整加载500万行级csv文件时，推荐采用dask dataframe进行分块并行读取，兼顾内存效率与操作兼容性。
在处理125MB、约500万行的大型CSV文件时，若发现pd.read_csv()仅返回约100万行，这通常并非pandas的硬性行数限制，而是由以下潜在原因导致：文件中存在未转义的换行符、编码异常、分隔符不一致，或更常见的是——用户误加了nrows=1_000_000等显式参数；但若确认无参数干预却仍截断，则极可能因内存压力触发底层解析器异常退出（静默失败），此时需转向更健壮的大数据读取方案。
Dask DataFrame是当前最实用的替代方案：它以惰性计算、分块加载和类pandas API著称，能无缝处理远超内存容量的CSV文件，且语法简洁：
import dask.dataframe as dd
# 自动按块读取，支持并行解析
df = dd.read_csv('large_file.csv')
# 查看前5行（触发实际计算）
print(df.head())
# 获取总行数（需计算，非立即返回）
print(df.shape[0].compute()) # 输出: 5000000✅ 优势说明：
- 内存友好：Dask将文件逻辑切分为多个Pandas DataFrame分区（partitions），仅在需要时加载对应块；
- 无缝过渡：支持绝大多数pandas链式操作（如df.groupby().agg()、df.query()），代码迁移成本低；
- 可扩展性强：后续可轻松对接Dask分布式调度器，实现集群级处理。
⚠️ 注意事项：
- Dask DataFrame的.compute()会触发全量计算并返回Pandas DataFrame，务必确保最终结果可载入内存；
- 若只需部分列，务必使用usecols参数（如dd.read_csv(..., usecols=['id', 'value'])）显著减少I/O与内存开销；
- 首次读取建议先用sample=10000或blocksize='64MB'手动调优分块大小，平衡并行度与单块内存占用。
综上，面对百万级以上CSV文件的可靠读取需求，Dask不是“权宜之计”，而是生产环境中兼顾开发效率与工程鲁棒性的标准实践。
