read_csv内存爆炸主因是默认全量加载+自动类型推断；应通过usecols选列、dtype降级、chunksize分块处理并及时释放内存、encoding防bom错位来优化。
read_csv 为什么一加载就内存爆炸
不是 read_csv 本身有问题，是它默认把整张表全读进内存，还自动推断每列类型——对上 G 的 CSV，这等于直接申请几倍于文件体积的 RAM。尤其当存在长文本、混合类型或缺失值多的列时，pandas 默认用 object 类型存字符串，内存占用飙升得比文件尺寸还快。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 先用系统命令粗略看文件大小和行数：
head -n 5 data.csv看结构，wc -l data.csv看总行数 - 强制指定列类型：比如知道某列全是整数，就加
dtype={'user_id': 'int32'}，避免默认升到int64或退化为object - 跳过无用列：用
usecols只读需要的字段，例如usecols=['order_id', 'amount', 'ts'] - 禁用类型推断：加上
low_memory=False（仅在明确列类型一致时用），否则分块推断会反复报DtypeWarning
chunksize 不是“开个开关”就能省内存
chunksize 参数本质是返回一个 TextFileReader 迭代器，每次 next() 或用 for 循环才载入一块数据——但它不会自动帮你释放前一块内存。如果在循环里不断 pd.concat() 或往列表里 .append()，内存照样涨满。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 每块处理完立刻丢弃引用：不要累积
chunks = []，而是for chunk in pd.read_csv('x.csv', chunksize=10000): process(chunk) - 写入中间结果优先选磁盘：比如用
chunk.to_parquet(f'part_{i}.parq')，别攒成大 DataFrame 再统一存 - 注意
chunksize不是越大越好：设成 50000 可能单块就占 1GB，反而触发频繁 GC；从 5000–20000 试起，观察 RSS 增长曲线 - 分块后索引不连续：
chunk.index每次都从 0 开始，如需全局序号，用chunk.index + i * chunksize手动算
内存不够时，dtype 要手动“砍”得狠一点
pandas 对数值列默认用 float64 和 int64，但真实业务数据往往用不到那么高精度。比如用户 ID 是 10 位以内整数，用 uint32 就够；金额保留两位小数，float32 足够且省一半内存；分类字段不超过 256 个取值，category 类型能压缩 5–10 倍。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 数值列降级：用
dtype={'price': 'float32', 'qty': 'uint16'}，注意uint16上限是 65535，超了会 wrap around - 字符串列转 category：仅适用于重复值 >10% 的列，
dtype={'city': 'category'}，但后续不能直接.str.upper() - 空值处理要同步：若某列有缺失，
int类型无法表示，得改用Int64（首字母大写）或float32，否则读取时报ValueError: Integer column has NA values - 日期列别偷懒：用
parse_dates=['ts']+date_parser指定格式，比默认推断快且省内存
read_csv 的 skiprows 和 nrows 容易误用
skiprows 和 nrows 看似简单，但组合使用时行为反直觉：比如 skiprows=100, nrows=50，实际跳过前 100 行后读 50 行，而不是“从第 100 行开始读 50 行”。更麻烦的是，如果文件带 BOM 或编码异常，skiprows 可能错位，导致列对不齐。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 调试时先用
skiprows+nrows=10快速验逻辑，别一上来就跑全量 - 跳过注释行要用
comment='#'，别靠skiprows数行数，否则新增注释就崩 - 真要按行号切片（比如只读第 10000–15000 行），得先用 Python 原生
open()配合itertools.islice提前截出片段，再喂给pd.read_csv(StringIO(chunk)) -
nrows对性能影响小，但skiprows越大越慢——因为 pandas 还是得逐行扫描过去，只是不解析
最常被忽略的一点：编码问题会彻底破坏分块逻辑。比如 UTF-8 with BOM 文件，第一块可能多读一个 \ufeff 字符，导致列名错位，后续所有 dtype 和 usecols 全失效。遇到乱码或列数对不上，第一反应不是调参数，是加 encoding='utf-8-sig'。
