生产环境处理gb级csv/excel文件应使用chunksize分块读取，显式指定dtype和parse_dates优化内存与io，避免链式赋值和iterrows，改用.loc、.str、.dt及query等向量化操作，并及时释放中间变量。
用 chunksize 分批读取大文件
生产环境常遇到 GB 级 CSV 或 Excel 文件，直接 pd.read_csv() 容易内存爆满甚至 OOM。核心做法是用 chunksize 参数分块读入，逐块处理再合并或写入数据库。
- 设置 chunksize=50000（根据机器内存调整，一般 1–10 万行较稳妥）
- 避免一次性
pd.concat(chunks)拼接全部数据——改用生成器 + 迭代写入数据库或磁盘 - 对每块做必要过滤（如时间范围、状态字段），尽早 drop 无用列，减少后续内存占用
优先使用 dtype 和 parse_dates 显式声明类型
Pandas 默认推断类型既慢又不准：字符串列可能被误判为 object，数字列含空值时变成 float64，日期列不解析导致后续操作低效。显式指定能省 30%+ 内存和 2–5 倍 IO 时间。
- 数值列用
dtype={'col_a': 'float32', 'col_b': 'int32'}（非必须 int64/float64） - 分类字段少于 20 个唯一值时，强制设为
'category' - 日期列务必加
parse_dates=['event_time']，并配合date_parser或infer_datetime_format=True加速解析
避免链式赋值，善用 .loc 和向量化操作
df[col][cond] = val 是典型链式赋值，Pandas 可能静默失败或触发 SettingWithCopyWarning，生产环境出错难定位。同时，循环 for idx, row in df.iterrows() 在百万行级数据上极慢（比向量化慢 100–1000 倍）。
smart shop商城系统
下载
Smart Shop商城系统是一款基于 Spring Cloud +MybatisPlus+XXL-JOB+redis+Vue的前后端分离的商城系统，采用轻量级稳定框架开发及优化核心，减少依赖，具备出色的执行效率、扩展性、稳定性。 Smart Shop 经过了生产环境反复线上论证和大量真实用户数据使用的考验。
- 所有修改统一走
df.loc[condition, 'col'] = value或df.assign() - 字符串操作用
.str.xxx（如.str.contains()），日期用.dt.xxx（如.dt.month） - 复杂逻辑可封装为 NumPy ufunc 或用
np.where()/pd.cut()替代 for 循环
释放中间变量 + 使用 query() 提升可读与性能
长链式操作（如 df[...].groupby(...).agg(...).reset_index()）容易让临时 DataFrame 滞留内存。query() 不仅语法简洁，底层还做了表达式预编译，在过滤场景下比布尔索引快 10–20%。
立即学习“Python免费学习笔记（深入）”；
- 每完成一个阶段处理（如清洗、聚合），显式
del df_temp并调用gc.collect()（尤其在循环中） - 多条件过滤优先写
df.query("a > 10 and b in @valid_list and c.str.startswith('x')") - 避免
df.copy()除非必要；如需副本，用df.copy(deep=False)减少开销
