pandas groupby变慢主因是默认行为导致冗余计算与隐式拷贝；优化需优先用agg指定列和函数、提前过滤投影、转category类型、设as_index=false和observed=true，超大数据改用dask/polars/duckdb。
用 Pandas 的 groupby 处理大数据时变慢，通常不是因为“写法错”，而是默认行为在悄悄拖慢速度。优化核心是减少冗余计算、避免隐式拷贝、选对聚合方式。
优先用 agg 指定列和函数，别用 apply
apply 是万能但最慢的：它把每组转成 DataFrame 或 Series 再调用 Python 函数，触发解释器开销，且无法自动并行或向量化。
而 agg 能直接调用底层 Cython 实现的聚合（如 'sum'、'mean'、'size'），快 5–10 倍以上。
- ✅ 推荐：
df.groupby('category').agg({'sales': 'sum', 'price': 'mean'}) - ❌ 避免：
df.groupby('category').apply(lambda x: pd.Series({'sales_sum': x['sales'].sum(), 'price_mean': x['price'].mean()})) - ⚠️ 注意：
agg支持元组命名、多函数（如'sales': ['sum', 'count']），也支持自定义函数——但仅当函数本身可被向量化（如用 NumPy 运算）时才不掉速。
提前过滤、投影列，别让 groupby 处理无关数据
Groupby 前若不筛选，Pandas 仍会为所有列分配内存、做索引对齐、甚至复制整块数据。尤其含字符串、对象列或大数组时，开销剧增。
- 先选关键列：
df[['category', 'sales', 'date']].groupby('category').sum()，比全量df.groupby(...)快得多 - 提前过滤再分组：
df[df['date'] >= '2023-01-01'].groupby('category').sum()，比先 groupby 再用filter或布尔索引子集高效 - 字符串列尽量转为
category类型：df['category'] = df['category'].astype('category')，分组键哈希和比较更快
善用 as_index=False 和 observed=True
默认 groupby 返回以分组列为索引的 DataFrame，后续操作（如合并、导出）常需 reset_index()，这是一次额外拷贝。observed=True 则只对实际出现的分类值分组（跳过未出现的 category），大幅减少分组数——尤其配合 astype('category') 时效果明显。
立即学习“Python免费学习笔记（深入）”；
- 一步到位：
df.groupby('category', as_index=False, observed=True).sum() - 对比：未设
as_index=False时，.sum().reset_index()多一次深拷贝；未设observed=True且列是 category 类型时，可能生成数千个空组
超大数据？考虑替代方案
单机 Pandas 的 groupby 本质是单线程+内存全载。当数据远超内存或行数破亿，继续硬扛效率低、易 OOM。
- 用
dask.dataframe：API 兼容 Pandas，自动分块+延迟计算，适合多核/多机扩展 - 用
polars：Rust 编写，lazy mode + 并行执行，同逻辑下常比 Pandas 快 3–8 倍，语法也接近 - 简单统计可导出后交由 SQL（如 DuckDB）：
duckdb.query("SELECT category, SUM(sales) FROM df GROUP BY category")，C++ 引擎 + 列存优化，小数据也极快
