polars已成为gb–10gb级单机大数据处理的事实标准，凭借列式内存、惰性执行、零拷贝和多线程并行，性能比pandas快8–15倍且内存低30%–40%；vaex仍适合百亿行数据秒级探索但生态断层明显；pandas因稳定性和功能完整性在小数据、语义操作及交互开发中不可替代。
Polars 已成单机大数据处理事实标准
2026 年，polars 不再是“备选”，而是中大型数据（GB–10GB 级）在单机环境下的默认选择。它不是“比 pandas 快一点”，而是架构级替代：列式内存（Apache Arrow）、惰性执行（.lazy()）、零拷贝、多线程自动并行——这些特性让同一台机器上跑 df.groupby("user_id").agg(pl.mean("duration")) 这类操作，polars 常比 pandas 快 8–15 倍，且内存占用低 30%–40%。
实操建议：
- 读取大 CSV 时直接用
pl.read_csv("data.csv")，不用调参；Pandas 的chunksize或dtype预设在这里基本失效 - 复杂链式操作务必包裹
.lazy().collect()，否则会触发多次中间计算；pandas没这层，但polars不加.lazy()就等于放弃一半性能 - 和现有生态对接没问题：
df.to_pandas()可转回 pandas，pl.from_pandas(df)可导入；但字符串正则、时区转换等边缘操作，polars支持不如pandas全，查文档前先试pl.col("x").str.contains(...)
vaex 仍适合“秒开+探索”但生态断层明显
vaex 的核心价值没变：用内存映射 + 延迟计算，在不加载全量数据进内存的前提下，对百亿行 CSV 或 HDF5 文件做即时过滤、直方图、散点图——比如 vaex.open("100GB_logs.hdf5") 返回对象几乎瞬时完成，df[df.status == "ERROR"].count() 也极快。
但它的问题也在加剧：
立即学习“Python免费学习笔记（深入）”；
- 机器学习支持弱：没有原生
.fit()接口，vaex.ml模块已多年未更新，想接scikit-learn得先df.to_pandas_df()，一转就崩内存 - 写入能力有限：支持
export_hdf5和export_arrow，但不支持 CSV 写出（会报NotImplementedError），也不支持 Parquet 分区写入 - 与新工具链脱节：DuckDB、MotherDuck、dbt Python SDK 基本只认
polars或arrow表，vaexDataFrame 传进去常抛TypeError: expected pyarrow.Table
pandas 还值得留吗？留，但要清楚边界
是的，pandas 还得留着——不是因为快，而是因为“稳”和“全”。2026 年它仍是以下场景不可替代的选择：
- 小数据快速验证：读 Excel、解析嵌套 JSON、处理带合并单元格的报表，
pandas.read_excel()的容错性和字段推断仍远超其他库 - 需要强语义操作：如
pd.cut()分箱、pd.qcut()分位数分组、pd.date_range()生成非固定频率时间序列，polars要么没实现，要么 API 更绕 - 调试和交互式开发：Jupyter 中
df.head()显示美观、df.info()输出结构清晰、df.plot()开箱即用；polars的.head()默认只显示 10 行且不自动截断长字符串，.describe()缺少分位数粒度
关键提醒：别在 pandas 里硬扛大数据。一旦 df.memory_usage(deep=True).sum() 超过物理内存 60%，就该切到 polars 或 dask——强行 df.drop_duplicates() 卡死半小时，不如花两分钟改三行代码换库。
别踩“API 相似但语义不同”的坑
看起来都叫 groupby，但行为差异足以导致结果错误或性能雪崩：
-
pandas.groupby().agg({"col": "mean"})返回列名是"col"；polars.groupby().agg(pl.mean("col"))默认返回列名是"col_mean"，不加.alias()容易后续列引用失败 -
vaex的df.groupby(by="x", agg={"y": "mean"})返回的是vaex.Expression，不是 DataFrame，直接 print 会显示表达式树，不是数值结果——必须显式调用.evaluate()或.to_pandas_df() -
polars的filter()不支持布尔索引语法：df[df.x > 1]报错，必须写df.filter(pl.col("x") > 1)；而pandas和vaex都支持前者
最常被忽略的一点：所有库的缺失值（null）传播逻辑不一致。pandas 默认跳过 NaN 做聚合，polars 同样，但 vaex 在某些 agg 函数里会把 null 当 0 处理——查均值前先确认 df["col"].isna().sum()，别信默认行为。
