dataframe 不应逐行遍历,因其列式存储和向量化设计使 iterrows()、apply(axis=1) 等操作退化为低效 python 循环,性能比 numpy 向量化慢 10–100 倍;应优先使用向量化运算、内置方法或 numpy 函数。

因为 DataFrame 的设计目标不是逐行遍历,而是面向向量化的批量操作。用 for row in df.iterrows() 或 df.apply()(尤其 axis=1)这类方式,本质上是把底层优化的 C/Fortran 数值计算退化为 Python 层的循环,丢失了 NumPy 的内存连续性、SIMD 指令和底层循环展开等关键加速机制。
底层数据结构不支持高效单行访问
Pandas DataFrame 是按列存储(column-major)的,每列是一个独立的 NumPy 数组。当你调用 iterrows() 时,它需要为每一行临时拼装一个包含各列对应位置元素的 Series —— 这涉及多次内存跳转、类型检查、索引对齐和对象封装,开销远超直接读取整列。
-
df.iloc[i]看似简单,实际要检查索引类型、处理缺失值、构造新 Series 对象 -
df.loc['row_label']还要额外做哈希查找或二分搜索定位位置 - 每次迭代都新建 Python 对象,触发频繁的内存分配与 GC
Python 解释器本身限制了循环速度
CPU 在执行纯 Python 循环时,每一步都要经过解释器字节码调度、动态类型判断、引用计数更新等操作。哪怕只是 sum(row['A'] * row['B']),也要为每个 row 做属性查找、类型推断、运算符分发——而同样的计算用 df['A'] * df['B'] 直接交给 NumPy,就变成一条紧凑的 C 循环,甚至自动向量化。
- 纯 Python 循环通常比等效 NumPy 向量化操作慢 10–100 倍,数据量越大差距越明显
-
apply(func, axis=1)表面简洁,但 func 若是 Python 函数,仍逃不开逐行调用开销
替代方案:用对方法,性能差十倍变快百倍
真正提速的关键不是“怎么遍历更快”,而是“根本不遍历”。优先使用:
立即学习“Python免费学习笔记(深入)”;
-
向量化运算:如
df['C'] = df['A'] + df['B']、df['flag'] = df['score'] > 80 -
内置方法:如
df.groupby().agg()、df.rolling().mean()、df.replace(),它们内部调用高度优化的 C 实现 -
NumPy 函数:对数值列直接用
np.log(df['x'])、np.where(df['y'] > 0, 1, 0) - 真需逻辑复杂且无法向量化的场景,考虑
numba.jit编译或转成 Polars/Modin 等更现代的 DataFrame 库
不复杂但容易忽略:写完一行遍历代码前,先问自己——这个操作能不能写成一整列的表达式?答案往往是肯定的。










