
本文介绍如何对包含向量(如列表)的 pandas series 或 dataframe 进行逐行百分比变化(pct_change)计算,推荐使用 dataframe 作为中间结构以提升可读性、性能与健壮性,并提供简洁、可扩展的实现方案。
本文介绍如何对包含向量(如列表)的 pandas series 或 dataframe 进行逐行百分比变化(pct_change)计算,推荐使用 dataframe 作为中间结构以提升可读性、性能与健壮性,并提供简洁、可扩展的实现方案。
在数据分析中,常需对每行代表一个特征向量(例如时间序列快照、嵌入向量或传感器多通道读数)的数据进行相对变化分析。若原始数据以 pd.Series 形式存储嵌套列表(如 [[1,2,3], [4,5,6], [7,8,9]]),直接对“行间向量”做逐元素百分比变化(即当前行各元素除以下一行对应元素后减 1),容易陷入嵌套循环或冗余列表推导,既低效又易出错。
核心原则:避免在 Series 中存储可变对象(如 list)
Pandas 并非为处理「Series of lists」而优化——这类结构丧失向量化能力、无法利用底层 NumPy 运算,且 pct_change() 等方法默认不支持嵌套结构。正确做法是先展开为标准二维 DataFrame,再调用原生向量化方法。
✅ 推荐方案(两步法,清晰高效):
import pandas as pd # 原始数据:Series of lists a = pd.Series([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) # Step 1: 转为 DataFrame(自动按列展开) df = pd.DataFrame(a.tolist()) # 0 1 2 # 0 1 2 3 # 1 4 5 6 # 2 7 8 9 # Step 2: 沿行方向计算「相对于下一行」的百分比变化(periods=-1) # 结果为 DataFrame,每单元格为 (current - next) / next pct_df = df.pct_change(periods=-1) # 0 1 2 # 0 -0.750000 -0.600 -0.500000 # 1 -0.428571 -0.375 -0.333333 # 2 NaN NaN NaN # Step 3(可选):若必须返回 Series of lists result_series = pct_df.agg(list, axis=1) # 0 [-0.75, -0.6, -0.5] # 1 [-0.4285714285714286, -0.375, -0.3333333333333... # 2 [nan, nan, nan] # dtype: object
? 关键参数说明:
- pct_change(periods=-1) 表示用 row[i] 相对于 row[i+1] 计算变化率(即 (x_i - x_{i+1}) / x_{i+1}),等价于 df.div(df.shift(-1)).sub(1),但更语义明确、数值稳定。
- agg(list, axis=1) 将每行聚合为 Python 列表,适用于需保持原始 Series 结构的下游任务(如 JSON 序列化)。但注意:此举会丢失向量化优势,应仅在必要时使用。
⚠️ 注意事项:
- 空值与边界处理:最后一行无“下一行”,结果自动为 NaN;若某列存在 0 或 None,对应位置将产生 inf、-inf 或 NaN,建议前置清洗:df.replace({0: pd.NA}).pct_change(-1)。
- 性能提示:对万级以上行数,避免 a.apply(lambda x: [...]) 或双重列表推导;DataFrame 展开 + 向量化操作通常快 10–100 倍。
- 类型安全:确保所有子列表长度一致,否则 pd.DataFrame(a.tolist()) 会报错;可用 assert all(len(x) == len(a.iloc[0]) for x in a) 验证。
? 总结:
不要对抗 Pandas 的设计范式。当数据本质是二维(N 行 × M 维向量)时,就该用 DataFrame 承载。通过 .tolist() → pd.DataFrame() → .pct_change() → .agg(list) 四步链式调用,即可在保持代码简洁性的同时,获得最佳性能与可维护性。这是处理“向量型时间序列变化率”的标准实践。










