本文详解如何在 Pandas 中对多代码（code）时间序列数据，按 code 分组对数值列（A/B/C）中 -1 进行前向填充（forward fill），确保每个时间点获取该 code 下最近的有效非 -1 值，避免跨组污染与时间错序。
本文详解如何在 pandas 中对多代码（code）时间序列数据，按 `code` 分组对数值列（a/b/c）中 `-1` 进行前向填充（forward fill），确保每个时间点获取该 code 下最近的有效非 `-1` 值，避免跨组污染与时间错序。
在处理金融、IoT 或日志类时间序列数据时，常遇到“占位符缺失值”（如用 -1 表示暂无有效读数）。若需按时间顺序为每个 code 独立维护状态（例如传感器 A/B/C 的最新有效值），关键在于：前向填充必须以 code 为逻辑分组单位，并严格遵循各组内 calendardate 的时间先后顺序。错误地按 calendardate 分组（如原尝试中 groupby('calendardate')）会打乱同一 code 的时间连续性，导致填充失效；而忽略分组直接全局 ffill() 则会造成不同 code 间值污染。
✅ 正确实现步骤
- 将 -1 统一替换为 pd.NA（推荐）或 np.nan：确保 Pandas 识别其为缺失值，支持原生 ffill()；
- 按 code 分组后，对目标列（A, B, C）执行 ffill()：保证填充仅发生在同一 code 的时间序列内部；
- 最后按 calendardate 排序输出：还原时间轴顺序，便于遍历或可视化。
以下是完整可运行示例：
import pandas as pd
import numpy as np
# 构造示例数据
data = {
'code': ['A1', 'A1', 'A1', 'A1', 'A1', 'A1', 'B1', 'B1', 'B1', 'B1'],
'calendardate': [
'2024-02-29 09:00:00', '2024-02-29 09:05:00', '2024-02-29 09:10:00', '2024-02-29 09:15:00',
'2024-02-29 09:20:00', '2024-02-29 09:25:00', '2024-02-29 09:00:00', '2024-02-29 09:05:00',
'2024-02-29 09:10:00', '2024-02-29 09:15:00'
],
'A': [10, -1, 20, -1, 30, 40, 50, -1, -1, 60],
'B': [-1, 15, -1, 25, -1, 35, -1, 45, -1, -1],
'C': [-1, -1, -1, 35, -1, -1, -1, -1, 55, 65]
}
df = pd.DataFrame(data)
df['calendardate'] = pd.to_datetime(df['calendardate'])
# ✅ 核心操作：按 code 分组 + 替换 -1 为 NA + 前向填充 + 按时间排序
cols = ['A', 'B', 'C']
df[cols] = df.replace(-1, pd.NA).groupby('code')[cols].ffill()
df = df.sort_values('calendardate').reset_index(drop=True)
# 遍历输出（符合预期）
for _, row in df.iterrows():
print(f"Datetime: {row['calendardate']}")
print(f"Code: {row['code']}")
print(f"A: {row['A']}, B: {row['B']}, C: {row['C']}")
print("-" * 30)? 输出验证要点：
- A1 在 09:05:00 时 A=10.0（继承 09:00:00 的值），B=15.0（自身首次有效），C=NaN（此前无有效值）；
- B1 在 09:10:00 时 C=55.0（来自同组前序 09:10:00 行），而非 A1 的 35 —— 体现分组隔离性。
⚠️ 注意事项与最佳实践
- 务必先 replace(-1, pd.NA) 再 ffill()：直接对 -1 调用 ffill() 无效，因 -1 是有效数值而非缺失标识；
- groupby('code') 不可省略或误写为 groupby('calendardate')：后者将所有相同时间戳的行强行归为一组（含不同 code），破坏业务逻辑；
- 无需显式 sort_values() 分组内：groupby().ffill() 默认按原始索引顺序处理，但最终需按 calendardate 全局排序以保证时间一致性；
- 空值处理兼容性：若原始数据已含 NaN，建议统一用 df.replace({-1: pd.NA}) 避免歧义；
- 性能提示：对大数据集，此操作为向量化计算，远快于 iterrows() + 手动循环判断。
通过以上方法，你即可稳健、高效地实现多实体时间序列中的条件前向填充，为后续分析、特征工程或实时看板提供干净、时序一致的数据基础。
