本文介绍如何利用 pandas 对含哨兵值（-1000）的传感器数据进行智能分组，识别每段有效测量区间，计算其多列均值并写入新列（如 e 列），同时支持“仅当所有列均为有效值时才参与计算”的严格模式。
本文介绍如何利用 pandas 对含哨兵值（-1000）的传感器数据进行智能分组，识别每段有效测量区间，计算其多列均值并写入新列（如 e 列），同时支持“仅当所有列均为有效值时才参与计算”的严格模式。
在工业传感器或嵌入式设备采集的数据中，常以固定哨兵值（如 -1000）表示待机/无效状态。真实测量数据则夹在这些哨兵块之间，且每段有效数据的行数不固定。目标是：将连续非 -1000 的行视为一个逻辑组，对每组内所有有效行的指定列（A–D）求均值，并将该均值填入该组首行对应的 E 列；若某行所在组不满足“全列有效”条件，则 E 留空。
核心思路：基于哨兵值构建分组标识
关键在于将原始数据按 -1000 哨兵行自然切分。我们选用列 A 作为主哨兵判断依据（因其在示例中始终为 -1000 或有效值），通过布尔掩码与累积和生成唯一组 ID：
import pandas as pd
# 构造示例数据（与问题一致）
data = {
'A': [-1000, -1000, -1000, 1, 7, -1000, 3, 1, -1000, -1000],
'B': [-1000, -1000, -1000, 2, 10, -1000, 5, 11, -1000, -1000],
'C': [-1000, -1000, -1000, 3, 5, -1000, 9, 2, -1000, -1000],
'D': [-1000, -1000, -1000, 4, 6, -1000, 9, 10, -1000, -1000]
}
df = pd.DataFrame(data)
# 步骤1：标记哨兵行（以A列为基准）
cond = df['A'] == -1000
# 步骤2：生成组ID —— 每遇到一个非哨兵行，组号+1；哨兵行继承前一组号或为0
grp = (~cond).cumsum() # 更鲁棒：用 ~cond（非哨兵）累积，避免起始为0组歧义
# 步骤3：筛选出所有非哨兵行（即有效数据行）
valid_rows = df[~cond].copy()
# 步骤4：按组ID分组，对A-D列分别求均值，再对每组的列均值取行均值（即整体均值）
# 注意：此处 mean(axis=1) 是对每组内各列均值再平均，等价于「先拼接所有有效值，再全局平均」
group_means = valid_rows.groupby(grp)[['A', 'B', 'C', 'D']].mean().mean(axis=1)
# 步骤5：将结果映射回原DataFrame的'E'列（仅填入对应组的首行，其余留空）
df['E'] = None
for group_id, mean_val in group_means.items():
first_idx = valid_rows[valid_rows.index.isin(df[~cond].index) & (grp == group_id)].index[0]
df.loc[first_idx, 'E'] = round(mean_val, 2)运行后，df['E'] 将在第3行（索引3）填入 4.75，第6行（索引6）填入 6.25，其余为 None，完全匹配期望输出。
进阶需求：仅当整行全为有效值时才参与计算
问题补充提到：“有时某列是正数而其他列为 -1000，能否只在所有列都为正数时才计入平均？”——这要求更严格的过滤逻辑：
# 定义有效行：A、B、C、D 四列全部 > 0（排除 -1000 和负值）
valid_mask = (df[['A','B','C','D']] > 0).all(axis=1)
# 重新构建组ID：仅基于有效行位置（跳过所有含-1000的行）
grp_strict = valid_mask.cumsum()
# 提取严格有效的行并分组求均值
strict_means = df[valid_mask].groupby(grp_strict)[['A','B','C','D']].mean().mean(axis=1)
# 写入E列：仅在严格有效行的首行写入
df['E'] = None
for gid, val in strict_means.items():
first_valid_idx = df[valid_mask].groupby(grp_strict).apply(lambda x: x.index[0]).get(gid, None)
if first_valid_idx is not None:
df.loc[first_valid_idx, 'E'] = round(val, 2)此方案确保 E 列的每个值都源自真正完整的测量记录，杜绝因单列异常导致的统计偏差。
注意事项与最佳实践
- 哨兵列选择：若 A 列不稳定（如存在非 -1000 的待机值），建议改用 (df[['A','B','C','D']] == -1000).all(axis=1) 作为 cond，确保整行均为哨兵才切分。
- 空组处理：groupby(...).mean() 遇到空组会返回 NaN，需用 .dropna() 清洗。
- 性能优化：对百万级数据，避免多次 groupby；可一次性计算 df[valid_mask].assign(group_id=grp_strict) 后聚合。
- 扩展性：若需写入多列（如 E, F 分别存均值、标准差），直接修改 agg({'A': 'mean', 'B': 'std'}) 即可。
掌握这一模式，即可灵活应对各类基于哨兵值的时序数据分段分析任务。
