本文介绍如何使用 pandas 对具有层级依赖关系的 excel 表格（如“base → os → package”级联结构）进行智能填充与行过滤，仅保留有效数据行并继承上级字段值。
本文介绍如何使用 pandas 对具有层级依赖关系的 excel 表格（如“base → os → package”级联结构）进行智能填充与行过滤，仅保留有效数据行并继承上级字段值。
在实际数据处理中，常遇到一类「分层稀疏表」——例如产品配置清单、软件版本矩阵或系统部署记录，其中高阶字段（如 Base Version、OS）仅在首行显式填写，后续行通过空值隐式继承其逻辑归属。原始 DataFrame 呈现出典型的“级联占位”模式：Base Version 仅在组头出现，OS 在子组头出现，而 Package Name 才是真正承载业务数据的明细行。目标是将这种稀疏结构转换为规整的宽表形式：每条明细行都携带其完整上下文路径（Base + OS + Package），同时剔除纯占位行。
核心思路分为两步：识别有效明细行 → 向上继承上下文字段。关键在于明确“有效行”的判定依据：本例中，Package Name 列非空即代表该行为真实数据行（即叶子节点），其余列需据此反向填充其所属的上级维度。
以下为完整实现代码（含注释与最佳实践说明）：
import pandas as pd
import numpy as np
# 构造示例数据（模拟原始Excel导入效果）
df = pd.DataFrame({
'Base Version': ['A', np.nan, np.nan, np.nan, 'X', np.nan, np.nan, np.nan],
'OS': [np.nan, 'B', np.nan, np.nan, np.nan, 'Y', np.nan, np.nan],
'Package Name': [np.nan, np.nan, 'b-01.zip', 'b-02.zip', np.nan, np.nan, 'y-01.zip', 'y-02.zip'],
'Description': [np.nan, np.nan, 'description about B-01', 'description about B-02',
np.nan, np.nan, 'description about Y-01', 'description about Y-02'],
'Version': [np.nan] * 8
})
# 步骤1：标记有效数据行（以 Package Name 非空为判据）
mask_valid = df['Package Name'].notna()
# 步骤2：对 Base Version 和 OS 列执行前向填充（ffill），再按有效行索引切片，
# 并去重以确保每个组只取首个继承值（避免重复填充导致错位）
context_cols = ['Base Version', 'OS']
df[context_cols] = (
df[context_cols].ffill() # 全局前向填充，使每行获得最新上游值
.loc[mask_valid] # 仅保留有效数据行对应的位置
.drop_duplicates(keep='first') # 每组首次出现的上下文值即为该组基准
.reindex(df.index[mask_valid]) # 对齐原索引顺序（可选，增强鲁棒性）
)
# 步骤3：最终筛选——仅保留有效数据行
result_df = df[mask_valid].copy()
print(result_df)输出结果如下，完全符合预期目标：
Base Version OS Package Name Description Version 2 A B b-01.zip description about B-01 NaN 3 NaN NaN b-02.zip description about B-02 NaN 6 X Y y-01.zip description about Y-01 NaN 7 NaN NaN y-02.zip description about Y-02 NaN
⚠️ 注意事项与进阶提示：
- 填充顺序敏感性：ffill() 默认按行方向填充，务必确保原始数据中 Base Version 和 OS 的出现顺序与逻辑层级严格一致（即 Base 总在 OS 之前，OS 总在 Package 之前）。若列序混乱，需先重排列（df = df[['Base Version', 'OS', 'Package Name', ...]]）。
- 多级嵌套扩展：若存在更深的层级（如 Base → OS → Arch → Package），可将 context_cols 扩展为 ['Base Version', 'OS', 'Arch']，逻辑不变。
- 避免副作用：上述代码直接修改原 DataFrame。生产环境推荐使用 out = df.copy() 显式创建副本，再操作 out，保障数据安全性。
- 导出 Excel：调用 result_df.to_excel("cleaned_output.xlsx", index=False) 即可保存为标准 Excel 文件，支持后续人工复核或下游系统对接。
该方法兼具简洁性与健壮性，无需循环或复杂分组，充分利用 Pandas 的向量化操作，在千行级数据上毫秒级完成处理，是清洗此类“树状稀疏表”的标准范式。
