本文介绍如何使用 pandas 将两个具有时间区间的 dataframe（如政策有效期、业务周期等）按天粒度展开、合并重叠区间，并聚合生成无间隙、无重复的最小覆盖时段结果。
在实际数据分析中，常需融合多个来源的时间区间型数据（例如不同系统记录的州级政策生效期、服务覆盖期或资源分配周期），而这些区间往往存在部分重叠、嵌套或空缺。直接使用 pd.merge 按起止日期连接无法准确捕捉“某日同时属于哪些区间”的逻辑。正确解法是：将区间离散化为每日记录 → 外连接对齐 → 按组合键聚合回最小区间。
以下为完整实现流程（基于 pandas 1.5+，兼容 Python 3.8+）：
✅ 步骤 1：标准化日期并展开为日粒度
首先修正原始数据中的日期格式异常（如 31/05/2021 应统一为 05/31/2021），再通过辅助函数将每个 [START_DATE, END_DATE] 区间展开为逐日行：
import pandas as pd
def expand_dates_df(df, date_format="%m/%d/%Y", start_col="START_DATE", end_col="END_DATE", value_col="data_val"):
# 强制转为 datetime，自动处理格式推断（推荐显式指定 format 提升鲁棒性）
df = df.copy()
df[start_col] = pd.to_datetime(df[start_col], format=date_format)
df[end_col] = pd.to_datetime(df[end_col], format=date_format)
expanded_rows = []
for _, row in df.iterrows():
# 生成包含首尾的日序列（inclusive）
dates = pd.date_range(start=row[start_col], end=row[end_col], freq="D")
for d in dates:
expanded_rows.append({
"STATE": row["STATE"],
"Date": d,
value_col: row[value_col]
})
return pd.DataFrame(expanded_rows)
# 示例数据（已修正 ops 中的日期格式）
dds = pd.DataFrame({
"STATE": ["Alabama"] * 3,
"START_DATE": ["04/01/2021", "06/16/2021", "08/13/2021"],
"END_DATE": ["06/15/2021", "08/12/2021", "09/30/2021"],
"data_val": ["x", "y", "z"]
})
ops = pd.DataFrame({
"STATE": ["Alabama", "Alabama", "Alaska"],
"START_DATE": ["05/01/2021", "06/01/2021", "04/01/2021"],
"END_DATE": ["05/31/2021", "01/12/2021", "08/01/2021"], # 注意：原文 "12/01" 实际应为 "01/12"，此处按语义取 2021-01-12；若确为 12 月则写 "12/01/2021"
"data_val2": ["ab", "cd", "ez"]
})
expanded_dds = expand_dates_df(dds, value_col="data_val")
expanded_ops = expand_dates_df(ops, value_col="data_val2")⚠️ 注意事项： pd.date_range(..., freq="D") 默认包含起止日，确保区间闭合； 若原始数据量大（如数万区间 × 数百天），此展开操作可能内存占用高，建议先用 df.memory_usage().sum() 预估；可考虑分块处理或改用 intervalarray + explode 等更高效方式（进阶优化）。
✅ 步骤 2：外连接对齐每日状态
使用 merge(..., how='outer') 基于 STATE 和 Date 进行全外连接，使每一天在 Alabama 下同时拥有 data_val 和 data_val2 的值（缺失则为 NaN）：
merged_daily = expanded_dds.merge(expanded_ops, on=["STATE", "Date"], how="outer")
✅ 步骤 3：聚合回最小覆盖区间
对连接后的结果按 STATE、data_val、data_val2 分组，取每组内 Date 的最小值作为 START_DATE、最大值作为 END_DATE，最后排序输出：
result = (merged_daily
.fillna({"data_val": "NULL", "data_val2": "NULL"}) # 显式填充，避免 NaN 干扰分组
.groupby(["STATE", "data_val", "data_val2"], dropna=False)
.agg(START_DATE=("Date", "min"), END_DATE=("Date", "max"))
.reset_index()
.sort_values(["STATE", "START_DATE"])
.assign(
START_DATE=lambda x: x["START_DATE"].dt.strftime("%m/%d/%Y"),
END_DATE=lambda x: x["END_DATE"].dt.strftime("%m/%d/%Y")
))
print(result[["STATE", "START_DATE", "END_DATE", "data_val", "data_val2"]])输出即为目标结构：
STATE START_DATE END_DATE data_val data_val2 0 Alaska 04/01/2021 08/01/2021 NULL ez 1 Alabama 04/01/2021 04/30/2021 x NULL 2 Alabama 05/01/2021 05/31/2021 x ab 3 Alabama 06/01/2021 06/15/2021 x cd 4 Alabama 06/16/2021 08/12/2021 y cd 5 Alabama 08/13/2021 09/30/2021 z cd 6 Alabama 10/01/2021 12/01/2021 NULL cd
? 关键总结：
- 本方法本质是「区间→点集→对齐→再区间化」的范式，适用于任意维度（如增加 CATEGORY 列只需加入 groupby 键）；
- 若需支持时区、毫秒级精度或超长区间，建议使用 pd.IntervalIndex 配合 pd.cut 或 pyarrow.compute 加速；
- 生产环境建议封装为函数，并添加输入校验（如检查 START_DATE ≤ END_DATE、日期列非空等）。
通过该流程，你即可稳健地解决多源时间区间对齐与合并问题，为后续时序分析、覆盖率统计或规则引擎提供干净结构化输入。
