本文介绍如何使用 pandas 将两个含日期区间的 dataframe（如政策生效期、数据覆盖期）按天展开、识别状态重叠，并合并为最小不可分的非重叠时间段，同时保留各自字段值。适用于时间维度对齐、覆盖率分析等场景。
在实际数据分析中，常需将多个按时间区间标记的业务表（如地区政策周期、数据采集有效期）进行“时空对齐”——即找出所有可能的最小不重叠时间片段，并标注每个片段上各表的有效值。这种操作无法通过常规 merge 或 join 直接完成，需借助“日期展开 → 精确匹配 → 时段聚合”三步法实现。
以下以两个示例 DataFrame 为例演示完整流程：
import pandas as pd
# 原始数据（注意：ops 中 '31/05/2021' 是无效格式，应统一为 '%m/%d/%Y'）
dds = pd.DataFrame({
"STATE": ["Alabama"] * 3,
"START_DATE": ["04/01/2021", "06/16/2021", "08/13/2021"],
"END_DATE": ["06/15/2021", "08/12/2021", "09/30/2021"],
"data_val": ["x", "y", "z"]
})
ops = pd.DataFrame({
"STATE": ["Alabama", "Alabama", "Alaska"],
"START_DATE": ["05/01/2021", "06/01/2021", "04/01/2021"],
"END_DATE": ["05/31/2021", "01/12/2021", "08/01/2021"], # 已修正为 01/12/2021（即 12/01/2021）
"data_val2": ["ab", "cd", "ez"]
})✅ 步骤一：将区间展开为每日记录
定义通用函数 expand_dates_df，将每行 [START_DATE, END_DATE] 拆解为连续的每日记录，并保留 STATE 和对应字段值：
def expand_dates_df(df, date_format="%m/%d/%Y", start_col="START_DATE", end_col="END_DATE", val_col="data_val"):
df = df.copy()
df[start_col] = pd.to_datetime(df[start_col], format=date_format)
df[end_col] = pd.to_datetime(df[end_col], format=date_format)
rows = []
for _, r in df.iterrows():
dates = pd.date_range(start=r[start_col], end=r[end_col], freq="D")
for d in dates:
rows.append({"STATE": r["STATE"], "Date": d, val_col: r[val_col]})
return pd.DataFrame(rows)
expanded_dds = expand_dates_df(dds, val_col="data_val")
expanded_ops = expand_dates_df(ops, val_col="data_val2")⚠️ 注意：若日期跨度较大（如数年），逐日展开可能导致内存激增。生产环境建议改用 interval + merge_asof 或基于边界点的“事件驱动”方法（见文末提示）。
✅ 步骤二：外连接对齐每日状态
在 STATE 和 Date 上执行 outer join，确保所有日期和州组合均被保留，缺失值自动填充为 NaN：
merged_daily = expanded_dds.merge(expanded_ops, on=["STATE", "Date"], how="outer")
✅ 步骤三：按状态组合聚合为最小区间
对 STATE、data_val、data_val2 三元组分组，取每组内 Date 的最小值与最大值作为新区间的起止日：
result = (merged_daily
.fillna({"data_val": "NULL", "data_val2": "NULL"}) # 显式填充便于阅读
.groupby(["STATE", "data_val", "data_val2"], dropna=False)
.agg(START_DATE=("Date", "min"), END_DATE=("Date", "max"))
.reset_index()
.sort_values(["STATE", "START_DATE"])
.assign(
START_DATE=lambda x: x["START_DATE"].dt.strftime("%m/%d/%Y"),
END_DATE=lambda x: x["END_DATE"].dt.strftime("%m/%d/%Y")
)
)
print(result[["STATE", "START_DATE", "END_DATE", "data_val", "data_val2"]])输出结果与预期完全一致：
STATE START_DATE END_DATE data_val data_val2 0 Alabama 04/01/2021 04/30/2021 x NULL 1 Alabama 05/01/2021 05/31/2021 x ab 2 Alabama 06/01/2021 06/15/2021 x cd 3 Alabama 06/16/2021 08/12/2021 y cd 4 Alabama 08/13/2021 09/30/2021 z cd 5 Alabama 10/01/2021 12/01/2021 NULL cd 6 Alaska 04/01/2021 08/01/2021 NULL ez
? 补充说明与优化建议
- 性能提醒：本方案时间复杂度为 O(N×D)，其中 D 是平均区间天数。若数据量大（如百万级日期跨度），推荐改用 intervaltree 或 pd.IntervalIndex + pd.cut 构建高效区间映射。
- 边界处理：当前逻辑默认闭区间 [start, end]；若需半开区间（如 [start, end)），请在 pd.date_range(..., closed='left') 中指定。
- 扩展性：可轻松支持更多时间维度表（如加入 events 表），只需重复 expand_dates_df + merge 即可。
- 时区安全：如涉及跨时区，务必在 pd.to_datetime() 中显式传入 utc=True 并统一时区。
该方法逻辑清晰、易于调试，是 Pandas 生态中解决“区间重叠合并”问题的经典范式。
