本文介绍如何在 pyspark 中构建复合窗口，同时满足“最近 n 行”和“最近 m 天”双重约束，通过 `collect_list` + `filter` 实现精准的历史结构化聚合。
在实际时序数据分析中，仅依赖固定行数（如 rowsBetween(-2, -1)）或纯时间范围（如 rangeBetween 配合 date 列）往往不够灵活——例如业务要求：“对每个记录，收集其前 2 条且日期不超过 10 天的历史记录”。PySpark 原生窗口不支持直接混合 rowsBetween 与时间条件，但可通过两阶段策略优雅解决：先用宽泛行窗口预聚合，再用 filter 表达式按时间动态裁剪。
核心思路如下：
- 构造结构化内容列：使用 struct('id', 'date', 'value') 将所需字段打包为嵌套结构，便于后续统一处理；
- 定义宽松行窗口：rowsBetween(-3, -1)（预留冗余行，确保覆盖可能的 2 行+边界情况），配合 orderBy('date') 和 partitionBy('id') 保证逻辑顺序；
- 后置时间过滤：利用 filter(history, x -> x.date >= date - interval 10 days) 动态剔除超期记录（注意：示例中为 interval 2 day 仅为演示，实际应改为 interval 10 days）；
-
结果格式化（可选）：若需输出为字符串形式（如 (1, 2023-05-01, 200)），可追加 transform + concat 或 UDF，但推荐保持 array
类型以利下游计算。
✅ 完整可运行代码（已修正为 10 天约束）：
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
from pyspark.sql.window import Window
from datetime import datetime
spark = SparkSession.builder.appName("window-history").getOrCreate()
# 示例数据（注意：date 使用 datetime 类型，确保 interval 计算准确）
df = spark.createDataFrame([
(1, datetime(2023, 1, 1), 100),
(1, datetime(2023, 5, 1), 200),
(1, datetime(2023, 5, 2), 300),
(1, datetime(2023, 5, 3), 400),
(1, datetime(2023, 5, 4), 500)
], ['id', 'date', 'value'])
# 两阶段窗口：先取最多前3行 → 再过滤掉超过10天的记录
result_df = (
df
.withColumn('content_struct', F.struct('id', 'date', 'value'))
.withColumn(
'history',
F.collect_list('content_struct').over(
Window.orderBy('date').partitionBy('id').rowsBetween(-3, -1)
)
)
.withColumn(
'history',
F.expr("filter(history, x -> x.date >= date - interval 10 days)")
)
)
result_df.select('id', 'date', 'value', 'history').show(truncate=False)⚠️ 关键注意事项：
- 时间类型必须为 TimestampType：若 date 是字符串，需先用 to_timestamp('date', 'yyyy-MM-dd') 转换，否则 interval 计算无效；
- rowsBetween 的负值含义：-3 表示当前行向上数第 3 行（含），-1 表示上一行，因此 (-3,-1) 实际捕获最多 3 行（倒序索引：-3,-2,-1）；为严格满足“最多 2 行”，可设为 (-2,-1) 并在 filter 后截断：.withColumn('history', F.slice('history', 1, 2))；
- 性能提示：filter 在 collect_list 后执行，属于 Catalyst 优化后的高效操作；但若数据量极大且时间窗口极宽，建议先用 where 预过滤分区数据；
- 空值安全：filter 对空数组返回空数组，无需额外 coalesce。
最终 history 列为 array
