0

0

Airflow 中“Last Run Time”与实际执行时间不一致的原因解析

花韻仙語

花韻仙語

发布时间:2026-01-06 20:45:18

|

698人浏览过

|

来源于php中文网

原创

Airflow 中“Last Run Time”与实际执行时间不一致的原因解析

airflow web ui 显示的“last run time”实际指任务数据区间(data interval)的起始时间,而非任务真正触发或完成的时间点;日志和 dag 详情页中显示的时间则对应数据区间的结束时间,二者天然相差一个调度周期(如 hourly dag 相差 1 小时)。

在 Apache Airflow 中,“Last Run Time”这一字段常被误解为 DAG 最近一次实际执行开始或完成的时间,但其真实含义是该次调度所对应 data interval 的起始时间(data_interval_start)。而你在 DAG 详情页、任务日志及运行记录中看到的时间戳(例如 2024-05-01T09:00:00+00:00),绝大多数情况下反映的是 data_interval_end —— 即该次调度所处理的数据时间窗口的结束时刻。

以一个 schedule_interval='@hourly' 的 DAG 为例:

  • 它会在 2024-05-01T09:00:00 触发一次运行,
  • 但这次运行处理的是 [2024-05-01T08:00:00, 2024-05-01T09:00:00) 区间的数据
  • 因此:
    • data_interval_start = 2024-05-01T08:00:00 → 显示为 “Last Run Time”(UI 摘要页)
    • data_interval_end = 2024-05-01T09:00:00 → 显示为任务实例时间、日志时间、DAG 运行时间戳

这是 Airflow 的核心设计原则,并非 Bug,而是为了明确区分「处理哪段数据」与「何时处理这段数据」。自 Airflow 2.2 起,UI 已逐步强化对 data_interval_start / data_interval_end 的显式标注(如 DAG Run 页面顶部时间栏会同时显示两者)。

✅ 验证方式(在 DAG 中打印上下文):

故事AI绘图神器
故事AI绘图神器

文本生成图文视频的AI工具,无需配音,无需剪辑,快速成片,角色固定。

下载
def print_interval(**context):
    print("Data Interval Start:", context["data_interval_start"])
    print("Data Interval End:  ", context["data_interval_end"])
    print("Execution Date (deprecated):", context["execution_date"])  # 已弃用,等价于 data_interval_start

task = PythonOperator(
    task_id="debug_interval",
    python_callable=print_interval,
    dag=dag
)

⚠️ 注意事项:

  • execution_date 在 Airflow 2.2+ 中已被标记为 deprecated,应统一使用 data_interval_start;
  • 所有调度逻辑(如 {{ ds }}, {{ ts }}, {{ next_ds }} 等 Jinja 模板变量)均基于 data_interval 计算,而非系统当前时间;
  • 若需获取任务实际触发时间,请使用 context['dag_run'].start_date(即 DAG Run 创建时间),但它可能因调度延迟而晚于 data_interval_end。

简言之:“Last Run Time”不是“最后跑的时间”,而是“最后跑的那个数据窗口从什么时候开始”。 理解 data interval 是掌握 Airflow 时间语义的关键起点。

相关专题

更多
apache是什么意思
apache是什么意思

Apache是Apache HTTP Server的简称,是一个开源的Web服务器软件。是目前全球使用最广泛的Web服务器软件之一,由Apache软件基金会开发和维护,Apache具有稳定、安全和高性能的特点,得益于其成熟的开发和广泛的应用实践,被广泛用于托管网站、搭建Web应用程序、构建Web服务和代理等场景。本专题为大家提供了Apache相关的各种文章、以及下载和课程,希望对各位有所帮助。

408

2023.08.23

apache启动失败
apache启动失败

Apache启动失败可能有多种原因。需要检查日志文件、检查配置文件等等。想了解更多apache启动的相关内容,可以阅读本专题下面的文章。

930

2024.01.16

Java JVM 原理与性能调优实战
Java JVM 原理与性能调优实战

本专题系统讲解 Java 虚拟机(JVM)的核心工作原理与性能调优方法,包括 JVM 内存结构、对象创建与回收流程、垃圾回收器(Serial、CMS、G1、ZGC)对比分析、常见内存泄漏与性能瓶颈排查,以及 JVM 参数调优与监控工具(jstat、jmap、jvisualvm)的实战使用。通过真实案例,帮助学习者掌握 Java 应用在生产环境中的性能分析与优化能力。

19

2026.01.20

PS使用蒙版相关教程
PS使用蒙版相关教程

本专题整合了ps使用蒙版相关教程,阅读专题下面的文章了解更多详细内容。

61

2026.01.19

java用途介绍
java用途介绍

本专题整合了java用途功能相关介绍,阅读专题下面的文章了解更多详细内容。

87

2026.01.19

java输出数组相关教程
java输出数组相关教程

本专题整合了java输出数组相关教程,阅读专题下面的文章了解更多详细内容。

39

2026.01.19

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

10

2026.01.19

xml格式相关教程
xml格式相关教程

本专题整合了xml格式相关教程汇总,阅读专题下面的文章了解更多详细内容。

13

2026.01.19

PHP WebSocket 实时通信开发
PHP WebSocket 实时通信开发

本专题系统讲解 PHP 在实时通信与长连接场景中的应用实践,涵盖 WebSocket 协议原理、服务端连接管理、消息推送机制、心跳检测、断线重连以及与前端的实时交互实现。通过聊天系统、实时通知等案例,帮助开发者掌握 使用 PHP 构建实时通信与推送服务的完整开发流程,适用于即时消息与高互动性应用场景。

19

2026.01.19

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 8.7万人学习

Django 教程
Django 教程

共28课时 | 3.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号