用户界面/截图¶
Airflow UI 让监控和排查数据管道问题变得简单。 以下是您可以在 Airflow UI 中找到的部分功能和可视化效果的快速概览。
DAGs 视图¶
列出您环境中的DAG列表,以及一组有用页面的快捷方式。
您可以一目了然地查看有多少任务成功、失败或当前正在运行。要隐藏已完成的任务,请设置show_recent_stats_for_completed_runs = False
为了筛选DAG(例如按团队),您可以在每个DAG中添加标签。 筛选条件会保存在cookie中,可以通过重置按钮清除。 例如:
dag = DAG("dag", tags=["team1", "sql"])
集群活动视图¶
将原生的Airflow仪表盘页面集成到用户界面中,用于收集多项有用的指标来监控您的Airflow集群。
数据集视图¶
当前数据集的综合列表以及展示它们如何被DAG生成和消费的关系图。
点击列表或图表中的任何数据集将高亮显示该数据集及其关联关系,并筛选列表以显示更新该数据集的任务实例的近期历史记录,以及是否触发了进一步的DAG运行。
网格视图¶
一个跨时间展示DAG的条形图和网格视图。 顶部行是按持续时间显示的DAG运行图表, 下方是任务实例。如果管道延迟, 您可以快速查看不同步骤的位置并识别 阻塞的步骤。
点击持续时间条选择DAG运行时,详情面板将更新:
或者通过点击状态框选择任务实例:
或者通过点击task_id来选择所有运行中的任务:
手动运行由播放图标表示(与触发DAG按钮相同)。 数据集触发的运行由数据库图标表示:
任务组由一个插入符号表示,可以展开或折叠:
映射任务以方括号表示,并会在映射任务面板中显示每个映射任务实例的表格:
图表视图¶
图形视图可能是最全面的。可视化您的DAG依赖关系及其特定运行时的当前状态。
日历视图¶
日历视图为您提供整个DAG数月甚至数年的历史概览,让您快速查看运行总体成功率/失败率随时间变化的趋势。
变量视图¶
变量视图允许您列出、创建、编辑或删除作业期间使用的键值对变量。如果键名包含('password', 'secret', 'passwd', 'authorization', 'api_key', 'apikey', 'access_token')中的任何词语,默认情况下该变量的值将被隐藏,但可以配置为显示明文。详见敏感数据掩码。
甘特图¶
甘特图可让您分析任务持续时间和重叠情况。您可以快速识别瓶颈以及特定DAG运行中大部分时间消耗的位置。
任务持续时间¶
过去N次运行中不同任务的持续时间。该视图可帮助您发现异常值,并快速了解在多次运行中DAG的时间消耗情况。
着陆时间¶
任务实例的着陆时间是DAG运行的数据间隔结束时间(通常表示DAG"应该"运行的时间)与DAG运行完成时间之间的差值。
代码视图¶
透明度至关重要。虽然您的流水线代码已纳入版本控制,但这是快速访问生成DAG的代码并提供更多上下文的高效方式。
触发器表单¶
如果您使用箭头按钮手动触发DAG运行,将会显示一个表单。该表单的显示基于Params中描述的DAG参数。
审计日志¶
查看与DAG相关的所有事件。通过更改任务和DAG运行选择以及包含/排除不同事件名称来筛选事件。