用户界面/截图

Airflow UI 让监控和排查数据管道问题变得简单。 以下是您可以在 Airflow UI 中找到的部分功能和可视化效果的快速概览。

DAGs 视图

列出您环境中的DAG列表,以及一组有用页面的快捷方式。 您可以一目了然地查看有多少任务成功、失败或当前正在运行。要隐藏已完成的任务,请设置show_recent_stats_for_completed_runs = False

为了筛选DAG(例如按团队),您可以在每个DAG中添加标签。 筛选条件会保存在cookie中,可以通过重置按钮清除。 例如:

dag = DAG("dag", tags=["team1", "sql"])

_images/dags.png

集群活动视图

将原生的Airflow仪表盘页面集成到用户界面中,用于收集多项有用的指标来监控您的Airflow集群。


_images/cluster_activity.png

数据集视图

当前数据集的综合列表以及展示它们如何被DAG生成和消费的关系图。

点击列表或图表中的任何数据集将高亮显示该数据集及其关联关系,并筛选列表以显示更新该数据集的任务实例的近期历史记录,以及是否触发了进一步的DAG运行。


_images/datasets.png

网格视图

一个跨时间展示DAG的条形图和网格视图。 顶部行是按持续时间显示的DAG运行图表, 下方是任务实例。如果管道延迟, 您可以快速查看不同步骤的位置并识别 阻塞的步骤。


_images/grid.png

点击持续时间条选择DAG运行时,详情面板将更新:

_images/grid_run_details.png

或者通过点击状态框选择任务实例:

_images/grid_instance_details.png

或者通过点击task_id来选择所有运行中的任务:

_images/grid_task_details.png

手动运行由播放图标表示(与触发DAG按钮相同)。 数据集触发的运行由数据库图标表示:

_images/run_types.png

任务组由一个插入符号表示,可以展开或折叠:

_images/grid_task_group.png

映射任务以方括号表示,并会在映射任务面板中显示每个映射任务实例的表格:

_images/grid_mapped_task.png

图表视图

图形视图可能是最全面的。可视化您的DAG依赖关系及其特定运行时的当前状态。


_images/graph.png

日历视图

日历视图为您提供整个DAG数月甚至数年的历史概览,让您快速查看运行总体成功率/失败率随时间变化的趋势。


_images/calendar.png

变量视图

变量视图允许您列出、创建、编辑或删除作业期间使用的键值对变量。如果键名包含('password', 'secret', 'passwd', 'authorization', 'api_key', 'apikey', 'access_token')中的任何词语,默认情况下该变量的值将被隐藏,但可以配置为显示明文。详见敏感数据掩码


_images/variable_hidden.png

甘特图

甘特图可让您分析任务持续时间和重叠情况。您可以快速识别瓶颈以及特定DAG运行中大部分时间消耗的位置。


_images/gantt.png

任务持续时间

过去N次运行中不同任务的持续时间。该视图可帮助您发现异常值,并快速了解在多次运行中DAG的时间消耗情况。


_images/duration.png

着陆时间

任务实例的着陆时间是DAG运行的数据间隔结束时间(通常表示DAG"应该"运行的时间)与DAG运行完成时间之间的差值。


_images/landing_times.png

代码视图

透明度至关重要。虽然您的流水线代码已纳入版本控制,但这是快速访问生成DAG的代码并提供更多上下文的高效方式。


_images/code.png

触发器表单

如果您使用箭头按钮手动触发DAG运行,将会显示一个表单。该表单的显示基于Params中描述的DAG参数。


_images/trigger-dag-tutorial-form.png

审计日志

查看与DAG相关的所有事件。通过更改任务和DAG运行选择以及包含/排除不同事件名称来筛选事件。


_images/audit_log.png

这篇内容对您有帮助吗?