故障排除

难以捉摸的任务失败

任务状态被外部更改

任务的运行状态可能被执行器以外的组件更改,这有许多潜在原因,在查看任务实例或调度器日志时可能会引起一些困惑。

以下是一些可能导致任务状态被执行器以外的组件更改的示例场景:

LocalTaskJob 被终止

有时,Airflow 或某些相邻系统会终止任务实例的 LocalTaskJob,导致任务实例失败。

以下是一些可能导致此类事件的示例:

  • DAG运行超时时间,由DAG定义中的dagrun_timeout参数指定。

  • Airflow工作进程内存耗尽 - 通常情况下,内存耗尽的Airflow工作进程会收到SIGKILL信号并被调度器标记为僵尸进程且失败。但在某些情况下,Airflow会在这种情况发生前终止任务。

这篇内容对您有帮助吗?