传感器

传感器是一种特殊类型的Operator,其设计目的非常单一——等待某件事情发生。它可以是基于时间的等待,或是等待文件、外部事件等,但它们所做的只是等待直到某件事情发生,然后成功以便其下游任务能够运行。

由于传感器主要处于空闲状态,它们有两种不同的运行模式,因此您可以更高效地使用它们:

  • poke (默认): 传感器在整个运行期间占用一个工作槽位

  • reschedule: 传感器仅在检查时占用一个工作槽位,在两次检查之间会休眠设定的时间间隔

在实例化传感器时可以直接配置pokereschedule模式;通常它们之间的权衡在于延迟。每秒检查的任务应使用poke模式,而每分钟检查的任务则应使用reschedule模式。

与Operators类似,Airflow提供了大量预构建的Sensors(传感器)可供使用,这些传感器既包含在核心Airflow中,也可以通过我们的providers(提供者)系统获取。

这篇内容对您有帮助吗?