• 首页
• 编写与调度

编写与调度

在这里您可以找到关于高级编写和调度airflow DAGs的详细文档。 建议您首先查阅核心概念部分的内容。

创作

• 插件
  • 用途是什么？
  • 为什么基于Airflow构建？
  • 插件何时（重新）加载？
  • 界面
  • 示例
  • 从CSRF保护中排除视图
  • 将插件作为Python包
  • 自动重新加载的Web服务器
  • 故障排除
• 可延迟操作符与触发器
  • 使用可延迟操作符
  • 编写可延迟操作符
  • 高可用性
  • 传感器中Mode='reschedule'与Deferrable=True的区别
• DAG文件处理
• 序列化
  • Airflow Object
• Connections & Hooks
  • Hooks
  • 自定义连接
• 动态任务映射
  • 简单映射
  • 与非TaskFlow操作符的映射
  • 为非TaskFlow操作符分配多个参数
  • 映射任务组
  • 从映射任务中筛选项目
  • 转换扩展数据
  • 合并上游数据（又称“zipping”）
  • 连接多个上游节点
  • 哪些数据类型可以扩展？
  • 模板化字段和映射参数如何交互？
  • 对映射任务设置限制
  • 自动跳过零长度映射

调度

• Cron与时间间隔
  • Cron 预设
• 时区
  • Web UI
  • 概念
  • 支持时区的DAGs
• 数据感知调度
  • 快速入门
  • 什么是“数据集”？
  • 什么是有效的URI？
  • 数据集额外信息
  • 如何在您的DAG中使用数据集
  • 多数据集
  • 为数据集发射事件附加额外信息
  • 从先前发出的数据集事件中获取信息
  • 从触发数据集事件中获取信息
  • 通过REST API操作队列中的数据集事件
  • 使用条件表达式进行高级数据集调度
  • 示例用法
  • 通过DatasetAlias动态触发数据事件并创建数据集
  • 结合数据集与基于时间的调度
• 时间表
  • 内置时间表
  • 时间表对比

上一页 下一步

这篇内容对您有帮助吗？