调度 Metaflow 流程
虽然 run 命令在开发过程中很方便,但在生产环境中不能手动不断执行它。一个传统的解决方案是使用基于时间的调度程序,比如 Cron,在设定的时间表上自动执行命令,但这种方法有许多严重的缺点:
如果运行 cron 的服务器出现故障怎么办?如果计划的命令失败了,你怎么知道它失败了?你如何查看它的错误日志?Cron 服务器是否有足够的容量来处理另一个命令?最重要的是,你应该如何协调多个命令的调度,以便正确处理它们之间的相互依赖?
Metaflow 目前集成了 Argo Workflows (一个现代的,基于 Kubernetes 的工作流协调器),AWS Step Functions (一个托管的通用协调器),以及 Apache Airflow (一个广泛知名的开源协调器),这些工具可以回答这些问题。
了解如何将您的 Metaflow 流部署到以下调度器的更多信息:
tip
请注意,您可以通过 Deployer API 以编程方式管理生产部署。