自定义 Spark 操作符

自定义 Spark 操作符

要自定义操作符,您可以按照以下步骤进行:

  1. 根据 Spark documentation 编译支持 Kubernetes 的 Spark 发行版。
  2. 创建用于Spark的docker镜像,使用docker-image tool
  3. 根据上述镜像创建一个新的操作符镜像。您需要在Dockerfile中修改FROM标签以使用您的Spark镜像。
  4. 构建并推送您上面构建的操作员镜像。
  5. 通过修改 /manifest/spark-operator-install/spark-operator.yaml 文件并指定您的操作员镜像来部署新镜像。

反馈

此页面有帮助吗?