自定义 Spark 操作符
自定义 Spark 操作符
要自定义操作符,您可以按照以下步骤进行:
- 根据 Spark documentation 编译支持 Kubernetes 的 Spark 发行版。
- 创建用于Spark的docker镜像,使用docker-image tool。
- 根据上述镜像创建一个新的操作符镜像。您需要在Dockerfile中修改
FROM标签以使用您的Spark镜像。 - 构建并推送您上面构建的操作员镜像。
- 通过修改 /manifest/spark-operator-install/spark-operator.yaml 文件并指定您的操作员镜像来部署新镜像。
Last modified June 22, 2024: 为spark-operator添加文档 (#3767) (b622672)