pyspark.RDD.barrier ¶
-
RDD.barrier( ) → pyspark.rdd.RDDBarrier [ T ] [source] ¶ -
将当前阶段标记为屏障阶段，其中Spark必须一起启动所有任务。 如果任务失败，Spark不仅会重新启动失败的任务，还会中止整个阶段并重新启动此阶段的所有任务。 屏障执行模式功能是实验性的，它仅处理有限的情况。 请阅读链接的SPIP和设计文档，以了解限制和未来计划。
新增于版本 2.4.0。
- Returns
-
-
RDDBarrier -
提供屏障阶段内操作的实例。
-
注释
欲了解更多信息，请参阅
此API为实验性