pyspark.RDD.lookup ¶

RDD. lookup ( key : K ) → List [ V ] [source] ¶

返回RDD中键 key 对应的值列表。如果RDD具有已知的分区器，则此操作可以高效地完成，只需搜索键映射到的分区即可。

新增于版本 1.2.0。

Parameters

key K: 查找的关键

Returns

list: 键 key 在 RDD 中的值列表

示例

           >>> l = range(1000)
>>> rdd = sc.parallelize(zip(l, l), 10)
>>> rdd.lookup(42)  # slow
[42]
>>> sorted = rdd.sortByKey()
>>> sorted.lookup(42)  # fast
[42]
>>> sorted.lookup(1024)
[]
>>> rdd2 = sc.parallelize([(('a', 'b'), 'c')]).groupByKey()
>>> list(rdd2.lookup(('a', 'b'))[0])
['c']

          

pyspark.RDD.本地检查点

pyspark.RDD.map