spark的RDD操作对key值操作的探索

Spark中有许多中创建键值对RDD的方式，其中包括

• 读取时直接返回键值对RDD
• 普通RDD转换成键值对RDD

1、在Scala中，可通过Map函数生成二元组

val listRDD = sc.parallelize(List(1,2,3,4,5))
val result = listRDD.map(x => (x,1))
result.foreach(println)

2、 键值对RDD的转化操作

函数名	目的	示例	结果
reduceByKey(f)	合并具有相同key的值	rdd.reduceByKey( ( x,y) => x+y )	{ (1,2) , (3,10) }
groupByKey()	对具有相同key的值分组	rdd.groupByKey()	{ (1,2) , (3, [4,6] ) }
mapValues(f)	对键值对中的每个值(value)应用一个函数，但不改变键(key)	rdd.mapValues(x => x+1)	{ (1,3) , (3,5) , (3,7) }
※combineBy Key( createCombiner, mergeValue, mergeCombiners, partitioner)	使用不同的返回类型合并具有相同键的值	下面有详细讲解	-
flatMapValues(f)	对键值对RDD中每个值应用返回一个迭代器的函数，然后对每个元素生成一个对应的键值对。常用语符号化	rdd.flatMapValues(x => ( x to 5 ))	{ (1, 2) ,  (1, 3) ,   (1, 4) , (1, 5) ,  (3, 4) , (3, 5) }
keys()	获取所有key	rdd.keys()	{1,3,3}
values()	获取所有value	rdd.values()	{2,4,6}
sortByKey() rdd本身可以看成数组？若是这样做会发生什么问题？	根据key排序	rdd.sortByKey()	{ (1,2) , (3,4) , (3,6) }