spark开发中的Zip算子灵活使用

需要

本人开发中,需要聚合的文段
举个栗子:
RDD中有如下元素
k v
((a,b),List(7,8,9))
((a,b),List(1,2,3))
((a,b),List(4,5,6))
((c,d),List(4,5,6))
。。。。。。
reducebyke后要对v 操作
原理将v 中的list 前后zip 再map 每个元素进行 逐个元组元素(口,口)的累加。
a代表v的前一个元素,b代表v的后一个元素
如val a=List(7,8,9)
val b=List (1,2,3)
val k= a zip b =((7,1),(8,2)(9,3))
k map (tp=>tp._1+tp._2) ----- > (8,10,12)
如此循环 结果:
新RDD中的元素:
((a,b),List(12,15,18))
((c,d),List(4,5,6))
-----------------------------------------------分割符-----------------------------------
有兴趣了解更多知识,可以加关注我的个人大数据知识博客-大数据时空旅行者 《》《》《》《》

》》》》》》》》》》》》》》》》》》》》》》》》》》》》

你可能感兴趣的:(spark,scala,开发,spark-core)