MapReduce运行过程略解

1,input --------> 2.map (map包括后面的sort,和combine)------------>3.sort------------------------------------>4.combine -------------------
             split                                                                setOutputKeyComparatorClass                    setCombinerClass(相同key合并) 
------> 5.partition ----------------------------------------------------------->6.Reduce -------------------------------------------------------------------------
 setPartitionClass(设置哪一个KEY由那个Reduce处理)             key分组排序(根据setSortComparatorClass对ke
------------------------------------------------------------------------------------------------------------------------------------------------------------->ouput
y分组构造迭代器)--> 组内排序(setGroupingComparatorClass()对key相同的组的值排序) ()1
   

你可能感兴趣的:(大数据学习)