Map-Reduce Algorithm Design


记录: map-reduce  design  pattern 



Map-Reduce Algorithm Design_第1张图片

Map-Reduce Algorithm Design_第2张图片


初始化应该尽可能放到 configure中

Map-Reduce Algorithm Design_第3张图片

例子1.word count

Map-Reduce Algorithm Design_第4张图片

Map-Reduce Algorithm Design_第5张图片

优缺点:

Map-Reduce Algorithm Design_第6张图片

===================================

Combiner Design 

Map-Reduce Algorithm Design_第7张图片

(mean1+mean2)/cnt  = mean

Map-Reduce Algorithm Design_第8张图片combiner可能运行 也可能不运行

Map-Reduce Algorithm Design_第9张图片


=======================================================================


Map-Reduce Algorithm Design_第10张图片

Map-Reduce Algorithm Design_第11张图片

Map-Reduce Algorithm Design_第12张图片



新的思路:压缩pair


Map-Reduce Algorithm Design_第13张图片


两中方法的比较 stripes 较好的线性扩展性


机器数量的影响

Map-Reduce Algorithm Design_第14张图片


====================================================================

Map-Reduce Algorithm Design_第15张图片


Map-Reduce Algorithm Design_第16张图片


===============

Map-Reduce Algorithm Design_第17张图片

Map-Reduce Algorithm Design_第18张图片

==================================

总结:

Map-Reduce Algorithm Design_第19张图片


Map-Reduce Algorithm Design_第20张图片


摘录自:

Massive Data Processing/Cloud Computing 



你可能感兴趣的:(Map-Reduce Algorithm Design)