MapReduce面试题

MapReduce面试题

MR的核心思想

【分而治之】：把一个复杂的算法问题分为等价的规模较小的若干部分，然后找出各部分的解，最后把各部分的解组成整个问题的解。

适合进行计算一些各Map之间关联度不大或者没有关联度的数据

MR计算流程（八步走）

图解

原理

1. 封装输入组件，读取源数据
2. 【Map阶段】MapTask任务，负责拆分，将 k1,v1 => k2,v2，过程需要自定义
3. 【分区】表示该数据交给哪个Reduce处理
4. 【排序】默认按照字典排序，升序排列（a-z）
5. 【规约】用来优化MR程序，提高效率
6. 【分组】把K2相同的数据分配到一组，获得新的k2,v2的集合
7. 【Reduce阶段】ReduceTask任务，负责合并，将 k2,v2 => k3,v3，过程需要自定义
8. 封装输出组件，把结果k3,v3写到目的地文件中

MR执行原理（底层）

思维导图

图解

Map阶段

图解

原理

1. 【逻辑切片】将输入目录下的文件逐个进行逻辑切片。每一个切片由一个MapTask处理
2. 【读取切片数据获得k1和v1】读取切片的数据按照一定规则解析成。默认规则是把每一行文本内容解析成键值对，k1是每一行的起始偏移量，v1是行内容
3. 【使用map方法获得k2和v2】使用map方法根据具体业务要求将转换成。每次调用map方法会输出零个或多个键值对
4. 【分区】按照一定的规则对map方法输出的键值对进行分区。分区的数量就是Reducer任务运行的数量，默认只有一个Reducer任务，一个分区。
5. 【排序】对分区中的键值对进行排序。先按照键排序，键相同的则按照值排序
6. 【规约】（可能有，也可能没有此步骤）提前调用reduce()方法对局部数据进行合并（提前聚合 => Hive优化）

Reduce阶段

图解

原理

1. 【拉取分区数据】主动从MapTask拉取属于自己分区的数据，将其写到内存
2. 【排序】当内存触发溢写机制后，将内存中的数据写入到磁盘中形成小文件。最后全部小文件合并成大文件并执行排序操作
3. 【分组】调用reduce方法，把键值相同的放在同一组中进行合并（分组），最后将最终结果写到HDFS中