详解MapReduce过程

一.MapReduce工作流程图片如下

二.工作流程机制详解

1.TextInputFormat读取文件详细解析

TextInputFormat的源码注释为:

• 用于纯文本文件,文件会被分成几行,使用换行或回车来表示行尾.键是文件中的位置(每行的偏移量,会进行累加)，值是文本行。
• 其中有一个方法为返回一个LineRecordReader 字符编码以utf8格式传输
  我们发现TextInputFormat这个类继承自FileInputFormat，而FileInputFormat这个类实现了InputFormat接口

查看InputFormat接口的源码注释我们了解到这个接口的作用为:

• 1.验证作业的输入规格
• 2.将输入文件分成逻辑块(默认大小等于block的大小(通常为128M))，然后将每个逻辑文件分配给一个单独的Mapper
• 3.提供RecordReader接口,用于从逻辑块中收集输入记录，以供Mapper处理
• 4.通常是FileInputFormat子类(TextInputFormat)根据输入的总大小（以字节为单位）将输入拆分为逻辑块
• 5.输入文件的block块大小被视为输入拆分的上限,分割尺寸的下限可以通过设置配置文件来改变
• (mapred-default.xml文件的mapreduce.input.fileinputformat.split.minsize属性)
• 6.由于要遵守记录边界(物理分块是不管记录边界的),因此对于许多应用程序,基于输入大小的逻辑拆分是不够的,在这种情况下,应用程序还必须实现一个RecordReader类- - 它负责记录边界(一般是各种文件的换行符),并向单个任务提供逻辑切片的记录。

在InputFormat的源代码中有如下两个方法：

//获取切片(一个切片就是一个Mapper任务)数组
InputSplit[] getSplits(JobConf job, int numSplits) throws IOException;
//获取RecordReader
RecordReader<K, V> getRecordReader(InputSplit split,
                                     JobConf job, 
                                     Reporter reporter) throws IOException;

追踪FileInputFormat接口,切片方法如下:

  /** Splits files returned by {@link #listStatus(JobConf)} when they're too big.*/ 
  public InputSplit[] getSplits(JobConf job, int numSplits)
    throws IOException {
    //开启线程
    Stopwatch sw = new Stopwatch().start();
    //获取文件状态
    FileStatus[] files = listStatus(job);
    
    // 为了度量所有文件总长度,需要设置文件输入数和每个文件长度(job传的可能是一个目录,目录下有很多文件)
    job.setLong(NUM_INPUT_FILES, files.length);
    long totalSize = 0;                           // 计算文件总大小
    for (FileStatus file: files) {                
      if (file.isDirectory()) {					// 检查有效文件
        throw new IOException("Not a file: "+ file.getPath());
      }
      totalSize += file.getLen();
    }
//默认切片是block大小(128M)如果自己定义了切片的大小就按照设置参数来,所有文件大小/切片数-->就可以求得目标切片大小
    long goalSize = totalSize / (numSplits == 0 ? 1 : numSplits);
    //最小的切片大小只要不动配置文件参数默认是1,如果按设置了就按设置参数来
    long minSize = Math.max(job.getLong(org.apache.hadoop.mapreduce.lib.input.FileInputFormat.SPLIT_MINSIZE, 1), minSplitSize);
    // 生成切片步骤
    //准备一个文件切片的集合-->需要去看看文件切片的机制
    ArrayList<FileSplit> splits = new ArrayList<FileSplit>(numSplits);
    NetworkTopology clusterMap = new NetworkTopology();//网络拓扑,这个先不管
    for (FileStatus file: files) {
    	//文件路径(namenode会存储这些信息)
      Path path = file.getPath();
      //文件长度(namenode会存储这些信息)
      long length = file.getLen();
      if (length != 0) {
        FileSystem fs = path.getFileSystem(job);
        //获取文件的block块(只会获取一次完整文件的块(找到一个活的块就不会找他的备份))
        BlockLocation[] blkLocations;
        if (file instanceof LocatedFileStatus) {
          blkLocations = ((LocatedFileStatus) file).getBlockLocations();
        } else {
          blkLocations = fs.getFileBlockLocations(file, 0, length);
        }
        if (isSplitable(fs, path)) {
        	//获取block块大小(默认128M)
          long blockSize = file.getBlockSize();
          //计算切片大小:在(目标大小,最小大小(设置的参数),block块大小)中取中值的操作
          long splitSize = computeSplitSize(goalSize, minSize, blockSize);
          long bytesRemaining = length;
          //SPLIT_SLOP指的是切片的溢出系数为1.1
          //（每次切片时，都要判断切完剩下的部分是否大于块的 1.1倍，不大于 1.1 倍就划分一块切片）。 
          while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
          
            String[][] splitHosts = getSplitHostsAndCachedHosts(blkLocations,
                length-bytesRemaining, splitSize, clusterMap);
                //记录了路径,切片偏移量,切片大小等,加入文件切片的集合中
            splits.add(makeSplit(path, length-bytesRemaining, splitSize,
                splitHosts[0], splitHosts[1]));
                //切完一次剩余的切片大小
            bytesRemaining -= splitSize;
          }

          if (bytesRemaining != 0) {
            String[][] splitHosts = getSplitHostsAndCachedHosts(blkLocations, length
                - bytesRemaining, bytesRemaining, clusterMap);
            splits.add(makeSplit(path, length - bytesRemaining, bytesRemaining,
                splitHosts[0], splitHosts[1]));
          }
        } else {
          String[][] splitHosts = getSplitHostsAndCachedHosts(blkLocations,0,length,clusterMap);
          splits.add(makeSplit(path, 0, length, splitHosts[0], splitHosts[1]));
        }
      } else { 
        //Create empty hosts array for zero length files
        splits.add(makeSplit(path, 0, length, new String[0]));
      }
    }
    sw.stop();
    if (LOG.isDebugEnabled()) {
      LOG.debug("Total # of splits generated by getSplits: " + splits.size()
          + ", TimeTaken: " + sw.elapsedMillis());
    }
    //将集合转为数组
    return splits.toArray(new FileSplit[splits.size()]);
  }

追踪RecordReader接口,发现其功能为:

• 1.从一个逻辑块中读取键值对
• 2.它转换了从输入端的面向字节的视图到面向记录边界的视图
• 3.因此，它承担处理记录边界并为任务提供键和值的责任。

追踪InputSplit抽象类,查看注释发现其功能为:

• 1.一个切片代表了一个一个Mapper任务
• 2.通常，它在输入上呈现一个面向字节的视图,RecordReader负责处理这个视图并呈现一个面向记录的视图

因此我们知道这里切片只是一个逻辑划分,记录了一些切片信息
数据切片只是在逻辑上对输入数据进行分片，并不会在磁盘上将其切分成分片进行存储。
InputSplit 只记录了分片的元数据信息，比如起始位置、长度 以及所在的节点列表等
提交切片规划文件到Yarn上，Yarn上的 MrAppMaster 就可以根据切片规划文件计算开启 map task 个数
在map task的read阶段接受输入分片,根据RecordReader按照InputSplit 记录 的位置信息读取数据,会将一个分片处理成一行一行的数据即一个键值对键为行偏移量,值为文本数据

2.map端(注意map task 数量由切片数量决定)

• 1.我们知道map端的输入是上步的一个个键值对,会对每个键值对执行一次map方法,在map方法里根据业务需求转换成一个新的键值对
• 用context.write()方法写到OutputCollector中
• 注意:输入输出的键值对的类型必须都可序列化
• 2.再由OutputCollector将收集到的键值对写入到环形缓冲区中(默认100M)
• 1)因为环形缓冲区达到80%会自动清理即溢写,不会造成数组下标越界情况
• 2)环形缓冲区可使得内存使用最优,性能较好

'shuffle是MapReduce处理流程中的一个过程,他的每一个处理步骤是分散在各个map任务和reduce任务上完成的.整体看,有三个操作'
1)分区
2)Sort根据key排序
3)Combiner进行局部合并

• 3.需要注意的是溢写之前需要对数据分区排序,对环形缓冲区里面的每个键值对hash一个分区数,hash后分区相同值在同一个分区,
• 然后根据分区值和键两个关键字来升序排序,同一个分区内按照键排序(这就要求键类型实现的是WritableComparable接口)
• 4.将环形缓冲区排序后的内存数据不断写到本地磁盘中,可能会出现很多文件
• 5.多个文件会被merge合并成大文件,合并采用的是归并排序,最终文件还是分区且区内有序
• (这一步就是combiner,不一定要有,但是没有会增加网络传输和本地io压力)

3.reduce端

注意:
reduce task 的数量的决定是可以直接手动设置的并不一定和map task 数量相等,默认是1
如果分区数不是 1，但是 reducetask 为 1，是不执行分区操作的(执行分区之前会进行判断)

• 1.reduce task 根据自己的分区号,去各个map task 节点拷贝相同分区的数据到reduce task 本地磁盘工作目录
• 2.同一分区来自不同map端的多个文件会被merge合并成大文件,合并采用的是归并排序,大文件按照键有序
• 3.在合并成大文件后整个mapreduce的shuffle过程就结束了,后面进入到reduce逻辑运算过程
• 4.首先调用GroupingComparator对大文件里面的数据进行分组,每次取出一组键值对调用reduce方法进行业务处理
• 5.通过OutputFormat方法将结果数据写到part-r-00000的结果文件中去