MapTask

Task运行过程分析

2Task运行过程分析MapTask分解成Read、Map、Collect、Spill、Combine五个阶段，ReduceTask分解成Shuffle、Merge、Sort、Reduce、Write五个阶段
szjian·2013-12-03 09:00

Hadoop MapReduce之MapTask任务执行（四）

 Map任务执行完前会对spill文件进行合并操作，每次spill都会生成一个spill文件，在传向reduce前，map会把这些文件合并为一个文件，文件合并不是一次性把所有文件合并的，每次合并的个数可以通过参数io.sort.factor指定，当实际spill文件数量超过该值的时候，会生成相应的中间临时文件，总之，每次合并文件的数量不会超过io.sort.factor。文件合并由mergePar
lihm0_1·2013-11-23 14:00

Hadoop 故障：java.lang.OutOfMemoryError: Java heap space

一个作业运行时，在maptask阶段出现了如下错误：FATALorg.apache.hadoop.mapred.Child:Errorrunningchild:java.lang.OutOfMemoryError
lihm0_1·2013-11-19 14:00

[Hadoop源码解读]（六）MapReduce篇之MapTask类<转>

MapTask类继承于Task类，它最主要的方法就是run()，用来执行这个Map任务。 
yongjian_luo·2013-11-18 11:00

Hadoop MapReduce之MapTask任务执行（三）

 前面讲到KV的输出，会先写入KVbuffer，当buffer用完或达到一定比例的时候spillThread会将buffer中的数据写入磁盘，以便buffer重用，刷新过程并不是直接写入的，写入前会先进行一个排序操作，写入时会将一个partition的数据写在一起，并且会生成一个index文件作为标记文件。每次spill都会生成一个新的数据文件，数据文件和索引文件的结构图如下：      spil
lihm0_1·2013-11-16 13:00

Hadoop MapReduce Task Log 无法查看syslog问题

现象：由于多个maptask共用一个JVM，所以只输出了一组log文件datanode01:/data/hadoop-x.x.x/logs/userlogs$ls-R.
yangjun2·2013-11-14 19:00

Hadoop MapReduce之MapTask任务执行（二）

（为了简单起见，我们这里分析官方文档中使用的WordCount程序） 上一篇我们已经看到自己的map函数是如何被调用的，这是一个循环调用的过程，这里我们分析下，从KV读入到KV写出的过程，通常我们只要写map函数就可以了，但在一些特殊的情况下我们也可以覆盖run函数，来实现自己的执行流程。 这个例子中我们使用默认的InputFormat，在初始化的时候被初始化为TextInputFormat，循环
lihm0_1·2013-11-14 18:00

hadoop作业调优参数整理及原理

原文地址：http://www.tbdata.org/archives/1470hadoop作业调优参数整理及原理1Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算
lihm0_1·2013-11-12 14:00

MAP TASK内存泄露

这几天于遇到一个略诡异的CASE：线上报警一个MRJob的一个MAPTASK使用的物理内存过大，仔细一看超过了Xmx=1.3GB，而物理内存消耗到1.7GB，第一反应是不是遇到JVM内存泄露了.先对MAPTASK
MIKE老毕·2013-11-12 02:55

MAP TASK内存泄露

这几天于遇到一个略诡异的CASE：线上报警一个MRJob的一个MAPTASK使用的物理内存过大，仔细一看超过了Xmx=1.3GB，而物理内存消耗到1.7GB，第一反应是不是遇到JVM内存泄露了.先对MAPTASK
MIKE老毕·2013-11-12 02:55

Hadoop MapReduce之MapTask任务执行（一）

 前面我们介绍了作业的提交（客户端和服务端）、任务分解和调度、任务的启动，这些操作完成之后就是任务执行了，在hadoop中一个任务的执行是包含在一个单独的JVM中的，在任务启动阶段会生成一个shell（taskjvm.sh)，然后会通过ShellCommandExecutor类来执行这个脚本，底层通过ProcessBuiler来实现进程启动，那么在启动之后就是任务执行的部分，在执行时hadoop要
lihm0_1·2013-11-11 14:00

应用MapReduce制作压测利器

在MR编程体系下，一个job通常会把输入的数据集切分为若干块，由maptask以完全并行的方式处理消化这些数据块。框架会对map的输出先进行排序，然后把结果作为输入提交给reduce任务。
qileilove·2013-11-07 11:00

MapReduce源码注释-MapTask.MapOutputBuffer.Buffer

public class Buffer extends OutputStream { private final byte[] scratch = new byte[1]; public synchronized void write(int v) throws IOException { scratch[0] = (byte)v;
zqhxuyuan·2013-10-28 14:00

Hadoop MapTask / ReducerTask

学习MapTask的内部实现。                   
meiye·2013-10-14 08:00

Map/reduce 输出格式化

在运行mapTask或者reduceTask，输出的结果可能需要进行格式化才能满足我们的需求.hadoop提供了OutputFormat供我们转换使用。
xiaolang85·2013-10-11 14:00

Hadoop 初识之修改map task数和reduce task数

方法也是借鉴各种谷歌和实际实验经验整理的，希望能帮到需要的朋友maptask的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。
youngqj·2013-09-17 17:00

Job的map任务分配

在前面的博文中，我介绍了Job的调度以及Job的任务分解，但对于Job的调度我只是从宏观的角度作了详细的说明，而关于JobInProgress具体是如何给TaskTracker分配本地MapTask和非本地
LifeFighter·2013-09-06 22:05

hadoop作业调优参数整理及原理

1Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。
Daisy8867·2013-09-04 21:51

hadoop作业调优参数整理及原理

1Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。
Daisy8867·2013-09-04 21:51

Hadoop中Map任务的执行框架

www.linuxidc.com/Linux/2012-01/50854.htm)，我重点讲述了Task被TaskTracker调度执行的原理及过程，但是在详细的介绍执行Task的过程细节之前，我想先来认真的讨论一下MapTask
younglibin·2013-08-23 10:00

Hadoop中Map任务的执行框架

www.linuxidc.com/Linux/2012-01/50854.htm)，我重点讲述了Task被TaskTracker调度执行的原理及过程，但是在详细的介绍执行Task的过程细节之前，我想先来认真的讨论一下MapTask
younglibin·2013-08-23 10:00

MapReduce:详解Shuffle过程---map和reduce数据交互的关键

文章来源： http://langyu.iteye.com/blog/992916 Shuffle描述着数据从maptask输出到reducetask输入的这段过程。  
younglibin·2013-08-22 14:00

MapReduce:详解Shuffle过程---map和reduce数据交互的关键

文章来源： http://langyu.iteye.com/blog/992916 Shuffle描述着数据从maptask输出到reducetask输入的这段过程。  
younglibin·2013-08-22 14:00

Hive RCFile合并作业产生重复数据问题

看了下这个作业log，发现maptask000005起了两个taskattempt，第二个attempt是推测执行，并且这两个attemp都在taskclose函数里面重命名temp文件成正式文件，而不是通过
lalaguozhe·2013-06-14 18:00

Hive小文件合并调研

背景Hivequery将运算好的数据写回hdfs（比如insertinto语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask
lalaguozhe·2013-06-08 10:58

Hive小文件合并调研

背景Hivequery将运算好的数据写回hdfs（比如insertinto语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask
lalaguozhe·2013-06-08 10:00

Hadoop深入学习：MapTask详解

        在本节中，我们主要来学习MapTask的内部实现。                
flyingdutchman·2013-05-28 15:00

Hadoop深入学习：InputFormat组件

InputFormat主要用于描述输入数据的格式，提供了以下两个功能：       1）、数据切分，按照某个策略将输入数据且分成若干个split，以便确定MapTask的个数即Mapper的个数，在MapReduce
flyingdutchman·2013-05-26 22:00

Hadoop深入学习：Map Task和Reduce Task的执行流程

       本节我们主要看一下MapTask和ReduceTask的执行流程：       好了，接下来我们再看看MapTask和ReduceTask的一个完整的执行流程：       1）、TaskNode
flyingdutchman·2013-05-26 00:00

Hadoop深入学习：MapReduce作业的提交流程和作业的生命周期

一个标准的MapReduce作业的执行包括的流程是：代码编写——>作业配置——>作业提交——>MapTask的分配与执行——>处理中间结果(shuffle阶段)——>ReduceTask的分配与执行——
flyingdutchman·2013-05-25 23:00

Hadoop中的快速排序算法

阅读更多在Hadoop中，排序是MapReduce框架中最重要的操作之一，MapTask和ReduceTask都会对数据按照key排序，不管逻辑上是否真的需要排序，任何程序中的数据都会被排序，这是Hadoop
flyingdutchman·2013-05-22 15:00

关于mapreduce 的 shuffle ，partition，combiner

的过程中一直不能够完全准确的理解shuffle，partition，combiner的作用，其实简单来说：shuffle：是描述着数据从map端传输到reduce端的过程，而且我们知道的是hadoop的集群环境中，大部分maptask
qiaochao911·2013-05-06 10:00

将nutch源码配置到MyEclipse中出现java.lang.OutOfMemoryError: Java heap space错误

但是发现运行时出现了下面的错误，通过网上找答案发现时给程序分配的内存栈太小：java.lang.OutOfMemoryError:Javaheapspace atorg.apache.hadoop.mapred.MapTask
WitsMakeMen·2013-05-01 10:00

HADOOP MR架构分析（二） MapTask 和 ReduceTask

Child会根据Task的类型执行MapTask和ReduceTask，并借助Reflection来调用用户自定义的Mapper类，但用户自定义的Reducer类是直接调用的。                         
edward_li·2013-04-28 18:09

HADOOP MR架构分析（二） MapTask 和 ReduceTask

Child会根据Task的类型执行MapTask和ReduceTask，并借助Reflection来调用用户自定义的Mapper类，但用户自定义的Reducer类是直接调用的。                         
edward_li·2013-04-28 18:51

HADOOP MR架构分析（二） MapTask 和 ReduceTask

Child会根据Task的类型执行MapTask和ReduceTask，并借助Reflection来调用用户自定义的Mapper类，但用户自定义的Reducer类是直接调用的。                         
edward_li·2013-04-28 18:44

Hadoop JVM复用配置

Hadoop默认为每个task（maptask或者reducetask）启动一个jvm。
qiaochao911·2013-04-27 17:00

Hadoop错误一的解决猜测

org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)at org.apache.hadoop.mapred.MapTask
skywhsq1987·2013-04-26 10:00

mapreduce的shuffle，partition，combine

shuffle： 是描述着数据从map端传输到reduce端的过程，而且我们知道的是hadoop的集群环境中，大部分maptask和reducetask是在不同的node上执行，主要的开销是网络开销和磁盘
wisgood·2013-04-09 15:00

hadoop作业调优参数整理及原理

转自:http://www.csdn.net/article/2011-01-21/2906501Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时
wisgood·2013-04-09 15:00

hadoop mapreduce 解决 top K问题

这里顺便提及一下，一个maptask就是一个进程。有几个maptask就有几个中间文件，有几个reducetask就有几个最终输出文件。好了，这就好
月貘苏·2013-04-01 11:44

hadoop mapreduce 解决 top K问题

这里顺便提及一下，一个maptask就是一个进程。有几个maptask就有几个中间文件，有几个reducetask就有几个最终输出文件。好了，这就
Athenaer·2013-04-01 11:00

Hadoop中的DistributedCache

分布式缓存在MapReduce中称之为DistributedCache，它可以方便maptask之间或者reducetask之间共享一些信息，同时也可以将第三方包添加到其classpath路径中去。
Athenaer·2013-04-01 10:00

MapTask与ReduceTask深入分析与调优

1Map-sidetunning1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。
hxl123789·2013-03-11 15:00

Hadoop如何组织中间数据的存储和传输(源码级分析)2

Hadoop如何组织中间数据的存储和传输(源码级分析)1 解读了MapTask的整体执行流程，该文档将分析MapTask从内存缓冲区刷新到本地磁盘的过程。
hxl123789·2013-03-11 15:00

hadoop自定义inputformat源码

hadoop的inputformat包括他的子类reader是maptask读取数据的重要步骤 一、获得splits-mapper数 1. jobclinet的submitJobInternal，生成
blackproof·2013-02-17 18:00

hadoop自定义inputformat源码

hadoop的inputformat包括他的子类reader是maptask读取数据的重要步骤 一、获得splits-mapper数 1. jobclinet的submitJobInternal，生成
blackproof·2013-02-17 18:00

hadoop 作业调优参数整理及原理

1Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。
xrzs·2013-02-11 02:00

Hadoop MapReduce Job性能调优——修改Map和Reduce个数

maptask的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。InputSplit的大小，决定了一个Job拥有多少个map。
Athenaer·2013-01-30 15:00

MapReduce:Job性能调优总结

部分内容: ********************************* 硬件级别 提高磁盘IO的性能 noatime 我为两台slavesserver设置了noatime.vi/etc/fstab.maptask
xiaolang85·2013-01-22 18:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他