MapTask

MapReduce源码分析之InputSplit分析

什么是InputSplit      InputSplit是指分片，在MapReduce当中作业中，作为maptask最小输入单位。
baolibin528·2015-03-16 14:00

hadoop MapReduce - 从作业、任务（task）、管理员角度调优

Combiner可减少MapTask中间输出的结果，从而减少各个ReduceTask的远程拷贝数据量，最终表现为MapTask和Redu
nysyxxg·2015-03-15 15:00

Storm实时计算：流操作入门编程实践

TopologyStorm中Topology的概念类似于Hadoop中的MapReduceJob，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt）的对象（HadoopMapReduce中一个Job包含一组MapTask
抓哇小王子·2015-03-13 09:06

hadoop1.0和hadoop2.0的区别

Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask
zhangxiong0301·2015-03-10 14:00

【Spark六十三】Hadoop MapReduce Task的进程模型与Spark Task的线程模型

Hadoop的MapReduce的MapTask和ReduceTask都是进程级别的；而SparkTask则是基于线程模型的。 
bit1129·2015-02-15 18:00

【Spark六十三】Hadoop MapReduce Task的进程模型与Spark Task的线程模型

Hadoop的MapReduce的MapTask和ReduceTask都是进程级别的；而SparkTask则是基于线程模型的。 
bit1129·2015-02-15 18:00

Hadoop CombineFileInputFormat实现原理及源码分析

这里的小文件通常指文件大小显著小于HDFSBlockSize的文件），其主要原因是因为FileInputFormat在为这些小文件生成切片的时候，会为每一个小文件生成一个切片，如果小文件数目众多，会导致大量的MapTask
demigelemiao·2015-02-09 21:00

【Spark三十三】Spark Sort based Shuffle

1.N个partition，会产生N个MapTask，如果不指定ReduceTask的个数，那么默认情况下，ReduceTask个数也为N2.N个partition，即N个MapTask，同时有N个ReduceTask
bit1129·2015-01-29 21:00

【Spark三十三】Spark Sort based Shuffle

N个partition，会产生N个MapTask，如果不指定ReduceTask的个数，那么默认情况下，ReduceTask个数也为N 2.
bit1129·2015-01-29 21:00

Hadoop中的NLineInputFormat

也就是说，TextInputFormat当一行很长或分片很小时，获取的分片很可能只包含很少的K-V对，这样一个MapTask处理的K-V对就很少，这是不太理想的。
lzm1340458776·2015-01-15 20:00

Hadoop中的KeyValueInputFormat

一：背景有时候，我们可以不以偏移量和行文本内容来作为数据源到MapTask的输入格式，而使用键值对的形式，使用KeyValueInputFormat就可以完成这种需求。
lzm1340458776·2015-01-15 20:00

Hadoop TextInputFormat源码分析

API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能：(1).数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask
lzm1340458776·2015-01-14 11:00

hadoop split

InputFormat主要用于描述输入数据的格式，它提供以下连个功能:数据切分：按照某个规则策略将输入的数据切分成若干个split，以便确定MapTask的个数以及对应的split；为Mapper提供输入数据
400·2015-01-12 14:00

MapReduce学习笔记 —— Map的中间结果

《Hadoop技术内幕——深入解析MapReduce架构设计与实现原理》（董西城著）一书中，第8章《Task运行过程分析》中第3小结详细介绍了MapTask的内部实现，过程如图所示：在Spill阶段，当环形缓冲区满后
sorcici·2015-01-07 16:57

关于Maptask任务单线程与多线程执行器解读

相比Mpareduce老版本的API，新版本的API在maptask执行map任务的接口设计上有比较大的改动。 
shenxiaoming77·2015-01-07 14:00

MapReduce源码分析之MapTask分析(二)

SpillThread分析为什么需要Spill内存大小总是有效，因此在Mapper在处理过程中，数据持续输出到内存中时，必然需要有机制能将内存中的数据换出，合理的刷出到磁盘上。SpillThread就是用来完成这部分工作。SpillThread的线程处理函数只是做一层封装，当索引表中的kvstart和kvend指向一样的索引位置时，会持续处于等待过程，等待外部通知需要触发spill动作，当有spi
Flood_Dragon·2015-01-05 11:00

MapReduce学习笔记 —— Map的中间结果

《Hadoop技术内幕——深入解析MapReduce架构设计与实现原理》（董西城著）一书中，第8章《Task运行过程分析》中第3小结详细介绍了MapTask的内部实现，过程如图所示：在Spill阶段，当环形缓冲区满后
武斌_小米·2014-12-25 00:00

hadoop MapReduce - 从作业、任务（task）、管理员角度调优

Combiner可减少MapTask中间
vieky·2014-12-10 22:00

hadoop作业调优参数整理及原理

hadoop作业调优参数整理及原理10/22.20131Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘
fz2543122681·2014-12-08 19:00

Hadoop map和reduce数量估算

Hadoop在运行一个mapreduce job之前，需要估算这个job的maptask数和reducetask数。
·2014-12-02 15:00

大数据框架hadoop的作业提交过程

作业初始化的主要工作是根据输入数据量和作业配置参数将作业分解成若干个MapTask以及ReduceTask，并添加到相关数据结构中，以等待后续被高度执行。
seandeng888·2014-12-02 09:00

hadoop map任务Combiner被调用的源码逻辑简要分析

 从MapTask类中分析下去，看一下map任务是如何被调用并执行的。 
brandNewUser·2014-11-29 17:00

hadoop map任务Combiner被调用的源码逻辑简要分析

阅读更多从MapTask类中分析下去，看一下map任务是如何被调用并执行的。
brandNewUser·2014-11-29 17:00

Storm实时计算：流操作入门编程实践

TopologyStorm中Topology的概念类似于Hadoop中的MapReduceJob，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt）的对象（HadoopMapReduce中一个Job包含一组MapTask
Yanjun·2014-11-28 05:00

Hadoop作业调优参数整理及原理

Hadoop作业调优参数整理及原理http://www.linuxidc.com/Linux/2012-01/51615.htm1Mapsidetuning参数1.1MapTask运行内部原理当maptask
SIMONE·2014-11-19 13:00

Map Task内部实现分析

首先要说，MapTask，分为4种，可能这一点上有人就可能知道了，分别是Job-setupTask，Job-cleanupTask，Task-cleanup和MapTask。前面3个都是辅助性质的任务
Android路上的人·2014-11-15 08:49

Map Task内部实现分析

首先要说，MapTask，分为4种，可能这一点上有人就可能知道了，分别是Job-setupTask，Job-cleanupTask，Task-cleanup和MapTask。前面3个都是辅助性
Androidlushangderen·2014-11-15 08:00

Hadoop源代码分析（MapTask辅助类 I）

首先我们来看MapTask中用的的Mapper输入，在类图中，这部分位于右上角。MapTask.TrackedRecordR
wangjin161·2014-11-12 12:00

MapReduce源码分析之MapTask分析

该章节会分析在MapTask端的详细处理流程以及MapOutputCollector是如何处理map之后的collect输出的数据。map端的主要处理流程图1MapTask处理流程   图1
wangjin161·2014-11-12 12:00

MapReduce源码分析之MapTask分析

该章节会分析在MapTask端的详细处理流程以及MapOutputCollector是如何处理map之后的collect输出的数据。map端的主要处理流程图1MapTask处理流程   图1
wangjin161·2014-11-11 15:00

MapReduce源码分析之架构分析1

至于MapTask/ReduceTask的原理分析，JobTra
wangjin161·2014-11-11 15:00

mapreduce核心Shuffle过程

2.maptask与reducetask的执行是否在不同的节点上？3.Shuffle产生的意义是什么？4.每个maptask都有
东方神剑·2014-11-09 18:00

hadoop作业调优参数整理及原理

文章出处：http://www.alidata.org/archives/14701Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘
wangjin161·2014-10-27 17:00

《Hadoop技术内幕》读书笔记——Task运行过程分析

任务执行进度hadoop采用简单的线性模型计算每个阶段的进度值，对于MapTask而言，作为一个大阶段不再分解，一般实用Reco
brandNewUser·2014-10-19 20:00

hadoop job调优

1Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。
mlljava1111·2014-10-15 20:00

Hadoop如何计算map数和reduce数(hive,hbase)

Hadoop在运行一个mapreducejob之前，需要估算这个job的maptask数和reducetask数。
mlljava1111·2014-10-13 22:00

hadoop的jvm重用

1 先让我们分析task在hadoop中Tasktracker的运行过程：我们知道每个job都是分割成多个task(由maptask和reducetask组成)来完成的,而每个task又是由TaskLauncher
hao707822882·2014-10-13 14:00

Mapper输入InputSplit分片数透析

什么是InputSplitInputSplit是指分片，在MapReduce当中作业中，作为maptask最小输入单位。
雪山飞狐·2014-09-26 00:00

【Hadoop】MapReduce笔记（三）：MapReduce的Shuffle和Sort阶段详解

即是说：Shuffle过程横跨 map和reduce两端，中间包含 sort阶段，就是数据从 maptask 输出到reducetask输入的这段过程。
DianaCody·2014-09-23 20:00

MapReduce - 性能调优

Combiner可减少MapTask中间输出的结果，从而减少各个ReduceTask的远程拷贝数据量，最终表现为MapTask和ReduceTask
张哲BJUT·2014-09-22 12:40

MapReduce - 性能调优

Combiner可减少MapTask中间输出的结果，从而减少各个ReduceTask的远程拷贝数据量，最终表现为MapTask和Re
Crazy__Programmer·2014-09-22 12:00

Hadoop性能调优--用户角度

程序编写规范（1）设置Combiner如果是一大批MR程序，如果可以设置一个Combiner，Combiner可减少MapTask中间输出结果，从而减少各个ReduceTask的远程拷贝数据量，最终表现为
u013361361·2014-09-10 06:00

Hadoop性能调优--用户角度

程序编写规范（1）设置Combiner如果是一大批MR程序，如果可以设置一个Combiner，Combiner可减少MapTask中间输出结果，从而减少各个ReduceTask的远程拷贝数据量，最终表现为
u013361361·2014-09-09 22:00

[置顶] MapReduce - 性能调优

Combiner可减少MapTask中间输出的结果，从而减少各个ReduceTask的远程拷贝数据量，最终表现为MapTask和Re
Crazy__Programmer·2014-09-03 16:00

MRv1的新旧API分别与MRv2的API兼容性分析

API兼容性分析1.基本概念   MRv1是Hadoop1.X中的MapReduce实现，它由编程模型（新旧编程接口）、运行时环境（由JobTracker和TaskTracker组成）和数据处理引擎（MapTask
zolalad·2014-09-01 16:00

hadoop作业调优参数整理及原理（主要为shuffle过程）

1Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。
闵开慧·2014-08-27 14:00

hadoop作业调优参数整理及原理

1Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。
随梦而飞01·2014-08-18 22:42

hadoop作业调优参数整理及原理

1Mapsidetuning参数1.1MapTask运行内部原理当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。
随梦而飞01·2014-08-18 22:42

MapReduce源码分析之MapTask分析(二)

SpillThread分析为什么需要Spill内存大小总是有效，因此在Mapper在处理过程中，数据持续输出到内存中时，必然需要有机制能将内存中的数据换出，合理的刷出到磁盘上。SpillThread就是用来完成这部分工作。SpillThread的线程处理函数只是做一层封装，当索引表中的kvstart和kvend指向一样的索引位置时，会持续处于等待过程，等待外部通知需要触发spill动作，当有spi
chlaws·2014-08-04 22:17

MapReduce源码分析之MapTask分析(二)

SpillThread分析为什么需要Spill        内存大小总是有效，因此在Mapper在处理过程中，数据持续输出到内存中时，必然需要有机制能将内存中的数据换出，合理的刷出到磁盘上。SpillThread就是用来完成这部分工作。        SpillThread的线程处理函数只是做一层封装，当索引表中的kvstart和kvend指向一样的索引位置时，会持续处于等待过程，等待外部通知需
chlaws·2014-08-04 22:00
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他