FileInputFormat

用CombineFileInputFormat处理小文件的mapreduce程序

FileInputFormat is a default implementation that de
刘小小尘·2012-04-13 16:00

关于mapreduce解析xml的方法

mapreduce的TextInputFormat很方便的处理行行的文本，但遇到xml的时候就很纠结了，曾经采用</property>分隔数据重写FileInputFormat（网上有资料）
lookqlp·2012-03-29 11:00

关于mapreduce解析xml的方法

mapreduce的TextInputFormat很方便的处理行行的文本，但遇到xml的时候就很纠结了，曾经采用</property>分隔数据重写FileInputFormat（网上有资料）
lookqlp·2012-03-29 11:00

Hadoop中FileInputFormat计算InputSplit的getSplits方法的流程

其实流程算起来也不算复杂，所以就直接用代码注释来做吧   这里边涉及这么几个方法： 1、public List<InputSplit> getSplits(JobContext job), 这个由客户端调用来获得当前Job的所有分片(split)，然后发送给JobTracker（新API中应该是ResourceManager），而JobTracker根据这些分片的
燮羽天翔·2012-03-24 22:00

hadoop-0.20.2-examples.jar grep 示例

.]+'10/06/2005:58:07INFOmapred.FileInputFormat:Totalinputpathstoprocess:1710/06/2005:58:08INFOmapred.JobClien
zhaogezhuoyuezhao·2012-03-07 15:00

hadoop-0.20.2-examples.jar grep 示例

.]+'10/06/2005:58:07INFOmapred.FileInputFormat:Totalinputpathstoprocess:1710/06/2005:58:08INFOmapred.JobClien
zhaogezhuoyuezhao·2012-03-07 14:00

MapReduce Map数 reduce数设置

JobConf.setNumMapTasks(n)是有意义的，结合blocksize会具体影响到map任务的个数，详见FileInputFormat.getSplits源码。
jingling_zy·2012-03-05 18:00

Hadoop源码的疑问

2nd》210页关于“TheRelationshipBetweenInputSplitsandHDFSBlocks”这部分也不是很理解，TextInputFormat的getSplits()会调用父类FileInputFormat
malik76·2011-12-15 21:00

Hadoop Map/Reduce 新API中自己的FileInputFormat写法

在看《HadoopinAction》时发现代码使用的是旧的API，且部分API已经标记为Deprecated。所以自己尝试着写了一个使用新API的例子来完成该代码的功能。数据格式如下："CITING","CITED"3858241,9562033858241,13242343858241,33984063858241,3557384...程序的目的是将所有数据的CITING和CITED值反过来输出
jokes000·2011-12-11 22:00

自定义hadoop map/reduce输入文件切割InputFormat 更改输入value的分隔符

hi.baidu.com/lzpsky/blog/item/99d58738b08a68e7b311c70d.htmlhadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInputFormat
codestinity·2011-12-01 21:00

Nutch1.3集成Solr3.4网页快照功能实现（二）

FileInputFormat.addInputPath(job,newPath(segment,ParseText.DIR_NAME));中仅处理了Segment文件夹下“parse_data”与“parse_text
william_xu·2011-11-23 13:04

Hadoop学习一

1、自定义输入类型（输出类型类似）基类：FileInputFormat实现方法getRecordReader实现自定义的RecordReader，方法：next，createKey，createValue
dy_252·2011-11-04 10:00

org.apache.hadoop.mapreduce.lib.input包分析

先上类图：FileInputFormat中比较重要的方法：listStatus：Listinputdirectories.getSplits：GeneratethelistoffilesandmakethemintoFileSplits
shuhuai007·2011-09-26 14:00

MapReduce Map数 reduce数设置

JobConf.setNumMapTasks(n)是有意义的，结合blocksize会具体影响到map任务的个数，详见FileInputFormat.getSplits源码。
wf1982·2011-08-09 15:00

自定义hadoop map/reduce输入文件切割InputFormat

       hadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat
eryk·2011-07-01 11:00

自定义InputFormat

今天就先来谈谈自定义的InputFormat 我们先来看看系统默认的TextInputFormat.java public class TextInputFormat extends FileInputFormat
king_tt·2011-03-05 13:00

FileInputFormat分析

一．程序简介在mapreduce程序运行的开始阶段，hadoop需要将待处理的文件进行切分，按定义格式读取等操作，这些操作都在InputFormat中进行。InputFormat是一个抽象类，他含有getSplits()和createRecordReader()抽象方法，在子类中必须被实现。这两个就是InputFormat的基本方法。getSplits()确定输入对象的切分原则，而则可以按一定格式
kirayuan·2010-12-17 10:00

浅谈MapReduce编程三

InputFormat,需要处理的数据为（时间：URL）     public class TimeUrlTextInputInputFormat extends FileInputFormat
fushengfei·2010-12-03 12:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他