hadoop自定义输出文件名

  hadoop的默认文件输出格式是“TextOutputFormat”输出的文件名是“part-r-00000”这种类型，能不能实现自定义的文件名呢？我试了一下可以，下面是代码

  private static class MyMutipleTextOutputFormat extends MultipleTextOutputFormat {

                private static AtomicInteger atomicInteger = new AtomicInteger(1);

/**
* 实现一个REDUCE一个文件，且文件名自定义。
*/
@Override
protected String generateLeafFileName(String name) {
// 使用 AtomicInteger 和 “i++”是不行的，因为这个是跨虚拟机的
// int prefix = atomicInteger.incrementAndGet();
// return prefix  + ".txt";
// UUID uuid = UUID.randomUUID();
// return uuid.toString() + ".txt";
// 由于name "part-r-00000"所以从第七个字符开始取，然后转成INT
int _name = Integer.parseInt(name.substring(7));
return _name + ".txt";
}
}

jobconf.setOutputFormat(MyMutipleTextOutputFormat.class);

        本想用一个AtomicInteger 来实现生成“1.txt, 2.txt 3.txt”的文件，但是mapreduce框架运行的时候是跨虚拟机的，导致不能实现。实在没办法就用“generateLeafFileName”方法的参数“name”做文章，“name”的值是“part-r-00000”这种值，（框架内实现了文件名累加）就拿它解析然后拼凑文件名。虽然实现的不是很完美，但是还是实现了功能。

       此外这个当使用hadoop-0.20.2编写代码的时候不能用新的API，因为job.setOutputFormatClass();会报错，网上查了下好像说是0.20.2里面的一个BUG。所以用就API来编写代码。

       下面是我运行的结果

-rw-r--r--   3 analyzer supergroup       1174 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/0.txt
-rw-r--r--   3 analyzer supergroup       1014 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/1.txt
-rw-r--r--   3 analyzer supergroup       1312 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/2.txt
-rw-r--r--   3 analyzer supergroup       1035 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/3.txt
-rw-r--r--   3 analyzer supergroup       1261 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/4.txt
-rw-r--r--   3 analyzer supergroup       1159 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/5.txt
-rw-r--r--   3 analyzer supergroup       1424 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/6.txt
-rw-r--r--   3 analyzer supergroup       1321 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/7.txt
-rw-r--r--   3 analyzer supergroup       1238 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/8.txt
-rw-r--r--   3 analyzer supergroup       1282 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/9.txt