HADOOP 多任务运行

作者：云中哈哈

ericlzyu#gmail.com

http://hi.baidu.com/lzyu

2011.7.3

今天搞定了关于公平调度器的配置。记录下。可以多个JOB一起跑了。

在 HADOOP/conf/mapred-site.xml中，配置相关的变量　

<property>
  <name>mapreduce.jobtracker.taskScheduler</name>
  <value>org.apache.hadoop.mapred.FairScheduler</value>
</property>

  <property>
      <name>mapred.fairscheduler.allocation.file</name>
      <value>/home/hdfs/hadoop-0.20.2-CDH3B4/conf/fair-scheduler.xml</value>
    </property> 

第一个属性是启动调度器。

第二个是指定调度器所使用的相关参数。

 

而相关的参数。可以参考官方的来进行配置。

http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html

完成。

 

提示一点：请在配置前。确定在不用调度器前，本系统能顺利执行。