hadoop调优。hadoop速度太慢，所以kill任务，修改配置增大内存

hadoop job -list

 

 

hadoop job -kill job_201212111628_11166

 

 

修改yarn.scheduler.maximum-allocation-mb 和 yarn.nodemanager.resource.memory-mb的默认值为2G

                然后重启集群

 

如果资源充足也可以适当放大。

 

 

后来也确实快了，但是我们sqoop的时候用--direct，需要同步mysqldump之外，还有一件事情，

 

我的map阶段总是卡主，原来是只有一个节点是允许访问生产库的，现在赶紧的，开通所有节点，应该就可以了，速度应该要起来了。我说怎么总是卡主呢！这些都是坑啊。

 

 

 

一定要注意，注意的是，要把mysqldump的权限改一下。

 

还有，注意对hdfs目录

/user/root/下失败的文件需要删除。

切换root去删要好一点。