Hive调优篇

1.java heap space异常

如果仅设置

set mapred.map.child.java.opts=-Xmx2048m; 

（默认值:mapred.map.child.java.opts=-Djava.net.preferIPv4Stack=true -Xmx1610612736）

set mapred.reduce.child.java.opts=-Xmx2048m; 

（默认值:mapred.reduce.child.java.opts=-Djava.net.preferIPv4Stack=true -Xmx1610612736）

不成功，继续设置

set mapreduce.map.memory.mb=6144;

（默认值:mapreduce.map.memory.mb=2048）

set mapreduce.reduce.memory.mb=3072;

（默认值:mapreduce.reduce.memory.mb=2048）

以上参数的值可以根据数据量具体设置。

2.inner join不走分区扫描全表

在使用inner join的时候，会发现相同的代码只是把inner join换成left join，inner join开启的map数较多，因为inner join的时候where条件里面设置的时间周期不起作用，计算的时候会a表和b表全表扫描进行join。

（1）简单的提数可以把时间周期设置在join的条件里面。

（2）正式上线的代码可以先进行一下某个时间周期数据的预先，然后再进行join。

3.union 较多的时候，提高效率

set hive.mapred.supports.subdirectories=true;

set hive.optimize.union.remove= true;

4.把hive的执行引擎设为spark，通常要设置的参数（spark的计算在内存中进行）

set hive.execution.engine=spark;
set yarn.nodemanager.pmem-check-enabled=false;
set yarn.nodemanager.vmem-check-enabled=false;

--未完待续