hive压缩配置

在代码中加入

conf.set("mapred.compress.map.output", "true")
conf.set("mapred.output.compression.type", "BLOCK");
conf.set("mapred.map.output.compression.codec", "org.apache.hadoop.io.compress.GzipCodec");

如果是在hive 客户端，在hive语句执行之前加入

set mapred.compress.map.output=true;
set mapred.output.compression.type=BLOCK;
set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;