hadoop压缩

 

 

1 hadoop压缩codec, 作用: 加快数据传输速度,比如shuffle时,是优化的一部分。

 

在Hadoop中,codec由CompressionCode的实现来表示,如下是实现:

 


hadoop压缩_第1张图片
 

压缩算法效率:   如果用,感觉综合排名下,lzo效率是最高的。

 


hadoop压缩_第2张图片
 

 

mr中压缩参数:

 


hadoop压缩_第3张图片
 

 


hadoop压缩_第4张图片
 

 

 

 

 

 

你可能感兴趣的:(hadoop压缩)