【十八掌●武功篇】第十掌：Hive之高级知识

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌

---

小系列列表

【十八掌●武功篇】第十掌：Hive之基本语法
【十八掌●武功篇】第十掌：Hive之原理与优化
【十八掌●武功篇】第十掌：Hive之高级知识
【十八掌●武功篇】第十掌：Hive之安装过程实践

一、 Hive文件格式

1、 常见文件格式

Hive中的文件格式常见的有：textfile文件格式、sequencefile二进制序列化文件格式、rcfile、orc、parquet。hive表的文件格式一般是在创建表时用stored as语句声明，如：

create table demo_textfile
(
  id int,
  name string
 )
stored as textfile;

其中textfile和sequencefile是以行存储数据的，rcfile、orc、parquet是列式存储的。

存储方式	文件格式		输入输出格式
行式存储	textfile	InputFormat	org.apache.hadoop.mapred.TextInputFormat
		OutputFormat	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
	sequencefile	InputFormat	org.apache.hadoop.mapred.SequenceFileInputFormat
		OutputFormat	org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
列式存储	rcfile	InputFormat	org.apache.hadoop.hive.ql.io.RCFileInputFormat
		OutputFormat	org.apache.hadoop.hive.ql.io.RCFileOutputFormat
	orc	InputFormat	org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
		OutputFormat	org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
	parquet	InputFormat	org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
		OutputFormat	org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat

(1) TextFile格式

TextFile是Hive的默认文件格式，数据不做压缩，磁盘开销比较大，数据解析时开销也比较大。从本地文件向Hive load数据只能用textfile文件格式。

(2) SequenceFile格式

SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。SequenceFile文件是含有键-值对的二进制文件。

(3) Rcfile格式

Rcfile是一种行列存储结合的存储方式，首先将数据按行分块，保证同一个记录在一个块上，避免读取一行记录需要读取多个块的情况，然后块数据列式存储，这样有利于数据压缩和列存取。

(4) Orc格式

Orc格式是Rcfile格式的升级版，性能有很大的提升，并且数据可以压缩存储，比textfile文件压缩比可以达到70%，同时读取性能也非常高，推荐使用orc文件格式创建表。
● 单个Hive Task输出单个文件，减小文件系统负载。
● 支持datetime、decimal和其他复杂类型（struct、list、map和union）。
● 文件内含轻量级索引。减少不必要的扫描，高效定位记录。
● 基于数据类型的块模式压缩。例如String和Integer可以采用不同的压缩方式。
● 同一文件可以利用多个RecordReader并发读取。
● 支持免扫描进行文件分块。
● 读写文件时，绑定I/O所需的最大内存空间。
● 文件的metadata采取Protocol Buffers格式，允许灵活的属性增删。

(5) Parquet格式

Parquet是一种适合多种计算框架的文件格式，Parquet是语言无关的，并且不与任何一种数据处理框架绑定在一起，适配多种语言和组件，能够与parquet配合的组件有：
查询引擎：Hive、Impala、Pig、Presto、Drill、Tajo、HAWQ、IBM Big SQL。
计算框架：MapReduce、Spark、Cascading、Crunch、Scalding、Kite
所以如果一套数据要多种引擎使用，Parquet是最好的选择。

2、 列式存储

(1) 数据存储方式

目前大数据存储有两种方案可以供选择：行存储、列存储。
物理存储上，行存储是一行中各列顺序存储，列存储是一列中各行的值顺序存储。
行存储和列存储各有优缺点：
● 行存储的写入是一次性完成的，消耗的时间比列存储少，并且能够保证数据的完整性，缺点是数据读取过程中会产生冗余数据，如果数据量大会影响到数据的处理效率。
● 列存储在写入效率、保证数据完整性方面不如行存储，但是他的优势在于读取过程，不会产生冗余数据

(2) 列式存储在大数据存储中的优势

● 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。
● 由于同一列的数据类型是一样的，所以可以使用更高效的压缩编码方式，最大限度地节约存储空间。
● 只读取需要列，能够获取更好的扫描性能。

3、 自定义表的文件格式

创建表的时候也可以自定义其他的文件格式，用自定义文件格式时需要制定InputFormat、OutputFormat和SerDe

二、 Hive压缩方法

1、 压缩的原因

Hive最终是转为MapReduce程序来执行的，而MapReduce的性能瓶颈在于网络IO和磁盘IO，要解决性能瓶颈，最主要的是减少数据量，对数据进行压缩是个好的方式。
压缩虽然是减少了数据量，但是压缩过程要消耗CPU的，但是在Hadoop中，往往性能瓶颈不在于CPU，CPU压力并不大，所以压缩充分利用了比较空闲的CPU。

2、 Hadoop常用压缩方法

压缩格式	是否可拆分	是否自带	压缩率	速度	是否hadoop自带
gzip	否	是	很高	比较快	是
lzo	是	是	比较高	很快	否，要安装
snappy	否	是	比较高	很快	否，要安装
bzip2	是	否	最高	慢	是

各个压缩格式对应的类：

压缩格式	类
Zlib	org.apache.hadoop.io.compress.DefaultCodec
Gzip	org.apache.hadoop.io.compress.GzipCodec
Bzip2	org.apache.hadoop.io.compress.BZip2Codec
Lzo	org.apache.hadoop.io.compress.lzo.LzoCodec
Lz4	org.apache.hadoop.io.compress.Lz4Codec
Snappy	org.apache.hadoop.io.compress.SnappyCodec

(1) 压缩方式选择原则：

● 压缩比率
● 压缩解压速度
● 是否支持split
所有的压缩算法都是空间和时间上做出的一种平衡，即牺牲时间换空间还是牺牲空间换时间。例如：在对实时性比较高的应用场景中，一般要求压缩和解压的速度高；而对一般的大文件存储时，则更注重节省压缩存储空间。

(2) map的输入压缩

最好选择一种支持split的压缩方式，如果选择不支持split的压缩方式，大文件将会由一个map进程进行处理。如果要选择不支持的split压缩方式，那么就先将大文件进行分割成大小接近128M的小文件，然后对这些小文件进行单独压缩。

(3) map的输出压缩

map的输出压缩，要注重考虑压缩解压速度，常用的用snappy压缩，

(4) reduce端的输出

很少对reduce端的输出进行压缩，但是一下两个场景会对使用压缩
● reduce输出结果后面甚少使用，一般要用压缩以提高性能。一般使用压缩比率比较高的压缩格式。
● 迭代计算时，reduce输出结果要给下一个job做为输入使用，着重使用压缩解压速度比较快的方式。

3、 配置Hadoop压缩解压

在Hadoop的mapred-site.xml配置文件中的配置。

参数	备注
mapreduce.map.output.compress	map输出是否启用压缩
mapreduce.map.output.compress.codec	map输出采用压缩方式
mapreduce.output.fileoutputformat.compress	是否启用reduce输出压缩
mapreduce.output.fileoutputformat.compress.codec	reduce压缩方式
mapreduce.output.fileoutputformat.compress.type	压缩级别：NONE, RECORD(行级别), BLOCK(块级别)

4、 Hive中的压缩

在Hive中，只有当属性hive.exec.compress.intermediate设置为true,以上hadoop设置的压缩才生效。如果Hive SQL被翻译成多个MapReduce时，这个属性不单单控制MapReduce中map的输出结果压缩，也控制着job之间的输出输入的压缩。

<property>
    <name>hive.exec.compress.intermediatename>
    <value>truevalue>
    <description>
      This controls whether intermediate files produced by Hive between multiple map-reduce jobs are compressed. 
      The compression codec and other options are determined from Hadoop config variables mapred.output.compress*
    description>
property>

三、 Hive SQL转换为MapReduce过程

Hive是将SQL转化为MapReduce任务要经过解释、编译。

整译过程分为六个阶段：

(1) Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree
(2) 遍历AST Tree，抽象出查询的基本组成单元QueryBlock
(3) 遍历QueryBlock，翻译为执行操作树OperatorTree(逻辑执行计划)
(4) 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量
(5) 遍历OperatorTree，翻译为MapReduce任务
(6) 物理层优化器进行MapReduce任务的变换，生成最终的执行计划

四、 Hive解释器

Hive解释器是将Hive SQL语句转换为抽象语法树AST，过程 分为解析和生成语法树两个步骤。

1、 词法语法解析

Antlr是一种语言识别工具，可以用来构造领域语言，使用Antlr构造特定的语言需要编写一个语法文件，定义词法和语法替换规则。
Hive使用Antlr实现SQL的词法和语法解析，完成词法分析、语法分析、语义定义、中间代码生成的过程。Hive中有五个文件记录着词法规则和语法规则：
词法规则文件：HiveLexer.g。
语法规则文件：SelectClauseParser.g、FormClauseParser.g、IdentifiersParser.g、HiveParser.g。

2、 生成抽象语法树

在词法和语法解析的同时，Antlr生成一个抽象语法树。

五、 Hive编译器

Hive编译器是将抽象语法树编译为逻辑执行计划。
抽象语法树是比较复杂的，不够结构化，不方便直接翻译为MapReduce程序，所以Hive编译器会将抽象语法树再进一步抽象和结构化为逻辑执行计划。

六、 Hive优化器

Hive优化器是对逻辑执行计划进行优化。
大部分逻辑层优化器通过变换OperatorTree，合并操作符，达到减少MapReduce Job，减少Shuffle数据量的目的。

名称	作用
② SimpleFetchOptimizer	优化没有GroupBy表达式的聚合查询
② MapJoinProcessor	MapJoin，需要SQL中提供hint，0.11版本已不用
② BucketMapJoinOptimizer	BucketMapJoin
② GroupByOptimizer	Map端聚合
① ReduceSinkDeDuplication	合并线性的OperatorTree中partition/sort key相同的reduce
① PredicatePushDown	谓词前置
① CorrelationOptimizer	利用查询中的相关性，合并有相关性的Job，HIVE-2206
ColumnPruner	字段剪枝

上表中带①符号的，优化目的都是尽量将任务合并到一个Job中，以减少Job数量，带②的优化目的是尽量减少shuffle数据量。

七、 Hive执行器

Hive执行器是调用底层的框架，执行优化好的逻辑执行计划。
编译器将操作树切分为一个Task链(DAG)，执行器会顺序执行其中的所有Task，如果Task链不存在依赖关系时，可以采用并发执行的方式进行Job执行。

---

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌