HIVE 面试题总结

Hive 依赖于 HDFS 存储数据，Hive 将 HQL 转换成 MapReduce 执行，所以说 Hive 是基于Hadoop 的一个数据仓库工具，实质就是一款基于 HDFS 的 MapReduce 计算框架，对存储在HDFS 中的数据进行分析和管理。

一、Hive 架构

用户接口：CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

元数据：元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。

Hadoop：使用 HDFS 进行存储，使用 MapReduce 进行计算

驱动器：主要包含以下几类：

        a.解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
        b.编译器（Physical Plan）：将AST编译生成逻辑执行计划。
        c.优化器（Query Optimizer）：对逻辑执行计划进行优化。
        d.执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

Hive解析成MR的过程：

       Hive通过给用户提供一系列交互接口，接收到用户的指令(sql语句)，结合元数据(metastore)，经过Driver内的解析器，编译器，优化器，执行器转换成mapreduce（将sql转换成抽象语法树AST的解析器，将AST编译成逻辑执行计划的编译器，在对逻辑执行计划进行优化的优化器，最后将逻辑执行计划转换成mapreduce），提交给hadoop中执行，最后将执行返回的结果输出到用户交互接口。

二、Hive与传统数据库的区别

由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。

1.查询语言：由于 SQL被广泛的应用在数据仓库中，因此，专门针对 Hive的特性设计了类 SQL的查询语言 HQL。

2.数据存储位置：Hive 是建立在 Hadoop之上的，所有 Hive的数据都是存储在HDFS中的。
数据库则可以将数据保存在块设备或者本地文件系统中。

3.数据格式：Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive中默认有三个文件格式 TextFile，SequenceFile以及 RCFile）。

4.数据更新：由于 Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO … VALUES添加数据，使用 UPDATE … SET修改数据。

5.索引：Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于 MapReduce的引入， Hive可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive仍然可以体现出优势。 数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了 Hive不适合在线数据查询。

6.执行：Hive 中大多数查询的执行是通过 Hadoop提供的 MapReduce来实现的（类似 select * from tbl的查询不需要 MapReduce）。
数据库通常有自己的执行引擎。

7.执行延迟：之前提到，Hive在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致 Hive执行延迟高的因素是 MapReduce框架。由于 MapReduce本身具有较高的延迟，因此在利用 MapReduce执行 Hive 查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。

8.可扩展性：由于 Hive是建立在 Hadoop之上的，因此 Hive的可扩展性是和 Hadoop的可扩展性是一致的。数据库由于 ACID语义的严格限制，扩展行非常有限。目前最先进的并行数据库 Oracle在理论上的扩展能力也只有 100台左右。

9.数据规模：由于Hive建立在集群上并可以利用 MapReduce进行并行计算，因此可以支持很大规模的数据；数据库可以支持的数据规模较小。

三、Hive 数仓层级，为什么要对数据仓库分层

数据仓库标准上可以分为三层:ODS(原始数据层)、DW(数据仓库层)、ADS(应用层)。

原始日志层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。

数据仓库层（DW）：也称为细节层，DW 层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。

        DWD（数据明细层）：存储明细数据，此数据是最细粒度的事实数据。该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。同时，为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联。

        DWM（中间层）：存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。
        DWS（轻度聚合层）：存储宽表数据，此层数据是针对某个业务领域的聚合数据，业务层的数据通常来源与此层，为什么叫宽表，主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。此层数据通常来源与DWD和DWM层的数据。

       （ 注：在实际计算中，如果直接从DWD或者ODS计算出宽表的统计指标，会存在计算量太大并且维度太少的问题，因此一般的做法是，在DWM层先计算出多个小的中间表，然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定，也可以去掉DWM这一层，只留DWS层，将所有的数据在放在DWS亦可。）