大数据面试题_Impala等查询组件(除Hive外的其它组件)

大数据面试题_Impala等查询组件(除Hive外的其它组件)

一、 Impala

1、什么是Impala?

Impala是cloudera提供的一款高效率的Sql查询工具，提供实时的查询效果，官方测试性能比Hive快10到100倍，其Sql查询比SparkSql还要更加快速，号称是当前大数据领域最快的查询Sql工具；
Impala是基于Hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点；

2、 Impala与Hive的区别

(1) 相同点

• Impala与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，但从客户端使用来看，Impala与Hive有很多的共同之处，如数据表元数据、ODBC/JDBC驱动、SQL语法、灵活的文件格式、存储资源池等；

(2)不同点

• 执行计划

1. Hive：依赖于MapReduce执行框架，执行计划分成map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个查询被编译成多个MapReduce，则会有更多的写中间结果。由于MapReduce执行框架本身的特点，过多的中间过程会增加整个查询的执行时间；
2. Impala：把执行计划编译为一棵执行计划树，可以更加自然地分发执行计划到各个Impala服务(Impalad)中进行执行，而不用像Hive那样将执行计划组合成管道型的map->reduce模式，以此保证Impala有更好的并发性和避免不必要的中间排序与shuffle过程；

• 内存使用

1. Hive：在执行过程中，如果内存放不下所有数据，则会使用磁盘进行存储。每一轮MapReduce结束，中间结果也会写入HDFS中，同样由于MapReduce执行架构的特性，shuffle过程也会有写本地磁盘的操作；
2. Impala：在遇到内存放不下所有数据的时候，则直接会报错，而不是使用磁盘进行存储，所以这也使得Impala目前处理查询会受到一定的限制，最好还是与Hive配合使用；

• 调度

1. Hive：任务调度依赖于Hadoop的Yarn调度策略；
2. Impala：调度由自己完成，内部有一种调度器simple-schedule，它会尽量满足数据的局部性，扫描数据的进程尽量靠近数据本身所在的物理机器，从而减少网络IO、负载等因素的影响；

• 容错

1. Hive：Hive依赖于Hadoop的容错能力；
2. Impala：在查询过程中，没有容错逻辑，如果在执行的过程中发生了故障，则直接返回错误，这与Impala设计有关，因为Impala定位是实时查询，一次查询失败，再查一次就好了，再查一次的成本很低；

• 适用面

1. Hive：用于复杂的批处理查询任务和数据转换任务；
2. Impala：用于实时数据分析，但是不支持自定义UDF，所以能处理的问题有一定的限制，需要配合Hive一起使用，对Hive的结果数据集进行实时分析；

3、Impala架构

Impala主要由Impalad、State Store、Catalogd和CLI组成；

1. Impalad
   ①Impalad(Impala server，Impala服务)：可以部署多个不同机器上，通常与datanode部署在同一个节点 方便数据本地计算，负责具体执行本次查询sql的impalad称之为Coordinator。每个impala server都可以对外提供服务；
2. State Store：主要是跟踪集群中impalad的健康状态及位置信息；
3. Catalogd：作为metadata访问网关，负责跟Hive的metastore进行交互，同步Hive的元数据到Impala自己的元数据中；
4. CLI：用户操作Impala的方式(Impala Shell、JDBC、HUE)；

4、Impala查询处理过程

1. Impalad分为Java前端与C++处理后端，接受客户端连接的Impalad即作为这次查询的 Coordinator(协调器)，Coordinator通过JNI调用Java前端对用户的查询Sql进行分析生成执行计划树；
2. Java前端产生的执行计划树以Thrift数据格式返回给C++后端(Coordinator)；
3. Coordinator根据执行计划树和数据存储信息，通过调度器(simple-schedule)对生成的执行计划树分配给相应的后端执行器Impalad执行，查询结果返回给Java前端；

5、Impala Sql与Hive Sql的区别

基本的语法跟Hive的查询语句大体一样；

1. Impala支持开窗函数；
2. Impala不支持cluster by、 distribute by、sort by；
3. Impala不支持分桶表；
4. Impala不支持collect_set(col)和explode(col)函数；
5. Impala不支持自定义UDF函数；