8.hive安装 和 Hive环境准备 （hive on Spark 、Yarn队列配置）

1 Hive安装部署

• 1）把apache-hive-3.1.2-bin.tar.gz上传到linux目录下
• 2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面

[root@node09 06_hive]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/

• 3）修改apache-hive-3.1.2-bin.tar.gz的名称为hive

[root@node09 06_hive]# mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

• 4）修改/etc/profile.d/my_env.sh，添加环境变量

[root@node09 06_hive]# vim /etc/profile.d/my_env.sh

• 5）添加内容

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

使环境变量生效或者

[root@node09 06_hive]# source /etc/profile.d/my_env.sh

• 6）解决日志Jar包冲突，进入/opt/module/hive/lib目录

[root@node09 lib]# mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

2 Hive元数据配置到MySql

2.1 拷贝驱动

将MySQL的JDBC驱动拷贝到Hive的lib目录下

[root@node09 07_mysql]# cp  mysql-connector-java-5.1.48.jar /opt/module/hive/lib/

2.2 配置Metastore到MySql

在$HIVE_HOME/conf目录下新建hive-site.xml文件

[root@node09 conf]# vim hive-site.xml

添加如下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://node09:3306/metastore?useSSL=false</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>000000</value>
    </property>

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>

    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node09:9083</value>
    </property>

    <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value