【hadoop】Hive数据仓库安装部署

一、MySQL的安装与配置

换源：

最下面附加部分
1、在master上直接使用yum命令在线安装MySQL数据库：

sudo yum install mysql-server

途中会询问是否继续，输入Y并按回车。

2、启动MySQL服务：

sudo service mysqld start

3、设置MySQL的root用户密码：

MySQL安装完成后，默认root用户是没有密码的，需要先登录并设置其密码：

mysql -u root -p

不用输密码直接回车，登录进去以后执行以下命令设置root用户密码：（标红的才是命令，蓝色的123456则是要设置的密码，你可以按需更改）

mysql>set password for root@localhost=password('123456');

尝试quit退出并重新使用root用户登录MySQL，

如果成功输入密码登录，就说明密码设置成功。
 

二、Hive的安装与配置

1、先把hive安装包apache-hive-2.3.7-bin.tar.gz发送到master的主目录上，然后在master上解压该安装包：

cd ~
tar -zxvf apache-hive-2.3.7-bin.tar.gz

2、由于解压出来的文件夹名字比较长，可以将其改名为hive，或者自行创建软连接也可：

mv ~/apache-hive-2.3.7-bin ~/hive

3、复制hive配置文件：

hive的配置文件是hive-site.xml，该文件位于hive安装路径下的conf文件夹中。但一开始该配置文件并不存在，直接使用vim新建一个配置文件即可：

cd ~/hive/conf
vim hive-site.xml

配置文件内容如下：

    hive.exec.local.scratchdir
        /home/hadoop/hive/iotmp


    hive.downloaded.resources.dir
        /home/hadoop/hive/iotmp


    hive.querylog.location
        /home/hadoop/hive/iotmp

#指定连接驱动为MySQL的jdbc

    javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver

#配置连接MySQL的URL

    javax.jdo.option.ConnectionURL
jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true

#配置登录MySQL的用户名

    javax.jdo.option.ConnectionUserName
        root

#配置登录MySQL的密码

    javax.jdo.option.ConnectionPassword
        123456

6、配置环境变量

在.bashrc文件中添加内容。先执行以下命令打开.bashrc文件：

vim ~/.bashrc

在文件末尾加上以下语句：

export HIVE_HOME=/home/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH

添加完成后保存，然后控制台执行以下命令刷新即可：

source ~/.bashrc

7、添加MySQL驱动包

将mysql-connector-java-5.1.38.jar驱动包上传到master主机上，并把它放到hive安装目录下的lib文件夹内即可：

mv ~/mysql-connector-java-5.1.38.jar ~/hive/lib/

三、Hive的初始化

第一次启动Hive需要先进行初始化，后续再次启动则不用。具体操作命令如下：

schematool -dbType mysql -initSchema

四、Hive的启动

启动Hive时，必须保证Hadoop集群已经正确启动。
Hadoop启动后，使用以下命令打开Hive的CLI：

hive
hive>show databases;

如果上述操作没问题，则hive客户端已经安装成功。

 如图：

附加：yum仓库换源

如果你的CentOS系统yum命令无法访问默认仓库地址，则可以按照这里的操作步骤进行换源。这里把yum仓库更换为阿里源，以便于国内进行访问。

输入以下命令，使用vim编辑器修改yum配置：

sudo vim /etc/yum.repos.d/CentOS-Base.repo

然后把里面的内容修改为以下：

[base]
name=CentOS-$releasever - Base
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#released updates 
[updates]
name=CentOS-$releasever - Updates
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
enabled=0

修改完成后保存关闭，执行以下命令清理yum的缓存并更新软件包索引：

sudo yum clean all
sudo yum makecache
sudo wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum update