VMware下centos7安装ambari并搭建hdp集群

虚拟机安装centos7教程：https://my.oschina.net/u/3964535/blog/2001945

安装环境：centos7

集群环境：（第一次安装，建议使用两台机器即可，成功后根据需要配置多台）

机器名 IP 备注

ambari.server.com 192.168.66.135 主节点 centos 7（2G + 40G）

ambari.agent.com 192.168.66.136 子节点 centos 7（3G + 40G）

注意：子节点虚拟机先不用安装，因为主节点和子节点的许多配置需要保持一致，因此为了方便，在ambari.server.com上配置好后,直接克隆该ambari.server.com虚拟机作为子节点ambari.agent.com即可，在子节点ambari.agent.com上只需更改hostname、IP地址、MAC地址等即可，不需要再重复配置。

配置环境（ambari.server.com）

1、 修改主机名并查看

[root@localhost ~]# hostnamectl set-hostname ambari.server.com

[root@localhost ~]# hostname

2、 配置hosts

[root@localhost ~]# vi /etc/hosts

添加如下信息（用于节点之间互相通信）

192.168.66.135 ambari.server.com

192.168.66.136 ambari.agent.com

3、 关闭防火墙（节点之间访问端口，不关闭防火墙访问不了，后期可根据需要开放指定端口）

[root@localhost ~]# systemctl disable firewalld.service

[root@localhost ~]# systemctl stop firewalld.service

4、 关闭selinux

[root@localhost ~]# vi /etc/sysconfig/selinux

修改 SELINUX = enforcing 为 SELINUX = disabled

5、 更改yum源（下载更快）

​ 5.1 备份

​ [root@localhost ~]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

​ 5.2 更换

​ [root@localhost ~]# cd /etc/yum.repos.d/

​ [root@localhost yum.repos.d]# wget http://mirrors.163.com/.help/CentOS7-Base-163.repo

​ 5.3 更新

​ [root@localhost yum.repos.d]# yum clean all

​ [root@localhost yum.repos.d]# yum makecache

6、 配置时钟同步

​ 6.1 安装

​ [root@localhost yum.repos.d]# yum install -y ntp

​ 6.2 设置开机自启

​ [root@localhost yum.repos.d]# systemctl enable ntpd

​ 6.3 启动ntp

​ [root@localhost yum.repos.d]# systemctl start ntpd

​ 6.4 查看ntp状态

​ [root@localhost yum.repos.d]# systemctl is-enabled ntpd

7、 安装JDK

​ 7.1 解压

​ [root@localhost yum.repos.d]# cd /usr/local

​ [root@localhost local]# mkdir jdk8

​ [root@localhost local]# cd jdk8

​ [root@localhost jdk8]# mkdir /downloads

​ [root@localhost jdk8]# tar -zxvf /downloads/jdk-8u251-linux-x64.tar.gz

​ 7.2配置环境变量

​ [root@localhost jdk8]# vi /etc/profile

​ 添加如下信息：

#java

export JAVA_HOME=/usr/local/jdk8/jdk1.8.0_251

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

​ 7.3 环境变量生效

​ [root@localhost jdk8]# source /etc/profile

​ 7.4 检查是否安装成功

​ [root@localhost jdk8]# java -version

以上配置为基本配置,每个节点都需要上述的相同配置,因此配置好主节点后,克隆该虚拟机，避免重复配置

9、 克隆子节点

10、子节点修改hostname

​ [root@ambari ~]# hostnamectl set-hostname ambari.agent.com

下面的配置只针对主节点ambari.server.com

11、设置ssh免密登录

​ 11.1 测试各个节点互通

​ server主机：ping ambari.agent.com或 ping 192.168.66.136（agent主机ip）

​ agent主机：ping ambari.server.com或 ping 192.168.66.165（server主机ip）

​ 11.2 生成密钥文件

​ [root@ambari ~]# ssh-keygen -t rsa

​ 11.2 到生成的目录查看

​ [root@ambari ~]# cd .ssh

​ [root@ambari .ssh]# ls

​ id_rsa为私钥文件，id_rsa.pub为公钥文件

​ 11.3 将公钥文件复制到子节点

​ [root@ambari .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

​ 期间输入yes和子节点主机密码

​ 11.4 测试免密登录

​ [root@ambari .ssh]# ssh 192.168.66.136

​ [root@ambari ~]# exit（退出子节点登录）

离线安装ambari

主节点准备工作完成后，开始离线安装ambari（在线安装太慢）

1、 部署本地库

​ 1.1 下载 Ambari与HDP 官网:Hortonworks

​ http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos7.tar.gz

​ http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos7-rpm.tar.gz

​ http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

​ 1.2 利用Xftp 6将下载的文件复制到/downloads目录下

​ 1.3 安装本地源工具

​ [root@ambari .ssh]# yum install yum-utils createrepo yum-plugin-priorities -y

​ [root@ambari .ssh]# vi /etc/yum/pluginconf.d/priorities.conf

​ 文件中添加gpgcheck = 0

​ 1.4 配置http服务

​ [root@ambari .ssh]# yum install httpd

​ [root@ambari .ssh]# systemctl enable httpd

​ [root@ambari .ssh]# systemctl start httpd

​ 1.5 创建本地源（将下载的3个tar包解压到/var/www/html 相应目录下）

​ [root@ambari .ssh]# cd /var/www/html/

​ [root@ambari html]# mkdir ambari

​ [root@ambari html]# mkdir hdp

​ [root@ambari html]# cd /downloads/

​ [root@ambari downloads]# ls

​ [root@ambari downloads]# tar -zxvf ambari-2.5.0.3-centos7.tar.gz -C /var/www/html/ambari

​ [root@ambari downloads]# tar -zxvf HDP-2.6.0.3-centos7-rpm.tar.gz -C /var/www/html/hdp

​ [root@ambari downloads]# tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/hdp

​ 1.6 createrepo

​ [root@ambari downloads]# cd /var/www/html/ambari/

​ [root@ambari ambari]# createrepo ./

​ 1.7 下载ambari.repo、HDP.repo，配置为本地源

​ [root@ambari ambari]# cd /etc/yum.repos.d/

​ [root@ambari yum.repos.d]# ls

​ [root@ambari yum.repos.d]# wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari.repo

​ [root@ambari yum.repos.d]# vi ambari.repo

​ 配置如下 ：

#VERSION_NUMBER=2.5.0.3-7

[ambari-2.5.0.3]

name=ambari Version - ambari-2.5.0.3

baseurl=http://ambari.server.com/ambari/ambari/centos7/

gpgcheck=1

gpgkey=http://ambari.server.com/ambari/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

​ [root@ambari yum.repos.d]# wget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/hdp.repo

​ [root@ambari yum.repos.d]# vi hdp.repo

​ 配置如下 ：

#VERSION_NUMBER=2.6.0.3-8

[HDP-2.6.0.3]

name=HDP Version - HDP-2.6.0.3

baseurl=http://ambari.server.com/hdp/HDP/centos7/

gpgcheck=1

gpgkey=http://ambari.server.com/hdp/HDP/centos7/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1


[HDP-UTILS-1.1.0.21]

name=HDP-UTILS Version - HDP-UTILS-1.1.0.21

baseurl=http://ambari.server.com/hdp/

gpgcheck=1

gpgkey=http://ambari.server.com/hdp/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

​ 1.8 执行yum命令

​ [root@ambari yum.repos.d]# yum clean all

​ [root@ambari yum.repos.d]# yum makecache

​ 1.9 访问本地源，检查是否安装成功

​ 192.168.66.135/hdp（主节点ip）

​ 192.168.66.135/ambari（主节点ip）

2、 现在可以开始安装ambari了

​ 2.1 检查仓库是否可用

​ [root@ambari hdp]# yum repolist

​ 2.2 安装

​ [root@ambari yum.repos.d]# yum install ambari-server

​ 2.3 配置ambari-server（主要配置用户、jdk和数据库，ambari默认使用PostgreSQL，可配置为mysql，此处略过）

​ [root@ambari yum.repos.d]# ambari-server setup

​ 2.4 启动Ambari-server（出现如图错误原因可不用理会）

​ [root@ambari yum.repos.d]# service ambari-server start

​ 2.5 配置本机host（用于访问虚拟机）

​ C:\Windows\System32\drivers\etc目录下配置hosts文件

192.168.66.135    ambari.server.com

192.168.66.136    ambari.agent.com

安装hdp集群

现在可以安装hdp集群了

1、 登录http://ambari.server.com:8080/（admin/admin）

2、 创建集群

3、 集群名称

4、 版本选择 (和下载版本一致)

5、 选择本地库、配置本地源地址

6、 配置子节点，上传master私钥

​ [root@ambari hdp]# cd ~/.ssh/

​ [root@ambari .ssh]# vi id_rsa

8、正在安装

9、失败处理情况的处理。点击failed 查看日志错误信息

10、根据日志错误信息处理

​ 我遇到的错误：

ERROR 2020-05-18 22:16:11,389 NetUtil.py:93 - [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:618)
ERROR 2020-05-18 22:16:11,390 NetUtil.py:94 - SSLError: Failed to connect. Please check openssl library versions. 

​ 解决方案：https://blog.csdn.net/devalone/article/details/81356617

​ 登录ambari.agent.com子节点

​ [root@ambari ~]# vi /etc/python/cert-verification.cfg

​ verify项改为verify=disable

​ [root@ambari ~]# vi /etc/ambari-agent/conf/ambari-agent.ini

​ [root@ambari ~]# ambari-agent restart

11、点击 retry failed 重新安装注册成功

12、安装服务（hdfs+hbase+zookeeper+ambari metrics）

13、选择每个host节点需要安装的组件

14、配置每个节点是否需要安装client、nodemanager等

15、依次选择具有红色提示的列（主要是设置密码）

16、设置完毕后 ，点击下一步

17、等待安装（过程比较漫长）

18、点击 installing …可查看服务安装信息

19、安装成功，点击完成

20、安装成功后，所有服务会自动启动。如下图节点的服务信息

21、刚开始启动可能有报错信息，等待几分钟后还报错，根据报错信息处理