Ambari的部署与集群的搭建【超详细】

Ambari的部署与集群的搭建【超详细】

Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。

1.ambari 基础架构

2.环境准备

1.必备软件和安装包

版本： Ambari2.75 + HDP3.1.5
需要包的评论留，每天回复快~

yum -y install gcc gcc-c++ kernel-devel libtirpc-devel
yum -y install rpm-build
yum -y install net-tools
yum -y install openssl openssl-devel patch
yum -y install wget
yum install -y bash-completion
yum install -y unzip zip
yum install -y openssh-clients
yum install -y openssh-server
/usr/sbin/sshd -D &

2.内存和盘配置

​ 最低配置为每个节点内存1G，硬盘10G。

​ 建议每个节点内存8G以上，硬盘100G以上。

3.文件限制设置

设置最大打开文件限制

ulimit -n 10000

4.全限定域名FQDN配置

​ 修改host主机名，最好遵循FQDN规范（具体可百度），如下，但是我用的时之前的虚拟机，就直接用原来的了。

vim /etc/hosts
正规写法：
192.168.179.10  hadoop01.com hadoop01（主节点）
192.168.179.11  hadoop02.com hadoop02
192.168.179.12  hadoop03.com hadoop02
我的配置文件：
192.168.179.10  hadoop01（主节点）
192.168.179.11  hadoop02
192.168.179.12  hadoop02

5.免密配置

在配置时不仅要主节点免密到从节点，每个节点自身也需要免密自身!：ssh localhost,否则在配置集群时

ambari Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

在hadoop01、hadoop02、hadoop03执行，自身免密

ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

在hadoop01中配置向hadoop02、hadoop03的免密

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop02
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop03

在hadoop01、hadoop02、hadoop03配置权限

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

6.同步时钟

3台机器执行如下，如果配置过可以跳过。

yum install -y ntp
systemctl enable ntpd

7.防火墙配置

检查防火墙状态，如果开启状态需配置防火墙白名单，这里使用的是虚拟机，直接关了。

systemctl disable firewalld
service firewalld stop

8.seLiinux、packageKit、umask配置

hadoop01~03修改selinux值

vim /etc/selinux/config
#修改如下选项
SELINUX=disabled

hadoop01~03 安装yum-plugin，并修改配置

yum install yum-plugin-priorities -y
vim /etc/yum/pluginconf.d/refresh-packagekit.conf
#修改如下选项
enabled=0

umask

umask  #查看当前umask 是否为0022
umask 0022  #设置umask 为0022
echo umask 0022 >> /etc/profile   #永久更改所有交互式用户的umask

9.JDK配置

安装JDK并配置环境变量，这里使用的是1.8版本

export JAVA_HOME=/usr/local/jdk1.8.0_281
export PATH=.:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
记得source /etc/profile

10.Mysql 配置

hadoop01上安装Mysql 5.7

systemctl start  mysqld.service
systemctl status  mysqld.service

然后查看mysql-connector-java.jar 是否存在

ls /usr/share/java/mysql-connector-java.jar

如果没有，需要安装

yum install -y mysql-connector-java*

3.上传tar包

文件比较大，11G左右，可以直接用Ftp 上传，也可以使用pscp安装。

4.创建HTTP服务

yum -y install httpd
/sbin/chkconfig httpd on
/sbin/service httpd start

测试http服务，能访问就没问题。

curl http://192.168.179.10:80

5.配置本地yum源

解压tar包

mkdir -p /var/www/html/
# 解压：
cd /softs/hdp-3.15/
tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/
tar -zxvf HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/
tar -zxvf HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/

在所有节点执行

yum install yum-plugin-priorities -y
vim /etc/yum/pluginconf.d/priorities.conf

copy repo文件

cd /var/www/html
cp ambari/centos7/2.7.5.0-72/ambari.repo /etc/yum.repos.d/
cp HDP/centos7/3.1.5.0-152/ssl_hdp.repo /etc/yum.repos.d/hdp.repo
cp HDP-GPL/centos7/3.1.5.0-152/hdp.gpl.repo /etc/yum.repos.d/

修改ambari 的yum源配置：vim /etc/yum.repos.d/ambari.repo

#VERSION_NUMBER=2.7.5.0-72
[ambari-2.7.5.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.5.0
baseurl=http://hadoop01/ambari/centos7/2.7.5.0-72/
gpgcheck=1
gpgkey=http://hadoop01/ambari/centos7/2.7.5.0-72/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

修改hdp的yum源配置：vim /etc/yum.repos.d/hdp.repo

#VERSION_NUMBER=3.1.5.0-152
[HDP-3.1.5.0]
name=HDP Version - HDP-3.1.5.0
baseurl=http://hadoop01/HDP/centos7/3.1.5.0-152/
gpgcheck=1
gpgkey=http://hadoop01/HDP/centos7/3.1.5.0-152/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://hadoop01/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=1
gpgkey=http://hadoop01/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

6.配置元数据和启动服务

1.安装ambari

yum -y install ambari-server

2.新建数据库和授权

create database ambari default character set='utf8';
CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
CREATE USER 'ambari'@'hadoop01' IDENTIFIED BY 'ambari';
CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'localhost' IDENTIFIED BY 'ambari' with grant option; 
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'hadoop01' IDENTIFIED BY 'ambari' with grant option; 
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%' IDENTIFIED BY 'ambari' with grant option;
FLUSH PRIVILEGES;

3.导入元数据

在hadoop01 登录MySQL执行：

use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

4.安装

在hadoop01 执行

ambari-server setup

OK to continue [y/n] (y)? y
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):ambari
Enter choice (1): 2
Path to JAVA_HOME: 你的HOME_HOME
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Enter advanced database configuration [y/n] (n)? y
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
Enter choice (1): 元数据用的什么存就输入多少，我用的是mysql 直接输入3即可。

以下可以直接默认，也可以自己设置，我这里直接一路回车使用默认。
Hostname (localhost):
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):
Re-enter password:

Should ambari use existing default jdbc /usr/share/java/mysql-connector-java.jar [y/n] (y)? y
Proceed with configuring remote database connection properties [y/n] (y)? y

最后看到Ambari Server ‘setup’ completed successfully. 安装完成

下一步安装agent ，在hadoop01~hadoop03 执行

yum install ambari-agent

然后进入 /etc/ambari-agent/ambari.ini 将localhost修改为所在节点的主机名（hadoop01、hadoop02、hadoop03）

[server]
hostname=hadoop01

5.启动 server

在hadoop01 上执行如下启动server

ambari-server start
ambari-server status
ambari-server stop

server 日志在hadoop01

 /var/log/ambari-server/ambari-server.log

6.启动Agent

在hadoop01~03 上执行

ambari-agent start

日志路径在各节点的如下路径

 /var/log/ambari-agent/ambari-agent.log

7.访问ambari-UI

访问如下，默认账号密码admin / admin

http://hadoop01:8080 
或
http://192.168.179.10:8080

8.集群的创建

登录成功后点击“LAUNCH INSTALL WIZARD” ，开始创建集群。

1.集群命名

2.选择版本和安装库

点击右侧的remove ，只保留redhat7 ，然后 将hadoop01 的http地址输入进去

http://hadoop01/HDP/centos7/3.1.5.0-152/
http://hadoop01/HDP-GPL/centos7/3.1.5.0-152/
http://hadoop01/HDP-UTILS/centos7/1.1.0.22/

3配置安装选项

4 分配主任务

会智能的配分服务的安装节点。

5 选择数据目录

这里我直接使用默认的目录

6.配置ssl密码

7.配置用户

这里直接使用默认

8.等待完成

9.完成

鸣谢：https://blog.csdn.net/NDF923/article/details/116445785