Ambari离线安装笔记

离线Ambari安装

目录

简介

Ambari是HDP的集群管理工作，竞品是CDH Manager。目前已经是Apache的顶级项目。

CDH Manager从6.3.2之后，不再支持社区版升级。会逐渐走向纯收费模式。且CDH有50个节点数限制，Ambari没有节点数限制。综合来看，选择Ambari更适合系统长期的发展。

安装步骤

本次采用离线安装的方法，下载完整的离线安装包，部署本地yum源，进行安装。

准备基础环境

修改Hostname

便于标识主机。

vim /etc/hostname
# 重启生效 reboot

配置hosts

vim /etc/hosts

172.21.1.46 node1 node1.bigdata
172.21.1.40 node2 node2.bigdata

配置免密登录

生成私钥

配置免密登录：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat .ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

# 把所有节点的authorized_keys文件内容合并在一个authorized_keys中，并配置到所有节点的authorized_keys文件中。

scp ~/.ssh/authorized_keys root@node1:~/.ssh/

配置信任主机

# 注：默认登录一次，known_hosts会记录节点的hash值，所以互信机器登录一遍。
# 并把known_hosts文件传输到所有节点，就不用一个一个设置了。

scp ~/.ssh/known_hosts root@node1:~/.ssh/

安装JDK

卸载OpenJDK(非必须)

安装Oracle JDK

tar.gz版本

tar zxvf jdk.tar.gz

vim /etc/profile
# 配置/etc/profile
export JAVA_HOME={jdk_path}  #{jdk_path}表示jdk文件路径
export PATH=${PATH}:${JAVA_HOME}/bin

source /etc/profile

# 验证Java
java -version

挂载硬盘[非必须]

挂载硬盘

# 查看磁盘挂载情况
fdisk -l

# 划分磁盘分区，默认挂载磁盘路径：/dev/vdb
fdisk /dev/vdb
#根据提示，依次输入"n"，"p" "1"，两次回车，"wq"，分区就开始了，很快就会完成。

# 格式化硬盘，设置格式是ext4
mkfs.ext4 /dev/vdb

# 创建挂载点/data路径。路径存在情况下，可以不创建
mkdir /data

# 挂载硬盘
mount /dev/vdb /data

设置开机自启

# 设置硬盘开机自启，在/etc/fstab中添加以下配置
/dev/vdb    /data    ext4    defaults    0 0

安装httpd

安装

yum -y install httpd

启动服务

service httpd restart

# 查看httpd服务状态
systemctl status httpd.service
# 或者
service httpd status

设置开机自启

chkconfig httpd on

异常处理：

出现apache用户创建异常`当启动 apache 时，出现一下异常：AH00543: httpd: bad user name apache，解决方法：

useradd: cannot open /etc/passwd
[~]# lsattr /etc/passwd
----i--------e- /etc/passwd

chattr -i /etc/passwd
chattr -i /etc/shadow

# 之后再useradd

groupadd apache
useradd -g apache apache

关闭防火墙

# 查看防火墙状态
systemctl status firewalld.service

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭seLinux
# 使用`root`用户编辑文件`/etc/selinux/config`，改为如下配置：
SELINUX=disabled

时钟同步服务[非必须]

查看时钟状态服务

ps aux | grep ntp
# 一般默认是开启的，查看下进程

准备Mysql[非必须]

安装Mysql

配置root权限密码

安装Ambari

安装Ambari注意包括Ambari server安装，Ambari setup配置，mysql配置，Ambari agent安装等步骤。

准备Ambari离线源

安装包解压缩

创建ambari 目录，将安装包拷贝到 httpd 网站根目录
在 httpd 网站根目录,默认是即/var/www/html/，创建目录 ambari：

#http初试路径： /var/www/html
mkdir /var/www/html/ambari/

sudo tar -xvf ambari-2.7.0.0-centos7.tar.gz       -C   /var/www/html/ambari/
sudo tar -xvf  HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/ambari/
sudo tar -xvf  HDP-3.0.0.0-centos7-rpm.tar.gz     -C /var/www/html/ambari/
sudo tar -xvf  HDP-GPL-3.0.0.0-centos7-ppc-gpl.tar.gz -C /var/www/html/ambari/

本地yum源配置

配置yum源文件

需要配置的本地源：Ambari、HDP、HDP-UTILS、HDP-GPL

创建四个源配置文件，需要配置文件中的host和yum路径

vim ambari.repo

[ambari-2.6.1.0]
name=ambari Version - ambari-2.6.1.0
baseurl=http://node1:8080/hdp/ambari/centos7/2.6.1.0-143
gpgcheck=0
gpgkey=http://node1/ambari/centos6/2.x/updates/2.6.1.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

vim hdp.repo

[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://hdp1:8080/hdp/HDP/centos7/2.6.4.0-91
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

vim hdp-utils.repo

[HDP-UTILS-1.1.0.22]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.22
baseurl=http://hdp1:8080/hdp/HDP-UTILS/
gpgcheck=0
enabled=1
priority=1

vim hdp.gpl.repo

[HDP-GPL-2.6.4.0]
name=HDP-GPL Version - HDP-GPL-2.6.4.0
baseurl=http://hdp1:8080/hdp/HDP-GPL/centos7/2.6.4.0-91
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

文件放置在：/etc/yum.repos.d/*.repo

分配到各个节点

scp /etc/yum.repos.d/*.repo root@node1:/etc/yum.repos.d/
...

创建本地库

制作本地源：

在/var/www/html/ambari

yum install yum-utils createrepo yum-plugin-priorities -y
createrepo  ./

查看yum源信息

yum repolist
# 注意查看是否有报错信息，判断repo配置文件是否正确

安装Ambari

mysql建库建用户：ambari，hive

创建Ambari的Mysql库和用户，以root用户创建

create database ambari character set utf8;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari123-';
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

创建Hive库

create database hive character set utf8;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive123-';
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
FLUSH PRIVILEGES;

备注：

修改mysql用户密码指令

update mysql.user set authentication_string=password('Ambari123-') where user='ambari';
update mysql.user set authentication_string=password('Hive123-') where user='hive';
FLUSH PRIVILEGES;

安装Ambari server

[node1] # yum install ambari-server

初始化Ambaer表(mysql)

以ambari用户登录mysql后执行：

mysql -uambari -pPassword_1

# 切换至ambari库
mysql > use ambari; 
# 执行批量建表语句
mysql > source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
# 查看是否建表成功
mysql > show tables;

准备mysql-JDBC

mysql-connect-java.jar文件放置在Ambari-server节点/var/lib/ambari-server/resources路径下

注意：需要重命名文件名，mysql-connect-java.jar，jar包带版本系统找不到。

cp mysql-connect-java-xxxx.jar /var/lib/ambari-server/resources/mysql-connect-java.jar

注：重命名JDBC包，删除版本号

安装Ambari agent

各个Slaver节点上执行

[node1] # yum install ambari-agent

配置Ambari

Ambari-server setup

ambari-server setup

# 可能出现的配置：
Customize user account for ambari-server daemon [y/n] (n)? y

Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
2

web页面配置

URL:http://master:8080

初试用户名密码：admin # admin

Ambari页面配置中，节点需要写全，master也要写

设置node列表，master也需要放上面，写的是各个节点的hostname

SSH写第一个节点的密钥，第一个登陆之后，后续都用免密进行登陆。

设置hdfs数据存储路径

根据挂载硬盘情况，设置NameNode，和DataNode路径。

启动ambari-server

ambari-server start
# 查看ambari启动状态
service ambari-server status 

附录

遇到的问题

问题1：HDFS安全模式

1.对磁盘进行扩容之后，修改DataNode数据存储地址，并重启HDFS

报错信息：NameNode无法重启

ambari Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs

解决方法：

# su hdfs   //切换到hdfs用户，若关闭了hdfs的权限则可略过这一步
# 让namenode离开安全模式
su -uhdfs hadoop dfsadmin -safemode leave   

问题2：创建用户权限

web页面最后安装组件过程，出现can open /etc/passwd文件错误，错误原因，没有创建用户的权限，所有节点都要执行。

chattr -i /etc/passwd
chattr -i /etc/group
chattr -i /etc/gshadow
chattr -i /etc/shadow

问题3：mysql-client

Ambari-server节点没有mysql client，需要安装mysql客户端：

# 先设置mysql下载源
yum -y install http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

# 下载mysql客户端
yum -y install mysql

备注项

下载地址

下载安装包

wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/ambari-2.7.0.0-centos7.tar.gz

wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

wget http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.0.0.0/HDP-3.0.0.0-centos7-rpm.tar.gz

wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7-ppc/3.x/updates/3.0.0.0/HDP-GPL-3.0.0.0-centos7-ppc-gpl.tar.gz

安装版本

版本选择

Ambari:2.7.0

集群安装配置

Grafana Admin：密码设置：Grafana

Activity Explorer’s Admin:密码设置：Activity

Hive:Hive123-

Oozie:Oozie123-

参考链接

https://blog.csdn.net/lanlianhua_luffy/article/details/103914183

https://blog.csdn.net/wudinaniya/article/details/81094578

https://www.cnblogs.com/shook/p/12409759.html

https://www.jianshu.com/p/580be22929ad

---