ambari平台的搭建过程

部门老大要求搭建一个四台服务器组成的hadoop集群,做一些小中型数据集的数据处理工作。

赶鸭子上架,尝试了一下ambari平台的一键式安装,感觉很方便,来分享一下过程。

第一篇博文,不足之处,望大家包含。


需要的软件和硬件:

1.三台ubuntu12的虚拟机

2.HDP-2.4.0.0-ubuntu12-deb.tar.gz

3.ambari-2.2.1.0-ubuntu12.tar.gz

4.HDP-UTILS-1.1.0.20.tar.gz


上面的三个包相对较大,我是把他放到了本地的master上,做成了一个本地库,不然每个每个节点在安装过程从网上下载速度可能有些慢,当然。。。网速够快的可以忽略。


一、虚拟机配置


1.修改主机名,参照如下表

(可以不改,我是为了方便辨认)

master master.bigdata.com
slave1 slave1.bigdata.com
slave2 slave2.bigdata.com


2.修改各个虚拟机的hosts文件

10.10.0.98 master.bigdata.com master
10.10.0.97 slave1.bigdata.com slave1
10.10.0.96 slave2.bigdata.com slave2

3.把上面的三个包放到/var/www/html路径下,解压命令tar -zxvf


4.在master的/var/www/html路径下执行命令

python -m SimpleHTTPServer开启http服务。


5.下载一个ambari的存储库地址文件到虚拟机

命令:

(1)wget -nv http:/public-repo-1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.2.1.0/ambari.list -O /etc/apt/sources.list.d/ambari.list

(2)apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD(这条命令很重要,因为它可能会提示你缺少key导致不能继续进行,执行此条命令即可)

(3)apt-get update


6.修改官方源库配置文件/etc/apt/sources.list.d/ambari.list,注释掉原有地址,添加一行本地库地址:

deb http://master.bigdata.com:8000/AMBARI-2.2.1.0/ubuntu12/2.2.1.0-161/ Ambari main


此处可能还会用到这条命令apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD


7.在各个虚拟机上都执行apt-get update命令更新源库文件


8.可以通过以下命令确认是否下载成功

apt-cache showpkg ambari-server

apt-cache showpkg ambari-agent

apt-cache showpkg ambari-metrics-assembly


9.在master上安装ambari-server和ambari-agent,在slave上安装ambari-agent,

命令为:apt-get install ambari-serber

               apt-get install ambari-agent


10.修改ambari-agent配置,位置为/etc/ambari-agent/conf/ambari-agent.ini

把hostname修改为master.bigdata.com


11.在master上安装mysql数据库

apt-get install mysql

创建数据库用户ambari,密码为bigdata,并给用户添加权限。


12.修改mysql的配置文件,路径为/etc/mysql/my.cnf

注释掉bind-address =127.0.0.1这句,用以开启mysql的远程连接。


13.在master中执行ambari-serber setup配置ambari服务


14.在master上执行命令ambari-server start开启ambari server

查看服务开启状态命令:ambari-server status

关闭服务命令:ambari-server stop


15.完成以上步骤后,开始进行hdp平台的安装


二、HDP安装过程


访问地址  master.bigdata.com:8080,开始进行配置。用户名admin,密码admin。

安装过程如下列图片:

ambari平台的搭建过程_第1张图片


ambari平台的搭建过程_第2张图片


ambari平台的搭建过程_第3张图片


ambari平台的搭建过程_第4张图片


ambari平台的搭建过程_第5张图片


ambari平台的搭建过程_第6张图片


ambari平台的搭建过程_第7张图片

解决hugepage问题方法,输入以下命令:

echo never >/sys/kernel/mm/transparent_hugepage/defrag

echo never >/sys/kernel/mm/transparent_hugepage/enabled


解决ntp服务问题

apt-get install ntp

ambari平台的搭建过程_第8张图片


ambari平台的搭建过程_第9张图片


ambari平台的搭建过程_第10张图片

配置mysql服务和hive存储库

ambari-server setup --jdbc-driver /usr/share/java/mysql-connector-java-5.1.40-bin.jar

mysql -u root -p

create database hive;

create user 'hive'@'%' identified by 'bigdata';

grant all pribileges on hive.* to hive;

flush pririleges;


ambari平台的搭建过程_第11张图片


ambari平台的搭建过程_第12张图片


ambari平台的搭建过程_第13张图片


ambari平台的搭建过程_第14张图片


ambari平台的搭建过程_第15张图片


ambari平台的搭建过程_第16张图片



谢谢观看!!



你可能感兴趣的:(hadoop成长史)