cdh 5.8 集群安装

近期测试环境升级，结果升级出错，启动不了，于是乎重新安装了一遍集群。

暂时先不做排版，后期有时间后再做排版

参考地址：http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html




【安装系统】
我们选择 centos 6.7 ，总共四台机器,
hap01    6g内存     192.168.1.101(server)
hap02    4g内存     192.168.1.102
hap03    4g内存     192.168.1.103
hap04    4g内存     192.168.1.104


【关闭防火墙】




【关闭selinux】



【配置集群hosts】






【安装 jdk】
jdk 1.8




【安装依赖】
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb






【安装数据库】
参照 mariadb 安装




【创建数据库用户】


create database cm_server DEFAULT CHARACTER SET utf8;


grant all on *.* TO 'cdhadmin'@'%' IDENTIFIED BY 'admin';








【解压cm 安装包】
下载cm 安装包。
下载地址： http://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_vd.html
tar xzf cloudera-manager*.tar.gz -C /opt/






【创建cm 用户】


useradd --system --home=/opt/cm-5.8.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm


【创建路径】
mkdir /var/lib/cloudera-scm-server
mkdir /var/log/cloudera-scm-server


chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server




【修改配置文件】


vi etc/cloudera-scm-agent/config.ini


server_host=hap01
server_port（默认）






【创建 Parcel  路径】


mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo


mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels




【复制驱动】


cp mysql-connector-java-5.1.39-bin.jar /opt/cm-5.8.1/share/cmf/lib/






【配置数据库】


share/cmf/schema/scm_prepare_database.sh mysql cm_server cdhadmin admin -u root -p 




【分发cm】


scp -r /opt/c* root@hap03:/opt


【更改目录权限】
各个节点创建用户，并授权
chown -R cloudera-scm:cloudera-scm /opt/c*






Cloudera Manager Server 用来提供管理及页面展示
Cloudera Manager Agents 用来与 server 通讯。


【启动 Manager Server】


etc/init.d/cloudera-scm-server start


server 启动需要一定时间，查看日志文件


tail -f /opt/cm-5.8.1/log/cloudera-scm-server/cloudera-scm-server.log


当出现图示时，启动完成，可访问  host:7180 进行访问，此时先不要登录。




【将 server 添加进服务列表】
cp etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server


vi /etc/init.d/cloudera-scm-server
根据图示，
在脚本开始添加
export JAVA_HOME=/usr/local/java/jdk


修改 CMF_DEFAULTS 


chkconfig --add cloudera-scm-server




chkconfig --list


chkconfig cloudera-scm-server off


测试服务是否可用


service cloudera-scm-server stop
service cloudera-scm-server start




【启动 Manager Agents】
etc/init.d/cloudera-scm-agent start


查看 Agents 启动日志


tail -f /opt/cm-5.8.1/log/cloudera-scm-agent/cloudera-scm-agent.log


可能会有错误，如图




创建文件夹，并授权即可
mkdir /opt/cm-5.8.1/run/cloudera-scm-agent
chown -R cloudera-scm.cloudera-scm /opt/cm-5.8.1/run/cloudera-scm-agent




【将 Agents 添加进服务列表】


cp etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent


vi /etc/init.d/cloudera-scm-agent


根据图示，
在脚本开始添加（经测试，agents 不添加 JAVA_HOME 环境变量也可以）
export JAVA_HOME=/usr/local/java/jdk


修改 CMF_DEFAULTS 




chkconfig --list


chkconfig --add cloudera-scm-agent
chkconfig cloudera-scm-agent off




然后把 agents 服务添加到其他主机中
启动每一个 agent 








【修改 swappiness 】
所有节点执行：
临时生效
sysctl vm.swappiness=0


永久生效，需重启
vi /etc/sysctl.conf


末尾追加
#CDH
vm.swappiness=0


【透明大页面禁用】
执行命令
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag


开机生效
vi /etc/rc.local


末尾追加
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag




然后访问 hap01:7180 进行配置