快速入门CDH（Cloudera Hadoop）集群的搭建

在此说明，本人用的是普通用户（如hadoop）

一、创建三台虚拟机

如何创建在本人博客里有详细介绍，这里就不详细介绍了。

二、修改IP，以及主机名等

1、修改IP：

sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0 

IPADDR：对应自己设置的IP，但是前三个数字要和虚拟网络编辑器中的NAT模式下的子网一样：

ONBOOT：设置为yes
BOOTPROTO：设置为static
GATEWAY：前上个数和子网一样，最后一个数为2
DNS1：设置为和GATEWAY一样，或者设置为8.8.8.8：

2、修改主机名：

sudo vi /etc/sysconfig/network

修改为自己想设置的名字（如hadoop01）

查看是否修改成功：

hostname

3、配置IP对应的主机名：

sudo vi /etc/hosts

在配置文件中添加IP对应的主机名

4、关闭防火墙：

一次关闭：

sudo service iptables status：查看防火墙的状态
sudo service iptables stop：关闭防火墙

关闭开机自启动：

sudo chkconfig iptables off

5、记得重启下服务：

sudo service network restart

三、实现ssh免密登录

如果三台机器用来搭建集群，可以将namenode所在的机器来免密其他两台。
在namenode上执行如下命令：

1、进入到：

cd ~/.ssh

2、生成公钥和密钥：

ssh-keygen`

然后敲（三个回车），就会生成两个文件id_rsa（私钥），id_rsa.pub（公钥）

3、将公钥拷贝到要免密登录的目标机器上：

ssh-copy-id 目标机器IP（如果配置了IP对应的主机名，在此可以写主机名）
ssh-copy-id 目标机器IP

4、测试是否免密成功：

ssh 主机名

第一次需要输入密码，但是再次测试，就不需要输入密码，直接登录进去

四、实现时间同步

1、查看当前时间：

date

2、显示硬件时间：

sudo hwclock

3、调整时区：

sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc//localtime 

4、下载Linux时间同步服务软件（ntpdate）：

sudo yum -y install ntpdate

5、同步网络时间：

sudo ntpdate time.nuri.net

6、同步时间成功后调整硬件时间：

sudo hwclock -w

7、同步成功，测试一下：

date
sudo hwclock

五、安装jdk，三台都需要安装

如何进行安装，本人博客中有详细介绍，可前往浏览！！！

六、安装hadoop，配置集群 集群部署规划：

1、添加压缩包

将hadoop压缩包放到“/home/hadoop/tools”下，三台都要放

2、解压

将压缩包解压，并解压到“/home/hadoop/install/”下

3、配置全局的hadoop

将hadoop配置到/etc/profile中：

4、修改配置文件（先修改一台，改好之后分发）

如何配置在本人的博客中，还得劳烦读客前去翻阅！！！

5、配置完成后，使用命令分发

七、使用脚本，实现同步命令

1、在每台机器上安装rsync：

sudo yum -y install rsync

2、将编写的xsync脚本放到/usr/local/bin下

3、进入到/usr/local/bin下：

cd /usr/local/bin/

4、为xsync脚本赋权：

sudo chmod 777 xsync

赋权后，文件颜色如此：

5、将配置好的机器上的配置文件分发到其他两台机器上：

（1）core-site.xml

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml

（2）hadoop-env.sh

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hadoop-env.sh

（3）hdfs-site.xml

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml

（4）slaves

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/slaves

（5）yarn-env.sh

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/yarn-env.sh

（6）yarn-site.xml

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/yarn-site.xml

（7）mapred-env.sh

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/mapred-env.sh

（8）mapred-site.xml

xsync /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/etc/hadoop/mapred-site.xml

八、集群搭建完成，启动测试

1、如果集群是第一次启动，需要格式化 namenode ：

hdfs namenode -format

2、启动HDFS：

start-dfs.sh

3、启动YARN：

start-yarn.sh

注意：Namenode 和 ResourceManger 如果不是同一台机器，不能在 NameNode 上启动 yarn，应该在 ResouceManager 所在的机器上启动yarn。

4、通过Web界面查看是否集群启动成功：

（1）HDFS的Web访问界面：

http://192.168.85.128:50070

显示此界面表示启动成功：

（2）YARN的Web访问界面：

http://192.168.85.130:8088

显示此界面表示启动成功：

望各位大神留下你珍贵的足迹！！！需要的软件可以去资源中下载。。。