一:Hadoop初始化环境搭建-1

一:虚拟机和Linux的安装


在搭建Hadoop集群环境之前,我们必须要进行如下的准备工作:

01.安装虚拟机

02.安装3台Linux

03.修改主机名和IP地址对应关系

04.SSH免密码登陆


1.1:虚拟机的安装步骤

        VMware的安装版本是12,大家可以直接百度,下载需要的虚拟机!



















 这里虚拟机的内存,也可以使用推荐设置!(如果真机内存够用,可以设置高点)




















 这里的声卡和打印机也可以不删除。(强迫症,目前没用的组件删除,不影响我们后续操作)




1.2:LInux安装步骤












 之后点击开始安装,等待。。。。。


二:NAT网络设置

  简单介绍下网络设置的不同:

桥接网络: 虚拟机使用本地网络,和本机ip值 相同!

仅主机:只能和本机进行通讯,无法上网!

NAT:即可以上网,也可以和本机进行通讯!

2.1:本机设置



右键点击网络,选择打开网络和共享中心



找到VMnet8


选择属性



配置真机(windows)中的ip映射


2.2:虚拟机设置


选择虚拟机中的网络设置



点击修改


配置虚拟机中的ip映射


2.3:在真机(windows)中设置网络共享



如果是WIFI就选择WIFI即可


这样,我们的虚拟机就可以连接网络了


三:可能出现的问题


线缆被拔出的解决方案


四:开机自启动网络连接


切换到指定的目录

 cd  /etc/sysconfig/network-scripts/



找到选中的文件




修改onboot为yes即可

五:克隆子机器

  我们最终的hadoop分布式环境是1个master,2个slave。所以还需要把刚才创建的机器,克隆两份!


 5.1:关闭克隆的机器


 5.2:克隆机器









创建完整克隆 



文件名称和位置,自拟,建议和之后的主机名一致


 5.3:安装上诉步骤再克隆slave2机器




六:修改3台虚拟机的IP地址和主机名称

  因为我们的第一台虚拟机的IP已经设置,所以只需要修改克隆的两台机器即可!

6.1:修改slave1的IP地址 

        192.168.27.3




6.2:修改slave2的IP地址

 192.168.27.4



6.3:修改3台虚拟机的ip地址和主机名称的对应关系

1:修改3台电脑的主机名

使用XShell 连接3台虚拟机


修改主机名

hostnamectl  --static set-hostname 主机名



修改master机器


修改slave1机器


修改slave2机器


2:修改3台电脑的主机名和IP地址对应关系


在每台电脑上运行:vim  /etc/hosts  

在文件中都增加:

192.168.27.2  master

192.168.27.3  slave1

192.168.27.4  slave2

七:设置SSH免密码登陆


7.1:生成.ssh文件

在每台电脑中使用ssh命令,让每台电脑中的~目录下生成.ssh文件!

 在master机器上运行  ssh  slave1

在slave1机器上运行  ssh  master

在slave2机器上运行  ssh  master


7.2:master机器上生成密钥


在master机器上生成密钥运行:ssh-keygen -t rsa




7.3:复制密钥


把master机器生成的id_rsa.pub复制到另外两个

子机器中,重命名为authorized_keys


id_rsa.pub的路径在 ~/.ssh/文件夹下面!


 scp id_rsa.pub root@slave1:~/.ssh/authorized_keys


 scp id_rsa.pub root@slave2:~/.ssh/authorized_keys




slave1和slave2分别是另外两台子机器的主机名!


7.4:修改权限

在两个子机器中把authorized_keys

文件的权限改为600

 chmod 600 authorized_keys



7.5:追加授权


在master节点使用下面命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys(把id_rsa.pub追加到授权的key里面去)


7.6:修改配置文件



所有机器上使用下面命令

vim /etc/ssh/sshd_config(修改SSH配置文件"/etc/ssh/sshd_config")


RSAAuthentication yes #启用 RSA 认证

PubkeyAuthentication yes #启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)





八:关闭防火墙


firewall-cmd --state                                    查询防火墙状态

systemctl  stop firewalld.service                   关闭防火墙

systemctl  start firewalld.service                    开启防火墙

systemctl  disable firewalld.service              禁止开启启动防火墙




三台Linux电脑的防火墙都需要关闭!本机(windows)防火墙也需要关闭!

你可能感兴趣的:(一:Hadoop初始化环境搭建-1)