大数据集群搭建中遇到的问题

1.在搭建集群的时候需要克隆虚拟机来作为数据节点，在克隆以后遇到了ifconfig不能出来ens33的问题，这个问题是需要到
/etc/sysconfig/network-scripts/
目录下来通过
ifconfig ens33 up
来启动ens33的网卡。
启动网卡后发现在ens33中没有打出ip地址通过下面三个命令可以解决问题

systemctl stop NetworkManager                             临时关闭
systemctl disable NetworkManager                          永久关闭网络管理命令
systemctl start network.service                           开启网络服务

2.在解决完上面的问题的时候发现ifconfig出来的IP地址尽然有两个，原因是我原来解决ip地址没有的问题的时候，修改了虚拟机的网络配置，想配一个静态的ip地址，在图中BOOTPROTO中写的static，然后下面写了IPADDR，后来改为dhcp的时候那个地址没有变成新的dhcp分配的地址。解决方法是把ipaddr中的地址修改炜dhcp分配的地址。然后重启网络

cd /etc/init.d
./network restart

image.png

3.集群在关闭的时候，显示数据节点是被强制关闭的，进入数据节点中查看log

image.png

End of File Exception between local host is: "dn1/xxx"; destination host is: "nn1":8020;

原因是在名称节点中stop-all.sh只关闭了名称节点本地的服务，而在数据节点中的并没有关闭，数据节点是依赖名称节点中的8020端口的，先关闭了名称节点中的端口，其他的节点关闭的时候就会报错。解决方法是重新编辑名称节点的stop-all.sh脚本来关闭数据节点。
将下面的语句添加到执行stop-dfs.sh的语句之前，可以先关闭数据节点，再关闭名称节点就不会报错

hdfs -workers --daemon stop datanode