hadoop集群安装环境配置

第一步从hadoop官网进行下载hadoop资源

然后传到虚拟机进行解压命令：tar -zxvf xxx

解压完成后进行环境变量配置主要是让Hadoop知道你的java在哪里

1.cd 到hadoop文件夹 ->输入命令:vi hadoop env.sh

在这一行写上java home

这样第一步环境变量就配置完成了

下来进行第二步,配置core-site.xml

首先要说一下这个

统一资源点位:像http和jdbc和hdfs这些属于一种协议而后跟上主机名或者域名例如www.163.com/hdp-01/

再往后就是跟上端口号就差不多是这么样的一个标准那么下来让我们来配置core-site.xml

输入命令:vi core-site.xml

打上图片的的这句话默认文件是hdfs(fs.defaultFS)

和上面说的统一资源(hdfs://你自己的主机：默认端口9000)

第三部改hdfs的配置

还是在hadoop下

输入命令：vi hdfs-site.xml

加上这段话这里写的时namenode

这里写的是namenode的存在的文件路径

同上加上datanote，在同一个hdfs集群上互不冲突因为都是软件可以安装namenode也可以安装dtanode

到这里我们的配置就完成了

但是第一次要格式化namenode因为你配置的namenode文件夹还未存在

输入命令：hadoop namenode -format

但是系统会提示未找到hadoop命令

下来解决这个问题就是配置命令的环境变量

输入命令：vi /etc/profile

这个就配置好了这样在格式化namenode

完成后启动namenode

输入命令：hadoop-daemon.sh start namenode

然后下来我看看一下应用进程和端口占有情况

jps是java软件运行情况

ps -ef | grep 2520这个是虚拟机2520这个进程号软件运行的详细信息

下来也可以先看一下2520的进程号可以看见端口9000和50070

其中50070是外部服务器你可以去网页访问信息

看见网址的输入格式根据自己的也可以进入

这个配置就到这里但是有的有secondarynamenode跟前面配置一样但是不要

配置到同一台机器上防止一台机器挂掉会全部死掉。