搭建Hadoop平台（六）（实时更新，随时有新内容，注意多多查看）

目录

/*在打开虚拟机之后，要先在master和slave1分别上输入:start-dfs.sh和start-yarn.sh来分别启动hdfs平台和yarn平台*/

在mapreduce上运行内置程序

1.配置环境变量

1.进入到相关路径

也可以这样直接引用环境变量的方式进入到hadoop的相关路径

2.复制路径

2.配置环境变量

1.在slave1下,进入到相关路径

2.配置相关文件

3.传递相关配置文件到其余节点上

1.将该文件传到master和slave 2上

4.重启yarn平台

5.提交mapreduce任务给集群运行

1.进入相关目录

2.提交mapreduce任务给集群运行

6.验证是否成功的方法：

1.方法（一）：要确保在Linux系统的界面下出现successfully才成功

2.方法（二）：也可以在浏览器的UI界面下进行查看验证，即点击/data/output,若点进去出现“SUCCESS”的字样，在yarn上运行的这个mapreduce样例程序就成功了

---

/*在打开虚拟机之后，要先在master和slave1分别上输入:start-dfs.sh和start-yarn.sh来分别启动hdfs平台和yarn平台*/

在mapreduce上运行内置程序

1.配置环境变量

1.进入到相关路径

cd /opt/module/hadoop-3.1.4/share/hadoop/

也可以这样直接引用环境变量的方式进入到hadoop的相关路径

cd $HADOOP_HOME

如图所示：

2.复制路径

hadoop classpath

然后将出现的路径复制粘贴

如图所示：

2.配置环境变量

1.在slave1下,进入到相关路径

cd /opt/module/hadoop-3.1.4/etc/hadoop/

2.配置相关文件

vi yarn-site.xml

    参考如图所例：

把上述图片所标记的内容，写到yarn-site.xml中，然后保存并退出（其中刚才复制粘贴的内容，可以直接粘贴到该文件中）

3.传递相关配置文件到其余节点上

1.将该文件传到master和slave 2上

输入：

scp -r yarn-site.xml slave2:/opt/module/hadoop-3.1.4/etc/hadoop/yarn-site.xml

scp -r yarn-site.xml master:/opt/module/hadoop-3.1.4/etc/hadoop/yarn-site.xml

4.重启yarn平台

在scp传输完文件之后，需要在slave 1上重启yarn平台，就是先关一遍，然后再启动一遍

即：

stop-yarn.sh

start-yarn.sh

5.提交mapreduce任务给集群运行

/*mapreduce样例所在的路径:/opt/module/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar*/

/*mapreduce包含7个内置模块

下面介绍常见的4个内置模块：

1.wordcount 对输入的单词文件进行词频统计
2.pi 应用拟蒙特卡罗方法计算圆周率r的值
3.wordmean 计算输入的文件单词的平均长度
4.wordmedian 计算输入文件的单词长度的中位数*/

1.进入相关目录

cd /opt/module/hadoop-3.1.4/share/hadoop/

2.提交mapreduce任务给集群运行

格式：

hadoop jar jar包所在的绝对路径 输入文件的路径 输出结果文件的路径

接下来使用的是wordcont样例：，所输入的命令即：

jar hadoop-mapreduce-examples-3.1.4.jar wordcount /data/input /data/output

注意：

          输出结果文件提交前不能存在

           即：首先，要确保建立/data/input，然后/data/下面只能存在input，不能存在output，如果有的话，将output的删除(删除的话，用hdfs dfs -rm -r的命令在linux界面下删除，这样就能在Linux系统里面删除；如果是在浏览器的UI界面上删除，是在WINDOWS系统里面删除，Linux系统里面无法删除，就会报错) 

6.验证是否成功的方法：

1.方法（一）：要确保在Linux系统的界面下出现successfully才成功

2.方法（二）：也可以在浏览器的UI界面下进行查看验证，即点击/data/output,若点进去出现“SUCCESS”的字样，在yarn上运行的这个mapreduce样例程序就成功了