大数据Hadoop集群运行程序

---

1 运行自带的MapReduce程序

下面我们在Hadoop集群上运行一个MapReduce程序，以帮助读者对分布式计算有个基本印象。

在安装Hadoop时，系统给用户提供了一些MapReduce示例程序，其中有一个典型的用于计算圆周率的Java程序包，现在运行该程序。

该jar包文件的位置和文件名是“~/hadoop-3.1.0/share/Hadoop/mapreduce/hadoop- mapreduce-examples-3.1.0.jar”，我们在终端输入hadoop jar ~/hadoop-3.1.0/share/hadoop/ mapreduce/hadoop-mapreduce-examples-3.1.0.jar pi 10 10。按下Enter键后即可开始运行。其中pi是类名，后面跟了两个10，它们是运行参数，第一个10表示Map次数，第二个10表示随机生成点的次数（与计算原理有关）。

如果在程序运行过程中出现如图4-42所示的输出信息，则表明程序在正常运行，系统处于良好状态。

值得指出的是，运行Hadoop的MapReduce程序是验证Hadoop系统是否正常启动的最后一个环节。实际上，即使通过“jps”命令和Web界面监测验证了系统已经成功启动，并且能够查看到状态信息，也不一定意味着系统可以正常工作。例如，如果防火墙没有关闭，MapReduce程序运行就不会成功。

2 常见错误

经常有用户不能正常运行上述MapReduce程序，所遇到的错误提示也各不相同，主要有以下这些情况：

第一，Linux防火墙没有关闭，用户看到系统抛出“no route to host”或“There are 0 datanode(s) running and no node(s) are excluded in this operation.”异常信息。特别是在后一种异常情况下，我们虽然使用“jps”命令可以查看到Master和Slave上的NameNode、DataNode等进程都存在，但是如果使用“http://master:9870/”查看Hadoop状态，就会发现没有活动的DataNode，这就是无法正常运行MapReduce程序的原因。要消除上述异常，就必须关闭Linux防火墙，而且所有节点的防火墙都要关闭，然后重新启动Hadoop即可。关于关闭防火墙的具体办法，请参见第3章中有关内容。
java.net.NoRouteToHostException: No route to hostjava.net.NoRouteToHostException: No route to host

第二，系统不稳定。当系统由于某种原因处于一种不稳定状态时，也可以导致程序运行失败，一般可以简单地重新运行一下命令即可。

第三，系统处于安全模式，这时系统会给出提示“system is in safe mode”。这时，我们只要执行如下命令：hadoop dfsadmin -safemode leave

即可关闭安全模式。离开安全模式后，就可以正常运行程序了。

第四，mapred-site.xml配置不合适。在Hadoop中运行应用程序时，出现了“running beyond virtual memory”错误，提示信息是“Container [pid=6629,containerID=container_ 1532136350867_0001_01_000026] is running 541133312B beyond the ‘VIRTUAL’ memory limit. Current usage: 291.8 MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing container”。显然，这表明Slave上运行的Container试图使用过多的内存，而被NodeManager 杀（kill）掉了。解决办法是调整mapred-site.xml配置，例如，可以将下面这些配置代码加入mapred-site.xml文件中：

<property>
　　<name>mapreduce.map.memory.mbname>
　　<value>2048value>
property>
<property>
　　<name>mapreduce.map.java.optsname>
　　<value>-Xmx1024Mvalue>
property>
<property>
　　<name>mapreduce.reduce.memory.mbname>
　　<value>4096value>
property>
<property>
　　<name>mapreduce.reduce.java.optsname>
　　<value>-Xmx2560Mvalue>
property>

上述代码中的value需要根据自己计算机内存大小及应用情况决定。

上述几种异常有时候可以重叠在一起出现，这时候就需要逐个解决问题。

Hadoop是一种开源系统，且处于不断进化中，出现各类问题是很正常的。从某种意义上讲，开发和应用Hadoop大数据应用系统，就是一个不断面对各种问题、需要持续努力和耐心去应对的过程。