Hadoop中的集群配置规划

对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。但是，我们要把它搭建起起来，就必须要了解它的基本组成，知道它的内部分工。

在Hadoop3.X中，hadoop一共有三个组成部分：MapReduce，Yarn，HDFS。它们的作用如下：

1. MapReduce: 用来提供计算。
2. HDFS:用来提供文件存储功能。
3. Yarn: 用来协调调度。

这里一共有5个文件要配置：分别是core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml,workers。 五个配置文件都存放在$HADOOP_HOME/etc/hadoop这个路径下。

（1）core-site.xml核心配置文件

当前要操作的文件是：/opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml我们使用编辑器，将它的文件内容修改如下：

    

    

        fs.defaultFS

        hdfs://hadoop100:8020

    

    

    

        hadoop.tmp.dir

        /opt/module/hadoop-3.1.3/data

    

    

    

        hadoop.http.staticuser.user

        root

    

（2）HDFS配置文件

接下来配置第二个文件，/opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

将它的文件内容修改如下：

        dfs.namenode.http-address

        hadoop100:9870

    

    

        dfs.namenode.secondary.http-address

        hadoop102:9868

    

（3）YARN配置文件

配置/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml，文件内容如下：

    

    

        yarn.nodemanager.aux-services

        mapreduce_shuffle

    

    

    

        yarn.resourcemanager.hostname

        hadoop101

    

    

    

        yarn.nodemanager.env-whitelist

JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

    

（4）MapReduce配置文件

配置/opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml，文件内容如下：

    

        mapreduce.framework.name

        yarn

    

>

（5）配置workers

要修改的文件是：/opt/module/hadoop-3.1.3/etc/hadoop/workers，在该文件中增加如下内容：

hadoop100

hadoop101

hadoop102