学习篇-Hadoop-YARN-环境搭建

一、Hadoop-YARN-环境搭建

官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

• 配置：etc/hadoop/mapred-site.xml

  <configuration>
      <property>
          <name>mapreduce.framework.namename>
          <value>yarnvalue>
      property>
      <property>
          <name>mapreduce.application.classpathname>
      <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*value>
      property>
  configuration>
  

  • 进入该目录查看是否存在该文件，发现只有mapred-site.xml.template
    

  • 拷贝mapred-site.xml.template，重命名mapred-site.xml

    cp  mapred-site.xml.template mapred-site.xml
    

    

  • vim打开文件，拷贝配置到对应节点即可。
    

• 配置：etc/hadoop/yarn-site.xml

  <configuration>
      <property>
          <name>yarn.nodemanager.aux-servicesname>
          <value>mapreduce_shufflevalue>
      property>
      <property>
          <name>yarn.nodemanager.env-whitelistname>
          <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOMEvalue>
      property>
  configuration>
  

  • 进入该目录查看是否存在该文件，发现有，则直接vim打开
  • 拷贝配置
    

• 启动进程-Start ResourceManager daemon and NodeManager daemon

  # 开启
  $ sbin/start-yarn.sh
  # 关闭
  $ sbin/stop-yarn.sh
  

  • 启动之前我们先查看有的进程
    

  • 启动之后
    

    • 多了ResurceManager和NodeManager

  • 通过浏览器验证

    • 阿里云需要开通安全组8088端口

    • 然后浏览器输入

      ip+默认端口【8088】
      

    • 页面效果