Hadoop-3.3.0-Centos7安装详解

Hadoop3.1.3–Centos7伪分布式安装

安装包目录软件安装目录

mkdir -p /opt/sofware
mkdir -p /opt/servers

---

一、基础配置

​ 我们规划整个Hadoop集群由三台服务器组成,分别为node1、node2和node3

• 配置虚拟机

​ 通过克隆方式创建的虚拟机node2和node3的主机名均与克隆源虚拟机

​ 这里需要修改虚拟机node2和node3的主机名，即将它们分别命名为node2和node3

• 修改主机名

  hostnamectl set-hostname node2
  

​ 重复上述步骤，将虚拟机node3的主机名修改为node3

• 配置虚拟机网络

  跳转链接在Liunx系统下配置网关

• 配置SSH免密登录功能

  分别在三台虚拟机中执行“rpm -qa | grep ssh”命令查看当前虚拟机是否安装SSH服务

  rpm -qa | grep ssh
  

  如果已经安装了ssh相关服务可执行“ps -e | grep sshd”命令查看SSH服务是否启动（若没有安装，则需要执行“yum install openssh-server”命令进行在线安装）

  ps -e | grep sshd
  yum install openssh-server  #在线安装ssh服务
  

  开始配置

  输入“ssh-keygen -t rsa”指令，并根据提示，可以不用输入任何内容，连续按四次Enter键确认

  ssh-keygen -t rsa
  

  将公钥拷贝到需要关联的虚拟机上（即node1、node2、node3），根据提示输入“yes”和node2主机的密码123456

• ssh-copy-id node2

• ssh-copy-id node3

  执行“ssh node2”命令，验证免密登录是否成功

  ssh node2
  

  重复上述步骤，实现服务器node1分别到node2和node3的单向免密登录，这里不再赘述。

• 配置IP映射

  配置IP映射，将三台虚拟机的IP地址与对应的主机名进行映射，便于后续可以直接通过主机名访问对应的主机，这里以虚拟机node1为例，具体操作步骤如下。

  执行如下命令，修改IP映射文件hosts，具体如下：

  vi /etc/hosts
  

  重复上述步骤，分别在虚拟机node2和node3中配置IP映射，这里不再赘述。

• 关闭防火墙

  查看防火墙

  systemctl status firewalld.service
  

  关闭防火墙

  systemctl stop firewalld.service
  

  执行上述命令后，再次执行查看防火墙状态的命令，若是出现“inactive（dead）”，则说明防火墙已关闭

  不过此时虚拟机中的防火墙只是暂时关闭，一旦系统重启，则防火墙也会重新启动，因此需要永久关闭防火墙，防火墙开机启动，具体命令如下：

  systemctl disable firewalld.service
  

---

二、Hadoop集群伪分布式安装

• 安装JDK

  上传Hadoop安装包到node1 /export/server 执行命令安装，安装完JDK后，还需要配置JDK环境变量。这里是将JDK添加到user_hbase用户的环境变量中，执行“vi ~/.bash_profile”命令，打开.bash_profile文件，在文件底部添加如下内容即可。

  tar -zxvf jdk-8u65-linux-x64.tar.gz -C /opt/servers
  
  mv jdk1.8.0_65/ jdk
  
  # 配置JDK系统环境变量
  export JAVA_HOME=/opt/servers/jdk1.8
  export PATH=$PATH:$JAVA_HOME/bin
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  

  在.bash_profile文件中配置完上述JDK环境变量后（注意JDK路径），保存退出即可。然后，还需要执行“source ~/.bash_profile”命令，使配置文件生效。

• 安装并且部署Hadoop

  1、上传Hadoop安装包到node1 /opt/software 执行命令安装

  hadoop-3.1.3.tar.gz 
  
  tar zxvf hadoop-3.1.3.tar.gz -C /opt/servers
  
  vim /etc/profile
  
  # 配置JDK系统环境变量
  export HADOOP_HOME=/opt/servers/hadoop-3.1.3
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

  2、修改配置文件(配置文件路径 hadoop-3.3.0/etc/hadoop)

  ①hadoop-env.sh

  #文件最后添加
  export JAVA_HOME=/opt/servers/jdk
  export HDFS_NAMENODE_USER=root
  export HDFS_DATANODE_USER=root
  export HDFS_SECONDARYNAMENODE_USER=root
  export YARN_RESOURCEMANAGER_USER=root
  export YARN_NODEMANAGER_USER=root 
  

  ②core-site.xml

  
  <property>
      <name>fs.defaultFSname>
      <value>hdfs://node1:8020value>
  property>
  
  
  <property>
      <name>hadoop.tmp.dirname>
      <value>/opt/servers/data/hadoop-3.3.0value>
  property>
  
  
  <property>
      <name>hadoop.http.staticuser.username>
      <value>rootvalue>
  property>
  
  
  <property>
      <name>hadoop.proxyuser.root.hostsname>
      <value>*value>
  property>
  
  <property>
      <name>hadoop.proxyuser.root.groupsname>
      <value>*value>
  property>
  
  
  <property>
      <name>fs.trash.intervalname>
      <value>1440value>
  property>
  

  ③hdfs-site.xml

  
  <property>
      <name>dfs.namenode.secondary.http-addressname>
      <value>node2:9868value>
  property>
  

  ④mapred-site.xml

  
  <property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
  property>
  
  
  <property>
    <name>mapreduce.jobhistory.addressname>
    <value>node1:10020value>
  property>
   
  
  <property>
    <name>mapreduce.jobhistory.webapp.addressname>
    <value>node1:19888value>
  property>
  
  <property>
    <name>yarn.app.mapreduce.am.envname>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}value>
  property>
  
  <property>
    <name>mapreduce.map.envname>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}value>
  property>
  
  <property>
    <name>mapreduce.reduce.envname>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}value>
  property>
  

  ⑤yarn-site.xml

  
  <property>
  	<name>yarn.resourcemanager.hostnamename>
  	<value>node1value>
  property>
  
  <property>
      <name>yarn.nodemanager.aux-servicesname>
      <value>mapreduce_shufflevalue>
  property>
  
  
  <property>
      <name>yarn.nodemanager.pmem-check-enabledname>
      <value>falsevalue>
  property>
  
  
  <property>
      <name>yarn.nodemanager.vmem-check-enabledname>
      <value>falsevalue>
  property>
  
  
  <property>
    <name>yarn.log-aggregation-enablename>
    <value>truevalue>
  property>
  
  
  <property>
      <name>yarn.log.server.urlname>
      <value>http://node1:19888/jobhistory/logsvalue>
  property>
  
  
  <property>
    <name>yarn.log-aggregation.retain-secondsname>
    <value>604800value>
  property>
  

  ⑥workers

  node1
  node2
  node3
  

  3、分发同步hadoop安装包

  cd /opt/servers
  
  scp -r hadoop-3.1.3 root@node2:$PWD
  scp -r hadoop-3.1.3 root@node3:$PWD
  

  4、将hadoop添加到环境变量（3台机器）

  vim /etc/profile
  
  export HADOOP_HOME=/opt/servers/hadoop-3.1.3
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  
  source /etc/profile
  
  

  5、Hadoop集群启动

  ①（首次启动）格式化namenode

  hdfs namenode -format
  

  ②脚本一键启动

  [root@node1 ~]# start-dfs.sh 
  Starting namenodes on [node1]
  Last login: Thu Nov  5 10:44:10 CST 2020 on pts/0
  Starting datanodes
  Last login: Thu Nov  5 10:45:02 CST 2020 on pts/0
  Starting secondary namenodes [node2]
  Last login: Thu Nov  5 10:45:04 CST 2020 on pts/0
  
  [root@node1 ~]# start-yarn.sh 
  Starting resourcemanager
  Last login: Thu Nov  5 10:45:08 CST 2020 on pts/0
  Starting nodemanagers
  Last login: Thu Nov  5 10:45:44 CST 2020 on pts/0
  

  • Web UI页面

    • HDFS集群：http://node1:9870/
    • YARN集群：http://node1:8088/