hadoop3.x单机部署

 jdk

hadoop3.x需要jdk8以上的版本

hadoop3.x

从官网下载对应的tar.gz文件

配置环境变量

vim /etc/profile

# 需要替换为自己的安装地址！！！
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile

hadoop env 文件配置

vim /opt/hadoop-3.3.6/etc/hadoop/hadoop-env.sh

# 需要更改为自己的安装地址
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export HADOOP=/opt/hadoop-3.3.6

# 用户也需要对应修改
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

设置服务器免密登陆

hostname  # 输出应为 hcss-ecs-a5de（根据你的实际主机名）
sudo vim /etc/hosts

127.0.0.1   localhost hcss-ecs-a5de
your_server_ip hcss-ecs-a5de

ping hcss-ecs-a5de  # 应能正常解析

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh

ssh localhost  # 应无需密码直接登录

如果没有进行免密配置，最终启动会报错：

root@hcss-ecs-a5de:/opt/hadoop-3.3.6/sbin# ./start-all.sh 
Starting namenodes on [bigdataflowing]
bigdataflowing: ssh: Could not resolve hostname bigdataflowing: Temporary failure in name resolution
Starting datanodes
localhost: root@localhost: Permission denied (publickey,password).
Starting secondary namenodes [hcss-ecs-a5de]
hcss-ecs-a5de: root@hcss-ecs-a5de: Permission denied (publickey,password).
Starting resourcemanager
Starting nodemanagers
localhost: root@localhost: Permission denied (publickey,password).

核心配置文件修改

注意：hcss-ecs-a5de 需要修改为你自己的服务器信息！！！

vim /opt/hadoop-3.3.6/etc/hadoop/core-site.xml

# 在 configuration 标签中，添加如下内容：

        fs.defaultFS
        hdfs://hcss-ecs-a5de:9090
    
    
    
        hadoop.tmp.dir
        /opt/hadoop3.3.6/hdfs/tmp
    
    
        hadoop.proxyuser.root.hosts
        *
    
    
        hadoop.proxyuser.root.groups
        *
    

# 修改 hdfs-site.xml，在 configuration 标签中，添加如下内容：

        dfs.replication      
        1
      
    
        dfs.namenode.name.dir  
        /opt/hadoop3.3.6/hdfs/name  
        true
      
    
        dfs.datanode.data.dir  
        /opt/hadoop3.3.6/hdfs/data  
        true
      
    
        dfs.http.address
        0.0.0.0:50070
    
    
        dfs.permissions  
        false
    

# 修改 mapre-site.xml，在 configuration 标签中，添加如下内容：

     mapreduce.framework.name
     yarn
 

# 修改 yarn-site.xml，在 configuration 标签中，添加如下内容：

    yarn.nodemanager.aux-services
    mapreduce_shuffle

启动hadoop

hdfs namenode -format
cd /opt/hadoop-3.3.6/sbin/
./start-all.sh

正常不会有报错，同时使用 jps 命令查看，会有 Datanode，ResourceManager，SecondaryNameNode，NameNode，NodeManager 五个进程。

页面

http://1.94.234.103:50070/

http://1.94.234.103:8088/