大数据项目-5.hadoop（六.hadoop安装）

一：官网下载地址

hadoop3.3.2官网地址

二：上传虚拟机。

解压

tar -axvf hadoop-3.2.2.tar.gz

三：修改配置文件

1. 修改hadoop-env.sh ，配置Java环境。

cd /etc/hadoop/hadoop-3.2.2/etc/hadoop
vim hadoop-env.sh

根据自己环境的java路径来填写。

2. 启动hadoop

cd /etc/hadoop/hadoop-3.2.2/bin
./hadoop

3. 修改core-site.xml

cd /etc/hadoop/hadoop-3.2.2/etc/hadoop
vim core-site.xml

添加以下代码

<configuration>
        <!-- 配置NameNode运行的主机 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://10.10.10.11:8020/
        </property>
        <!--配置hadoop文件存储数据的目录-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/liucf/data/dfs/tmp</value>
        </property>
</configuration>

4. hdfs-site.xml

<configuration>

        <!--设置集群中有二个副本-->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <!--关闭用hdfs权限检查-->
        <property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

5. workers
   配置另外俩台服务器。

10.10.10.12
10,10,10,13            

6. scp另外俩台服务器。

cd /etc
scp -r hadoop root@10.10.10.12:/etc/
scp -r hadoop root@10.10.10.13:/etc/

7. 格式化

cd /etc/hadoop/hadoop-3.2.2/bin
./hdfs namenode -format

8. 启动

在10.10.10.11节点
cd /etc/hadoop/hadoop-3.2.2/sbin
./hadoop-daemon.sh  start namenode

在10.10.10.12和10.10.10.13节点
cd /etc/hadoop/hadoop-3.2.2/sbin
./hadoop-daemon.sh  start datanode

查看web页面
http://10.10.10.11:9870/

9. 配置yarn
   1. 配置yarn-site.xml。
   2. scp另外俩台服务器。

cd /etc
scp -r hadoop root@10.10.10.12:/etc/
scp -r hadoop root@10.10.10.13:/etc/

10. 启动yarn

在10.10.10.11节点
cd /etc/hadoop/hadoop-3.2.2/sbin
./yarn-daemon.sh start resourcemanager

在10.10.10.12和10.10.10.13节点
cd /etc/hadoop/hadoop-3.2.2/sbin
./yarn-daemon.sh start nodemanager