Windows系统搭建Hadoop，Spark开发环境

1.准备工具：

  1.Hadoop所需要替换的bin目录下的文件

  2.Hadoop 3.1

  3.spark-2.3.1

  4.JDK 1.8

工具下载：  下载

2.解压配置

2.1 将下载好的Hadoop 和 Spark进行解压，并重命名，此处我重名为：hadoop-3.1.0和spark

2.2 将准备工具中的第一项下载的包(hadoop3.1-bin)进行解压，并进行更换 解压的hadoop3.1.0下的/bin目录里的文件

2.3 环境变量配置

2.3.1 配置HADOOP_HOME

2.3.2 配置SPARK_HOME

2.3.3 将环境变量 %HADOOP_HOME%\bin; 加入path

2.3.4 修改D:\hadoop-3.1.0\etc\hadoop目录下的hadoop-env.cmd文件，为本机jdk路径

@rem The java implementation to use.  Required.
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191

3.修改etc\hadoop文件配置

3.1 修改core-site.xml

    
    fs.default.name  
    hdfs://localhost:9000  
    

3.2 修改hdfs-site.xml 中：其中在hadoop文件下新建data文件夹，在data文件夹下新建namenode文件加和datanode文件夹

file地址，写自己的文件地址

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/D:/hadoop-3.1.0/data/namenode
    
    
        dfs.datanode.data.dir
        file:/D:/hadoop-3.1.0/data/datanode
    

3.3 修改mapred-site.xml

    
       mapreduce.framework.name
       yarn
    

3.4 修改yarn-site.xml

    
       yarn.nodemanager.aux-services
       mapreduce_shuffle
    
    
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
       org.apache.hadoop.mapred.ShuffleHandler
    
      
                yarn.resourcemanager.webapp.address
                127.0.0.1:8088
        
        
    yarn.resourcemanager.hostname
    localhost

3.启动测试

    3.1启动hdfs 和 yarn

    进入D:\hadoop-3.1.0\sbin文件夹，按"Shift" + "从此处打开命令窗口"，输入：hdfs namenode -format 执行完后

3.2 执行 start-dfs.cmd 会另外开启两个窗口，没有报错，即启动成功

3.3 执行 yarn start-yarn.cmd

3.4 都启动之后访问：http://localhost:8088/ 出现以下页面即为成功

再访问 http://localhost:9870/ 这个地址 出现以下页面即为成功

3.5 直接进入D:\spark\bin 运行spark-shell.cmd即可

Spark的Scala语言编辑窗口出现，说明本次开发环境的搭建顺利完成了。