虚拟机启动hdfs、spark命令

说明：用的案例是一个master，两个worker，开启三台虚拟机的情况，已配置好hadoop和spark。hadoop参考的【大数据】Hadoop完全分布式配置（超详细）_hadoop3.0 完全分布式配置-CSDN博客，我觉得写得特别好，完整跟下来可以配置成功。

一、启动HDFS

登入master，然后依次输入如下命令

1、hadoop namenode-format

2、cd $HADOOP_HOME/sbin

3、./start-dfs.sh

4、./start-yarn.sh

查看启动情况

1、在master节点输入：jps

2、在两个worker节点输入：jps

3、在浏览器中输入http://master ip:50070，查看hdfs的详情

4、在浏览器中输入http://master ip:8088，查看hadoop集群资源详情

（红色字体部分根据自己的ip填写）

测试hdfs（很确切的认为自己的没问题的可以忽略这部分）

在搭建hadoop环境之后，可以使用hdfs和mapreduce。比如，输入如下命令可以测试hdfs是否正常工作。

1、mkdir input

2、echo "Hello Docker" >input/file2.txt

3、echo "Hello Hadoop" >input/file1.txt

4、hadoop fs -mkdir -p input

5、hdfs dfs -put ./input/* input

6、hdfs dfs -ls input

7、hdfs dfs -cat input/file2.txt

8、hdfs dfs -cat input/file1.txt

二、启动Spark

在master上

1、cd /opt/spark/sbin  

2、./start-master.sh

在worker上分别执行

1、cd /opt/spark/sbin

2、./start-slave.sh master-ip:7077

最后打开浏览器访问http://master-ip:8080，查看spark集群详情。