1-1、Spark 的local模式安装


软件:

jdk1.8

centos6.5

hadoop2.6.0

spark-1.5.2-bin-hadoop2.6.tgz


1、解压,编辑spark-env.sh文件

[root@spark0 conf]# cp spark-env.sh.template spark-env.sh
[root@spark0 conf]# vim spark-env.sh
SPARK_MASTER_IP=192.168.6.2

1-1、Spark 的local模式安装_第1张图片


2、设置主节点IP地址:



3、设置从节点IP地址:


添加IP地址:



4、启动:

sbin/start-all.sh 


查看进程:



5、启动spark-shell:

bin/spark-shell 

1-1、Spark 的local模式安装_第2张图片


6、运行一个简单的例子:

val rdd=sc.textFile("/home/spark0/spark.txt").collect



7、网页 http://192.168.6.2:4040/jobs/ 查看任务:

1-1、Spark 的local模式安装_第3张图片


你可能感兴趣的:(1-1Spark,的local模式安装)