spark-shell

Apache Spark源码走读之2 -- Job的提交与运行

下载sparkbinary0.9.1安装scala安装sbt安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER
wbj0110·2015-03-16 13:00

Spark SQL and DataFrame for Spark 1.3

/bin/spark-shell SparkassemblyhasbeenbuiltwithHive,includingDatanucleusjarsonclasspath log4j:WARNNoappenderscouldbefoundf
wind520·2015-03-14 11:00

spark 1.3.0 测试

/bin/spark-shell SparkassemblyhasbeenbuiltwithHive,includingDatanucleusjarsonclasspath log4j:WARNNoappenderscouldbefoundforlogger
wind520·2015-03-03 16:00

spark sql 1.2.0 测试

/bin/spark-shell[[email protected]]$master=spark://feng02:7077.
wind520·2015-03-03 15:00

Spark API编程动手实战-05-spark文件操作和debug

这次我们以指定executor-memory参数的方式来启动spark-shell：启动成功了在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小，启动成功后参看
stark_summer·2015-02-02 20:00

Spark API编程动手实战-05-spark文件操作和debug

这次我们以指定executor-memory参数的方式来启动spark-shell：启动成功了 在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小，启动成功后参看
Stark_Summer·2015-02-02 20:00

Spark API编程动手实战-05-spark文件操作和debug

这次我们以指定executor-memory参数的方式来启动spark-shell：启动成功了 在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小，启动成功后参看
Stark_Summer·2015-02-02 20:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上： 查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count
Stark_Summer·2015-01-28 13:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

阅读更多操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上：查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用
Stark_Summer·2015-01-28 13:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cach

操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上：查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count
stark_summer·2015-01-28 13:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上： 查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count
Stark_Summer·2015-01-28 13:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

阅读更多操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上：查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用
Stark_Summer·2015-01-28 13:00

Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和co

首先以spark的本地模式测试sparkAPI，以local的方式运行spark-shell：先从parallelize入手吧：map操作后结果：下面看下filter操作：filter执行结果：我们用最正宗的
stark_summer·2015-01-27 15:00

Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect

首先以spark的本地模式测试sparkAPI，以local的方式运行spark-shell：先从parallelize入手吧：map操作后结果： 下面看下filter操作：filter执行结果：我们用最正宗的
Stark_Summer·2015-01-27 15:00

Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect

首先以spark的本地模式测试sparkAPI，以local的方式运行spark-shell：先从parallelize入手吧：map操作后结果： 下面看下filter操作：filter执行结果：我们用最正宗的
Stark_Summer·2015-01-27 15:00

Spark API编程动手实战-05-spark文件操作和debug

这次我们以指定executor-memory参数的方式来启动spark-shell：启动成功了在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小，启动成功后参看
stark_summer·2015-01-27 15:00

spark和hive结合实践

执行spark-shell，执行以下语句：valhiveContext=ne
houzhizhen·2015-01-23 16:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上：查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count
stark_summer·2015-01-23 10:00

Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect

首先以spark的本地模式测试sparkAPI，以local的方式运行spark-shell：先从parallelize入手吧：map操作后结果：下面看下filter操作：filter执行结果：我们用最正宗的
stark_summer·2015-01-22 12:00

spark内核揭秘-01-spark内核核心术语解析

Application:Application是创建了SparkContext实例对象的spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个
Stark_Summer·2015-01-18 09:00

spark内核揭秘-01-spark内核核心术语解析

Application:Application是创建了SparkContext实例对象的spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个
stark_summer·2015-01-18 09:00

spark内核揭秘-01-spark内核核心术语解析

Application:Application是创建了SparkContext实例对象的spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个
Stark_Summer·2015-01-18 09:00

spark内核揭秘-01-spark内核核心术语解析

Application:Application是创建了SparkContext实例对象的spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个
stark_summer·2015-01-18 09:00

spark架构设计&编程模型 02

启动spark-shell:简单的RDD：上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例：我们把生成的RDD的每个元素都乘以3：上述的操作都是transformations
stark_summer·2015-01-16 18:00

spark架构设计&编程模型 02

启动spark-shell:简单的RDD：上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例：我们把生成的RDD的每个元素都乘以3：上述的操作都是transformations
Stark_Summer·2015-01-16 18:00

spark架构设计&编程模型 02

启动spark-shell:简单的RDD：上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例：我们把生成的RDD的每个元素都乘以3：上述的操作都是transformations
Stark_Summer·2015-01-16 18:00

spark架构设计&编程模型 02

启动spark-shell:简单的RDD：上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例：我们把生成的RDD的每个元素都乘以3：上述的操作都是transformations
stark_summer·2015-01-16 18:00

Spark脚本提交/运行/部署

1、Spark脚本提交/运行/部署 1.1 spark-shell（交互窗口模式）运行spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor
sunbow0·2014-12-23 10:00

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）(12)

/spark-shell”命令启动Spark shell：接下来通过以下命令读取刚刚上传到HDFS上的“README.md”文件 ：对读取的文件进行以下操作：接下来使用collect命令提交并执行Jo
Spark亚太研究院·2014-11-19 13:00

在Windows上build Spark

按照文档上运行bin/spark-shell，会提示找不到所需的jar包，需要重新build生
wangyugod·2014-11-13 17:00

spark 执行诡异问题

今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell 出现找不到hive相关的类，于是修改了spark-env.sh
死里逃生·2014-08-28 14:18

spark 执行诡异问题

今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell出现找不到hive相关的类，于是修改了spark-env.sh
死里逃生·2014-08-28 14:18

Spark Web界面

/bin/spark-shell，出现下面的web界面信息：
John00000001·2014-07-27 23:10

spark学习六 DStream的运行原理解析

netcatnc-lk9999运行spark-shellSPARK_JAVA_OPTS=-Dspark.cleaner.ttl=10000MASTER=local-cluster[2,2,1024]bin/spark-shell
hao707822882·2014-07-22 15:00

spark学习四 RDD转换是什么以及任务的运行

localmode或local-clustermodelocal-clustermodelocal-cluster模式也称为伪分布式，可以使用如下指令运行MASTER=local[1,2,1024]bin/spark-shell
hao707822882·2014-07-22 13:00

spark学习二 job是怎么提交的

下载sparkbinary0.9.1安装scala安装sbt安装java启动spark-shell  （还可以参考学习八的介绍）单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可
hao707822882·2014-07-22 11:00

spark定制之五：使用说明

背景spark-shell是一个scala编程解释执行环境，可以通过编程的方式处理逻辑复杂的计算，但对于简单的类似sql的数据处理，比如分组求和，sql为”selectg,count(1)fromsometablegroupbyg
hyalone2010·2014-07-10 09:00

spark使用总结

/spark-shell --driver-library-path :/usr/local/hadoop-1.1.2/lib/native/Linux-i3
chaoboma·2014-07-07 15:00

Spark1.0.0 的一些小经验

1：关于读取本地文件使用spark-shell连接Spark集群，然后在运行应用程序中读取本地文件时，会经常碰上文件不存在的错误。
book_mmicky·2014-05-13 15:00

Spark Shell由于Scala编译器原因不能正常启动

使用SBT安装完成Spark后，可以运行示例，但是尝试运行spark-shell就会报错： D:\Scala\spark\bin\spark-shell.cmd  SLF4J: Class
qq85609655·2014-05-01 12:00

Spark RDD Transformation 详解---Spark学习笔记7

1.启动spark-shell SPARK_MASTER=local[4].
u014388509·2014-04-04 16:00

Spark Shell由于Scala编译器原因不能正常启动

使用SBT安装完成Spark后，可以运行示例，但是尝试运行spark-shell就会报错：D:\Scala\spark\bin\spark-shell.cmd SLF4J:ClasspathcontainsmultipleSLF4Jbindings
欧阳左至·2014-04-03 22:00

spark参数配置调优

exportSPARK_DAEMON_MEMORY=1024m2.编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx”）语句设置相应系统属性值)，即在spark-shell
陈兴振·2013-09-19 22:07

spark参数配置调优

exportSPARK_DAEMON_MEMORY=1024m2.编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx”）语句设置相应系统属性值)，即在spark-shell
chenxingzhen001·2013-09-19 22:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他