spark-shell

spark集群搭建时的一个问题

阅读更多求大神解惑：spark1.6版本操作hdfs报错：在spark-shell里：valfile=sc.textFile("hdfs://master138:9000/sparktest/README.md
beat_it_·2016-01-14 16:00

基于Spark的机器学习经验

但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了Spark-Shell作为数据分析的工具，简单几个命令，轻松处理几千万行数据。于是我就重新整理了下这篇文章。Hi，大家好！
祝威廉·2016-01-02 10:18

基于Spark的机器学习经验

但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了Spark-Shell作为数据分析的工具，简单几个命令，轻松处理几千万行数据。于是我就重新整理了下这篇文章。Hi，大家好！
allwefantasy·2016-01-02 10:00

在Yarn上运行spark-shell和spark-sql命令行

转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的HadoopYarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，exportHADOOP_CONF_DIR=/etc/hadoop/conf这个可以配置在spark-env.sh中。运行命令：cd$SPARK_HOM
ggz631047367·2016-01-01 21:00

在spark中操作mysql数据 ---- spark学习之七

RDD更高一个级别的抽象，可以应用SQL语句进行操作，详细参考：https://spark.apache.org/docs/latest/sql-programming-guide.html 这里暂时使用spark-shell
GZ.Jackey·2015-12-15 14:00

spark入门笔记（二）spark的stanalone模式

spark-shell是不支持clu
liyaohhh·2015-12-09 16:00

spark RDD transformation和action操作

sparkRDDtransformation和action1.启用spark-shell,使用根目录下的test.txt作为文件的示例scala>scres30:org.apache.spark.SparkContext
qq_20545159·2015-12-09 14:00

/spark-shell问题

/spark-shell时候出现scala了，但是后面紧接着出现了。
buster2014·2015-12-06 21:00

spark-shell on yarn 出错解决【启动命令bin/spark-shell --master yarn-client出现错误，类ExecutorLauncher 找不到】

文章来源：http://www.dataguru.cn/thread-331456-1-1.html今天想要将spark-shell在yarn-client的状态下结果出错：[python]viewplaincopy
buster2014·2015-12-01 18:02

spark-shell on yarn 出错解决【启动命令bin/spark-shell --master yarn-client出现错误，类ExecutorLauncher 找不到】

文章来源：http://www.dataguru.cn/thread-331456-1-1.html今天想要将spark-shell在yarn-client的状态下结果出错：[python] viewplaincopy
buster2014·2015-12-01 18:00

spark-spawn a app via spark-shell VS spark-submit

 yep,ucansubmitaapptosparkensemblebyspark-submitcommand,e.g.spark-submit--masterspark://gzsw-02:7077--classorg.apache.spark.examples.JavaWordCount--verbose--deploy-modeclient~/spark/spark-1.4.1-bin-ha
leibnitz·2015-11-25 12:00

spark-shell客户机设置

本文介绍spark集群客户机的设置安装程序spark集群是standalone集群在root帐号下，从spark集群的master上复制spark1.5.2的安装包到目录下，这样配置文件就已经复制过来，其实主要是zookeeper的配置。owner为root，group和other用户都是可以读和运行drwxr-xr-x14rootroot4.0KNov1611:48spark-1.5.2-bin
sheismylife·2015-11-19 15:00

Spark学习--spark-shell使用

Spark-shell使用配置好Spark集群，测试Sparkwordcount程序，可以通过基本的Spark-shell来进行交互式的代码提交，比如：valtextFile=sc.textFile("
ASIA_kobe·2015-11-18 21:00

单机运行spark-shell出现ERROR Remoting: Remoting error: [Startup failed]

从现象来看应该akka不能绑定到ip或者端口，于是google找到答案，http://mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/%[email protected]%3E只要将conf/spark-env.sh添加两个环境变量：exportSPARK_MASTER_IP=l
ASIA_kobe·2015-11-16 22:00

Spark脚本调用

Spark提供了多个脚本来作为程序的入口，其中最常用的是交互脚本spark-shell,pyspark，还有sparksql的客户端spark-sql。
代码浮生·2015-11-13 11:00

spark hive结合杂记(hive-site.xml)

然后可以通过spark-shell来测试一下，详见：http://www.
·2015-11-13 11:58

spark-sql启动后在监控页面中显示的Application Name为SparkSQL::xxxx的疑问

是测试机器的hostname)，就有个想法，修改下该application的name，在spark-sql --help中看到--name NAME的参数设置，于是乎就在启动spark-sql时设置参数： spark-shell
·2015-11-12 23:50

Spark核心概念

以及集群上中多个executor；      spark中只要有一个sparkcontext就是一个application；     启动一个spark-shell
·2015-11-12 23:05

Spark SQL External Data Sources JDBC官方实现读测试

通过spark-shell测试： import org.apache.spark.sql.SQLContext val sqlContext = new SQLContext(sc) import
·2015-11-12 21:21

Spark1.51 本地启动了Master和一个Slave后，在Spark-Shell里跑，看出sc.textFile找数据的stacktrace

scala>valtextFile=sc.textFile("README.md") textFile:org.apache.spark.rdd.RDD[String]=MapPartitionsRDD[5]attextFileat:21 scala>textFile.count() org.apache.hadoop.mapred.InvalidInputException:Inputpath
guotong1988·2015-11-05 13:00

spark-sql用hive表格，在yarn-cluster模式下运行遇到的问题及解决办法

1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository
·2015-10-23 08:14

Spark学习笔记之-Spark 命令及程序入口

有几种不同的提交任务的脚本，可参考以下这个文章，写的简洁明了http://blog.csdn.net/lovehuangjiaju/article/details/48768371实际上可以看出spark各种脚本，spark-shell
dandykang·2015-10-21 09:16

Spark Shell由于Scala编译器原因不能正常启动

 最近开始学习spark，在windows上按照官方说明运行命令spark-shell进入到scala版本的sparkshell时，出现了下面的问题：Failedtoinitializecompiler
m635674608·2015-10-15 15:00

在Windows上build Spark

按照文档上运行bin/spark-shell，会提示找不到所需的jar包，需要重新build生
m635674608·2015-10-14 16:00

spark集成hive遭遇mysql check失败的问题

问题：spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFOMetaStoreDirectSql:MySQLcheckfailed,assumingwearenotonmysql
bluejoe2000·2015-10-05 13:00

spark笔记2-spark-sql 程序

一.序言   这里介绍用idea跑程序去连接spark-sql->hive-metastore的小例子，关于服务器上得保证spark-sql/spark-shell正确执行，然后再用本地的程序去实现，我这里版本用的
greemranqq·2015-09-08 16:00

spark笔记2-spark-sql 程序

阅读更多一.序言这里介绍用idea跑程序去连接spark-sql->hive-metastore的小例子，关于服务器上得保证spark-sql/spark-shell正确执行，然后再用本地的程序去实现，
greemranqq·2015-09-08 16:00

Spark-1.4.0单机部署测试

测试Spark-shell测试.
popsheng·2015-08-27 15:02

Machine Learning With Spark学习笔记（提取10万电影数据特征）

注：原文中的代码是在spark-shell中编写执行的，本人的是在eclipse中编写执行，所以结果输出形式可能会与这本书中的不太一样。
LXYTSOS·2015-08-14 11:00

scala的REPL shell的调用

最近突然对spark的spark-shell发生了兴趣它是如何启动scala的REPL的，并且在此前写入了常用的环境变量的呢？
bluejoe2000·2015-08-02 21:00

cloudera如何在spark-shell命令行执行spark hql

编译支持hive的sparkassembly原生的sparkassemblyjar是不依赖hive的，如果要使用sparkhql必须将hive相关的依赖包打到sparkassemblyjar中来。打包方法：假设已经装好了maven,1添加环境变量，如果jvm的这些配置太小的话，可能导致在编译过程中出现OOM，因此放大一些：exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSiz
dannyhe·2015-07-07 10:00

Spark学习之17：Spark访问MySQL

本文描述使用Spark1.4，在spark-shell环境中访问mysql的用法。1.准备MySQL的JDBC驱动将mysql对应版本的驱动上传到启动spark-shell的服务器。
ktlinker1119·2015-06-17 14:13

Spark源码解读-JOB的提交与执行

1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是
sunlei1980·2015-06-13 18:00

Apache Spark源码分析-- Job的提交与运行

1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是
超人学院66·2015-05-28 16:34

Apache Spark源码分析-- Job的提交与运行

1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是
超人学院·2015-05-28 16:00

java.lang.NoClassDefFoundError: org/apache/kafka/common/message/KafkaLZ4BlockOutputStream

现象在spark-shell中执行streamingapplication时，频繁出现以下错误。
牛肉圆粉不加葱·2015-05-15 17:40

spark-shell初体验

1、复制文件至HDFS：hadoop@Mhadoop:/usr/local/hadoop$bin/hdfsdfs-mkdir/userhadoop@Mhadoop:/usr/local/hadoop$bin/hdfsdfs-mkdir/user/hadoophadoop@Mhadoop:/usr/local/hadoop$bin/hdfsdfs-copyFromLocal/usr/local/sp
yijichangkong·2015-05-02 13:00

【Spark九十五】Spark Shell操作Spark SQL

/spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
bit1129·2015-04-30 18:00

【Spark九十五】Spark Shell操作Spark SQL

/spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
bit1129·2015-04-30 18:00

【Spark九十五】Spark Shell操作Spark SQL

/spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
bit1129·2015-04-30 18:00

spark源码学习(二)------------spark-shell启动分析

上一节学习了spark源码的编译方法，这一节我们跟踪一下spark-shell的启动.spark-shell是spark提供一个控制台，通过它我们可以方便的学习spark的API，类似于scala的REPL.spark-shell
happyAnger6·2015-04-23 23:00

蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验

二、spark-shell功能介绍进入$SPARK_
网埠头·2015-04-14 16:53

蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验

二、spark-shell功能介绍   
cafuc46wingw·2015-04-14 16:00

spark在windows下的安装

个交互式shell,一个是pyspark(基于python),一个是spark_shell(基于scala).这两个环境其实是并列的,并没有相互依赖关系,所以如果仅仅是使用pyspark交互环境,而不使用spark-shell
harrychinese·2015-03-29 15:00

akka创建actor时报错：IllegalArgumentException: no matching constructor found on class $iwC$$iwC$$iwC$$iwC$

在spark-shell中输入范例中的代码：importakka.actor.Actor importakka.actor.Props importakka.event.Logging classMyActorextendsActor
bluejoe2000·2015-03-28 22:00

蜗龙徒行-Spark学习笔记【二】Spark shell下kmeans聚类算法的应用

在终端打开spark-shell然后在scala编辑模式下依次输入以下命令：//导入算法执行所需函数库importorg.apache.spark.mllib.clustering.KMeansimportorg.apache.spark.mllib.linalg.Vectors
cafuc46wingw·2015-03-26 12:00

如何在spark-shell命令行执行spark hql

clouderamanager装好的spark,直接执行spark-shell进入命令行后，写入如下语句：val hiveContext = new org.apache.spark.sql.hive.HiveContext
xiao_jun_0820·2015-03-17 19:00

学习GraphX

首先准备如下社交图形数据：打开spark-shell；导入相关包：importorg.apache.spark._ importorg.apache.spark.graphx._ importorg.apache.spark.rdd.RDD
bluejoe2000·2015-03-16 16:00

Apache Spark源码走读之2 -- Job的提交与运行

下载sparkbinary0.9.1安装scala安装sbt安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER
wbj0110·2015-03-16 13:00

Apache Spark源码走读之2 -- Job的提交与运行

下载sparkbinary0.9.1安装scala安装sbt安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER
wbj0110·2015-03-16 13:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他