spark-shell

【Spark实战】SparkSQL实战

1实战环境使用Spark-Shell进行练习，Spark-Shell就是一种特殊的SparkSubmit，所以如果你想要使用Spark-Submit的话就需要使用IDE开发打成jar上传到节点上运行2数据格式格式如下
_和_·2020-03-11 14:11

spark-shell读写HBase,RDD方法,HFile写入

亲测有效spark-shell--jars/home/wsy/jars/hbase-spark-1.2.0-cdh5.7.1.jardefreadHbase(sc:org.apache.spark.SparkContext,readTableName:String="USER")={valhbaseConf=org.apache.hadoop.hbase.HBaseConfiguration.cr
HUAWEIMate20·2020-02-21 04:02

spark运行问题解决

如果无法运行pyspark/spark-shell，dfs,yarn,spark，三步都可能有问题dfs启动应该能看到localhost:50070，如果有问题：1core-site.xml的tmp目录
cdarling·2020-02-15 20:00

Spark-shell&Scala（一）

Spark-shell启动与退出启动在spark的bin目录中启动：.
sf705·2020-02-15 19:41

Spark源码分析：SparkContext初始化

spark一般从spark-shell开始，具体调用层次关系：Spark-shell->sparksubmit->real.main->sparkLoop—>createSparkcontext2.Spark
raincoffee·2020-02-14 08:43

(课程)基于Spark的机器学习经验

但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了Spark-Shell作为数据分析的工具，简单几个命令，轻松处理几千万行数据。于是我就重新整理了下这篇文章。Hi，大家好！
祝威廉·2020-02-09 13:47

Spark-shell交互式编程--林子雨Spark实验四(1)

1.该系总共有多少学生vallines=sc.textFile("file:///usr/local/spark/sparksqldata/Data01.txt")valpar=lines.map(row=>row.split(",")(0))valdistinct_par=par.distinct()//去重操作distinct_par.count//取得总数2.该系共开设来多少门课程valli
daisy99lijing·2020-02-06 22:00

寒假第九天

今天完成了实验四，对于spark-shell交互式编程更加了解和RDD以及对于编写独立应用程序sbt的打包编程去重也有了了解之前安装完sbt后对于后面的打包需要下载一些文件一直失败，后来我把在网上查询解决方案
张利杰j·2020-02-03 12:00

大三寒假生活6

（1）在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；$cd/usr/local/spark$.
哈萨K·2020-02-02 21:00

spark学习（五）

（一）进入spark-shell命令界面（默认使用scala的命令界面）1,如果进入了spark安装目录则使用、1，一台机器启动spark：.
寂天风·2020-01-28 23:00

Spark入门（一）--用Spark-Shell初尝Spark滋味

Spark-Shell的使用执行scala命令的spark-shell进入spark的sbin目录，打开键入.
阿布gogo·2020-01-10 20:00

spark初见

2.7.3版本，所以我选择了spark的2.0.2版本tar-xzvfspark-2.0.2-bin-hadoop2.7.tgz解压后，到bin目录下，让spark以standalone的模式运行bin/spark-shell
topwqp·2020-01-07 18:34

一文带你弄懂Livy——基于Apache Spark的REST服务

背景ApacheSpark作为当前最为流行的开源大数据计算框架，广泛应用于数据处理和分析应用，它提供了两种方式来处理数据：一是交互式处理，比如用户使用spark-shell或是pyspark脚本启动Spark
丨程序之道丨·2020-01-07 11:34

【2018-04-10】【2.1.1】spark sql操作mysql和hdfs

spark2.X与1.x的区别sparksql2.x以上版本和1.x版本有个很大的区别：spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell
jackLee·2020-01-07 04:45

大数据高可用集群环境安装与配置（10）——安装Kafka高可用集群

1.获取安装包下载链接访问https://kafka.apache.org/downloads找到kafka对应版本需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala
AllEmpty·2019-12-28 21:00

parquet

https://www.cnblogs.com/rxingyue/p/7113235.html进入spark-shell需要能访问spark的Linux账号,如果没有获取到sc,spark等变量,可以先切换账号
焉知非鱼·2019-12-27 13:18

【异常】Spark UI界面异常、CRT不能退格/删除、不能查看DAG图、Windows系统下运行程序出错

目录一、IDEA运行Spark项目UI界面图片展示异常二、解决spark-shell中不能输入退格/删除，设置CRT三、解决Spark的webUI不能查看DAG图四、Windows系统下运行hadoop
lemon胡·2019-12-25 14:00

Spark-Core源码精读(3)、spark-shell(spark-submit)流程详解

本文将解读使用spark-shell的方式进入REPL的具体流程。注：本专题的文章皆使用Spark-1.6.3版本的源码为参考，如果Spark-2.1.0版本有重大改进的地方也会进行说明。
sun4lower·2019-12-20 09:12

1小时快速搭建高可用集群（High Availability）

flowToken=1002412本次课程你将学到：最新Spark2.3.1版本，搭建高可用集群（HighAvailability）（1）HA集群原理（2）HA集群搭建步骤（3）Spark-shell测试
A尚学堂Nancy老师·2019-12-14 08:51

【转】董西成问答整理第二课

一、spark-shell在namenode的stand-by节点执行会报sparkContext出错，然后到active的namenode的机器起spark-shell就可以了。
来往穿梭·2019-12-01 20:42

运行第一个SparkStreaming程序（及过程中问题解决）

官方示例说明按照官方文档的这个示例说明，可以轻松的在本地的spark-shell环境中测试这个示例。示例，即为了更好的入门，那么就再说明一下。
杜龙少·2019-11-30 03:10

使用 SBT 构建 Spark Application

在Spark分布式计算框架之环境搭建这篇文章中，我们已经成功的搭建起了Spark的运行环境，并且在spark-shell中做了一些小尝试，计算了一个文本文件中每一行的平均长度。但是，这怎么能满足你呢。
kviccn·2019-11-29 21:50

运行spark-shell 报 ip绑定失败

14/11/1320:19:07ERRORRemoting:Remotingerror:[Startupfailed][akka.remote.RemoteTransportException:Startupfailedatakka.remote.Remoting.akka$remote$Remoting$$notifyError(Remoting.scala:129)atakka.remote.
杜龙少·2019-11-29 19:14

Spark 2.4.4在CentOS 7.6开启运行单机版，并Java客户端连接单机版-成功版（二）

大家运行spark-shell并不是Spark真正运行，需要运行spark-all.sh，在运行之前，还要运行下面几个步骤：配置Spark进入${SPARK_HOME}/conf目录查看拷贝spark-env.sh.template
我还要去追逐我的梦·2019-10-15 15:34

[spark 之webUi的入门知识-1]

1、spark-shell与spark-submit的区别：就spark提交程序来说，最终都是通过spark-submit命令来实现的，不同的是spark-shell在运行时，会先进行一些初始参数的设置
我去图书馆了·2019-10-05 10:09

Spark-shell批量命令执行脚本

#!/bin/bashsource/etc/profileexec$SPARK_HOME/bin/spark-shell--queuetv--namespark-sql-test--executor-cores8--executor-memory8g--num-executors8--confspark.cleaner.ttl=240000<
达微·2019-09-29 20:23

shell上启动spark

exportlocalroot=/放想带上去的jar包、配置的根目录启动spark（可自己配相应参数）：spark-shell\--name"content_baidunlp"\--masteryarn-client
Code_LT·2019-09-16 19:29

shell上启动spark

exportlocalroot=/放想带上去的jar包、配置的根目录启动spark（可自己配相应参数）：spark-shell\--name"content_baidunlp"\--masteryarn-client
Code_LT·2019-09-16 19:29

Spark-RDD操作（26个常用函数附实例）

/bin/spark-shell（2）创建RDDvalrdd=sc.parallelize(Array(1,2,3,4,5,6,8))或者valrdd1=sc.makeRDD(Array(1,2,3,4,5,6,8
王怀宇·2019-09-06 16:00

spark-shell如何粘贴换行代码

前言平时经常性的有一些临时统计数据需求，用hive虽然很方便，但是等待时间有点长，spark-shell成为了我常用的一种方式，不过，一般我都是在IDEA把代码写好，然后复制到spark-shell上面
SunnyRivers·2019-09-03 14:10

Spark-03 scala

c.事先准备下面进入spark-shell，启动sparkshell不用先启动spark，如果加了/
WU大雄·2019-08-17 00:00

IDEA开发Spark项目sbt引入依赖

问题说明spark中运行项目有两种方式在spark-shell中导入依赖，编写代码，执行和在idea中写好应用，使用spark-submit方式提交到spark运行在使用idea开发spark应用时，引入依赖总是失败
cheyun8561·2019-08-08 09:00

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can’tassignrequestedaddress:Service‘sparkDriver’failedafter16retries
jhdyy·2019-08-06 11:17

windows10 下Spark+Hadoop+hive+pyspark安装

3、各个文件的安装路径中不能存在空格，所以jdk的安装千万不要默认路径4、安装spark前一定要安装scala，否则运行spark-shell时会报错5、在windows下安装需要类似于破解的东西才能打开
鼓鼓06·2019-08-06 10:46

Apache Spark渐进式学习教程(八):Spark集群部署(standalone)和运行

目录一，前言1.1集群规划1.2前置条件1.3安装包下载二，安装部署2.1，解压和修改配置文件2.2复制文件到另外2台机器三，运行和测试3.1启动集群3.2启动spark-shell连接集群3.2提交spark
JDZW2010·2019-08-02 17:41

SparkSession、SparkContext、SQLContext和HiveContext之间的区别。

如果您在spark-shell中，那么SparkContext
lillcol·2019-07-23 17:00

好程序员大数据教程分享TextFile分区问题

valrdd1=sc.parallelize(List(2,3,4,1,7,5,6,9,8))获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数
好程序员IT·2019-06-27 16:26

工作总结——HiveMySQLServerMode-Mysql元数据库配置

项目中我们就遇到一个很大的问题，Spark-Shell脚本启动时，会调用hive-site.xml配置文件，默认的配置是Derby，在azkaban调度任务时，会发生启动失败的问题，经过
DK_ing·2019-06-20 15:25

win7 安装spark环境

前提条件：jdk：java-versionscala：scalajava-1.8scala-2.11安装好并且配置好环境变量官网下载spark版本对应的hadoop下载解压解压后启动进入spark-shell
Ebaugh·2019-06-01 20:03

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
她的吉他·2019-05-28 15:11

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
她的吉他·2019-05-28 15:11

SparkContext和spark-shell

文章目录SparkContext&SparkConf使用IDEA构建Spark应用程序spark-shell参数使用深度详解如何使用spark-shell？
liweihope·2019-05-25 10:47

spark(一. 初识)

java,scala,hdfs环境配好的情况下)解压文件修改配置文件slaves,spark-env.sh,spark-default.conf启动使用sbin/start-all.sh命令测试使用bin/spark-shell
烈格黑街·2019-05-24 12:08

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
小屁孩~~·2019-05-22 14:18

Spark SQL 报错总结

报错一:背景启动spark-shell后查询hive中的表信息，报错$SPARK_HOME/bin/spark-shellspark.sql("select*fromstudent.student").
Stitch_x·2019-05-21 21:31

spark-shell 启动报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc

[root@cm3~]#spark-shellSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).19/05/1617:08:23ERRORspark.SparkContext:ErrorinitializingSparkC
蘑菇丁·2019-05-16 17:39

spark集成hive spark sql编程（forty-eight day）

xcall.sh"ln-s/soft/hive/conf/hive-site.xml/soft/spark/conf/hive-site.xml"2.mysql驱动程序复制到spark/jars...3.启动spark-shell
高辉·2019-05-13 19:17

Hive On Spark

  自从公司使用大数据产品之后，就很少碰开源的东西了，集群出问题也是跟研发沟通，前些天有朋友问我，怎么能把hive底层的引擎换成spark，我想了想，是不是将hive的数据库共享给spark然后用spark-shell
原生zzy·2019-05-11 14:17

Spark SQL使用 JDBC 从其他数据库读取数据的数据源

spark-shell方式读取bin/spark-shell--driver-class-path***.jar--jars***.jar用户可以使用DataSourcesAPI将来自远程数据库的表作为
weixin_jumery·2019-05-07 10:47

实战环境搭建二

/spark-shell(如果是本地测试就用local，如果是跑在集群上就用yarn)（最终项目是跑在yarn上进行演示）.
huxin9611·2019-05-01 00:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他