spark-submit

spark性能优化

executor-memory、executor-cores、num-executor1.2、在哪里设置这些资源在生成环境中，提交spark任务时，使用spark-submitshell脚本，可以调整对应的参数提交任务的脚本spark-submit
Imflash·2020-06-21 22:11

Spark程序流程，以及stage的划分原理，以WordCount为例

先上代码：以standalone模式任务提交脚本：spark-submit\--masterspark://node01:7077,node02:7077\--classcom.leox.wordcount
夏_a495·2020-04-22 16:20

详解spark提交流程(一)

详解spark提交流程（一）1.spark应用程序的机器2.shell中spark-submit脚本提交程序3.根据选择的提交方式决定driver进程所启动节点4.spark-submit方式为sparkstandalone
于颖超·2020-04-14 00:16

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2020-04-12 12:44

Spark（二十六）算子调优之使用repartition解决Spark SQL低并行度的性能问题

官网有推荐的设置方式，你的spark-submit脚本中，会指定你的application总共要启动多少个executor，
文子轩·2020-04-11 04:16

Spark运行原理

使用spark-submit提交一个作业之后，这个作业就会启动一个Driver来执行（cluster模式下Driver在集群中某个节点启动，client
蠟筆小噺没有烦恼·2020-04-10 13:26

接触spark可能会遇到的问题

可能会对你有所帮助，也可能对你一点帮助也没有Noconfigurationsettingfoundforkey'akka.version'spark的jar包不能通过java-jarxxx.jar来执行，需通过spark-submit
冬天只爱早晨·2020-04-09 22:59

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2020-04-09 10:48

Spark配置管理

二.Spark程序配置加载过程Spark程序一般都是由脚本bin/spark-submit来提交的，交互式编程bin/spark-shell其实也是通过它来提交的。
云山之巅·2020-04-08 20:00

spark history server配置使用

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过IntellijIDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址
__豆约翰__·2020-04-08 00:20

pyspark 出现pyspark.sql.utils.IllegalArgumentException: 'requirement failed: Column prediction must be of type double but was actually float.'异常

在pyspark的交互式环境下调用pysark.ml中的MulticlassClassificationEvaluator执行下列命令做评估时会出现下面那个问题，但在代码中通过spark-submit提交时则可以正常运行
秋夜花开·2020-04-05 21:00

Spark实战（2）_Spark内核架构剖析

Standalone模式Spark内核架构剖析_Standalone模式提交Spark应用的机器，Application（自己的Spark程序），spark-submit（shell）提交Application
padluo·2020-04-03 15:09

Spark从入门到精通35：在eclipse中直接使用spark-submit提交Spark任务

本节就来介绍一种直接在EclipseIDE中通过调用外部工具spark-submit来直接提交spark任务的简便方法。这里以提交Python任务为例进行说明环境搭建。
金字塔下的小蜗牛·2020-04-02 09:04

Spark on Yarn 部分一原理及使用

SparkonYarn首先这部分分为源码部分以及实例部分，例子中包括最基本的通过spark-submit提交以及程序中提交yarn这里仅仅说明SparkonYarn的第一部分，分为三块：原理spark-submit
kason_zhang·2020-04-01 16:45

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2020-04-01 08:02

Spark常见调优，以及错误整理

以下是我提交任务常用的shell脚本SPARK_HOME=/opt/spark${SPARK_HOME}/bin/spark-submit\--verbose\#verbose选项来生成更详细的运行信息以做参考
wong小尧·2020-03-29 15:31

Spark 性能调优--资源调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置Spark作业基本运行原理Spark作业基本运行原理spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的
Alex90·2020-03-29 15:18

1.5.1.3 spark-submit命令参数详解与调优

子目录：https://www.jianshu.com/p/9428e443b7fdspark-submit参数详解"[root@masterpyspark]$spark-submit-hUsage:spark-submit
寒暄_HX·2020-03-28 21:18

Spark - 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
大猪大猪·2020-03-23 11:27

【一小步】spark的first try，用intellij打包并spark-submit

记录常用脚本scp-r~/opt/hadoop-2.6.3/etc/hadoopspark@slave01:~/opt/hadoop-2.6.3/etc/scp-r~/opt/spark-1.6.0-bin-hadoop2.6/confspark@slave01:~/opt/spark-1.6.0-bin-hadoop2.6/du-sh./*|sort-rnintellij打包newscalapr
丁不想被任何狗咬·2020-03-23 08:45

Spark源码 —— 从 SparkSubmit 到 Driver启动

读完本文可以学到：当你用shell命令执行spark-submit之后，到你的代码开始正式运行的一些列知识和细节，恩...粗略的，要看的更细，可以按照流程自己撸源码哈~~~~SparkSubmitSpark-Submit
code_solve·2020-03-23 07:55

spark提交过程分析（standalone模式）

一、构造SparkContextPaste_Image.png1.1.在shell下，通过spark-submit命令将Application提交到集群,此时spark会通过反射的方式，创建和构造一个DriverActor
nicklbx·2020-03-22 11:44

Spark启动时的master参数以及Spark的部署方式

master参数需要设置，如下：conf=SparkConf().setAppName(appName).setMaster(master)sc=SparkContext(conf=conf)/bin/spark-submit
geekpy·2020-03-21 11:47

在集群上运行spark

/bin/spark-submit\--class--master\--deploy-mode\--conf=\...
lmem·2020-03-18 05:52

Hive on Spark调优

我们使用spark-submit提交
Jeffbond·2020-03-17 01:41

【Spark实战】SparkSQL实战

1实战环境使用Spark-Shell进行练习，Spark-Shell就是一种特殊的SparkSubmit，所以如果你想要使用Spark-Submit的话就需要使用IDE开发打成jar上传到节点上运行2数据格式格式如下
_和_·2020-03-11 14:11

Spark - 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2020-03-09 04:07

Kerberos集群下SPARK任务的用户代理测试

隶属于文章系列：大数据安全实战https://www.jianshu.com/p/76627fd8399c在参数中传入testyarn-nopwd的Kerberos凭证，使用集群上有的用户提交bin/spark-submit
xuefly·2020-03-05 06:58

spark从入门到放弃十一: 内核架构深度剖析之执行流程

图解：这里写图片描述说明：1.首先会将编写的程序jar包上传到有spark客户端的机器上通过spark-submit提交到集群上面取运行。这个jar在spark中
意浅离殇·2020-03-03 21:05

Spark内核架构深度剖析

内核架构剖析.png流程详解使用Standalone提交模式，将我们编写好的Application打成jar包上传到某Spark节点上，通过spark-submit提交Application，该命令运行后在该节点会通过反射的方式
SunnyMore·2020-03-02 09:31

Spark Streaming Failed to read checkpoint from directory ...

现象使用spark-submit提交一个SparkStreamingApplication至yarn集群,报错Causedby:java.lang.ClassNotFoundException:XXXStartup
牛肉圆粉不加葱·2020-03-02 07:16

spark-submit yarn错误解决

Spark集群提交模式Spark一般常用三种提交模式，local、独立集群、yarn1.提交配置优先级应用里面set的优先级>spark_submit参考：http://blog.csdn.net/xiaolang85/article/details/513642592.独立集群(前提是应用程序里没有配置setMaster或者将该值设置为master)Spark-submit--materspar
玄月府的小妖在debug·2020-02-25 09:30

Spark内核源码深度剖析：基于Yarn的两种提交模式深度剖析

4、如果，你要切换到第二种和第三种模式，很简单，将我们之前用于提交spark应用程序的spark-submit脚本，加上--master参数
凉意先生·2020-02-24 00:52

基于mesos集群中spark是如何提交任务的

首先看下command是怎么玩起来的我们通常情况下调用spark-submit提交任务，spark-submit脚本如下：ex
沈颖·2020-02-22 13:12

Oozie Kerberos环境下提交Spark-Sql任务

spark-sqlOozie暂时没有像hiveAction那样调用HiveCli实现类似的原生Action，sparkAction实现的是基于spark-submit提交自定义的Jar包，实现Spark-Sql
拔刺的少年·2020-02-22 09:26

pyspark 如何在 Spark on Yarn 中使用多个 .py 文件

Solution对于main.py依赖的util.py,module1.py,module2.py，需要先压缩成一个.zip文件，再通过spark-submit的--py--files选项上传到yarn
紫菜包饭哟嘻·2020-02-21 07:49

Spark 提交任务于参数解释

/bin/spark-submit\--classspark_streaming.SparkStreaming_first\--masterspark://master:7077\--deploy-modeclient
大数据在说话·2020-02-20 03:42

提交Spark作业，科学设定spark-submit参数

bin/spark-submit\--classcom.xyz.bigdata.calendar.PeriodCalculator\--masteryarn\--deploy-modecluster\-
LittleMagic·2020-02-12 20:15

Spark 源码阅读 2

pyspark扒开看下，实际作用语句是：exec"${SPARK_HOME}"/bin/spark-submitpyspark-shell-main--name"PySparkShell""$@"跟看/bin/spark-submit
Avanpourm·2020-02-12 04:53

pycharm + spark 的实现

在Windows上跑主要是为了测试，脚本没问题了，我们就需要把脚本上传到spark集群上并提交(spark-submit)运行。
盗梦者_56f2·2020-02-07 09:20

spark优化技巧(一)

#在生产环境中，提交spark作业时，用的spark-submitshell脚本，里面调整对应的参数：/usr/local/spark/bin/spark-submit\--classcn.spark.spar
Frank_8942·2020-02-05 20:51

利用Akka获取Spark任务的返回结果

通过spark-submit提交的任务都需要指定Main类作为程序的入口，Main类执行结束即Spark任务终结。如果需要通过外部程序实时向Spark任务提交数据并获取结果又该如何呢？
SamHxm·2020-02-05 17:03

Effective PySpark(PySpark 常见问题)

其实如果通过spark-submit提交程序，并不会需要额外安装pyspark,这里通过pip安装的主
祝威廉·2020-02-05 00:37

134、Spark核心编程进阶之spark-submit基础及例子

基础参数wordcount.sh/usr/local/spark/bin/spark-submit\--classcom.zj.spark.core.WordCountCluster\--masterspark
ZFH__ZJ·2020-02-02 00:15

idea使用project stucture，spark-submit时，Exception in thread "main" java.lang.SecurityException: Invalid

今天改用IDEA打包Spark代码，spark-submit时报：Exceptioninthread"main"java.lang.SecurityException:InvalidsignaturefiledigestforManifestmainattributes
zhanghuang·2020-02-01 02:00

spark-submit提交任务到集群，分发虚拟环境和第三方包

spark-submit提交任务的参数很多：Usage:spark-submit[options][apparguments]Usage:spark-submit--kill[submissionID]
落日峡谷·2020-01-15 22:00

spark-submit 说明

spark-submit任务提交spark-submit\--classsparksql.Oracle_Sqs_Hive\--masteryarn\--deploy-modecluster\/home/
鱼丸河粉·2020-01-10 17:00

135、Spark核心编程进阶之SparkConf、spark-submit以及spark-defaults.conf

默认的配置属性spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark应用程序加载默认的配置属性，一大好处就在于，我们不需要在spark-submit
ZFH__ZJ·2020-01-07 15:46

Spark#转#核心编程进阶-spark工程打包以及spark-submit详解

spark工程打包与spark-submit的关系我们在eclipse编写代码，基于sparkapi开发自己的大数据计算和处理程序将我们写好的spark工程打包，比如说java开发环境中，就使用mavenassembly
lyoungzzz·2020-01-06 06:48

Spark性能优化指南——初级篇

原文来我的公众号：Spark性能优化指南——初级篇一.Spark作业原理我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。
骑着龙的羊·2019-12-26 20:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他