spark-submit

linux上运行spark程序

参考官网spark-submit在spark安装目录的bin目录下有一个spark-submit脚本，可以用来提交运行spark程序如果配置了spark的path可以直接使用spark-submit命令编译构建
HanLaotwo·2017-10-10 00:56

Apache Spark 2.2.0 中文文档 - Submitting Applications | ApacheCN

SubmittingApplications在scriptinSpark的bin目录中的spark-submit脚本用与在集群上启动应用程序。
片刻_ApacheCN·2017-09-27 17:54

Apache Spark 2.2.0 中文文档 - Submitting Applications | ApacheCN

SubmittingApplications在scriptinSpark的bin目录中的spark-submit脚本用与在集群上启动应用程序。
片刻_ApacheCN·2017-09-27 17:54

Spark Streaming On Yarn/ On StandAlone模式下的checkpointing容错

容错1：当我们使用spark-submit成功提交一个程序之后，我们可以使用jps能够查看到CoarseGrainedE
javartisan·2017-09-08 15:28

Spark性能优化：资源调优篇

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
张永清·2017-08-30 17:00

spark学习-18-Spark的Core理解

有一次我要跑一个任务，spark-submit提交的任务，但是它总是处于ACCEPED等待接受的状态，以前遇到这个问题，这个是内存不够引起的Spark学习-SparkSQL–05-SparkSQLCLIApplicationreportforapplication
九师兄-梁川川·2017-08-23 16:35

spark-submit运行jar包脚本命令

找到spark-submit文件的目录目录/spark-submit--masterspark://192.168.172.10:7077--executor-memory2g--total-executor-cores10
heart_java·2017-08-14 15:48

spark提交应用的全流程分析

spark提交应用的全流程分析@(SPARK)[spark]本文分析一下spark的应用通过spark-submit后，如何提交到集群中并开始运行。
jediael_lu·2017-08-05 20:14

Spark性能调优-集群资源分配策略

开发完成Spark作业之后，我们在运行Spark作业的时候需要为其配置一些资源参数，比如num-executors，executor-memory等，这些参数基本上都是可以在spark-submit命令中作为参数设置
逃出你的肖生克·2017-08-04 11:20

执行spark-submit脚本报错

java.lang.IllegalArgumentException:Systemmemory101384192mustbeatleast4.718592E8.Pleaseusealargerheapsize.atorg.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:193)ato
一只小飞狐·2017-08-01 16:00

spark-submit 依赖解决方案

spark的jar包没必要把所有相关的依赖都打进一个jar包中，因为这样会把spark、hadoop本身相关的jar包也打进去，但是这些依赖在用spark-submit命令运行时，会自动加载部署环境中已有的
BBlue-Sky·2017-07-18 10:15

Spark源码解析之任务提交（spark-submit）篇

今天主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark-submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图：接下来按照图中结构出发一步步看源码：spark-submit
逃出你的肖生克·2017-07-12 09:24

spark提交过程分析（standalone模式）

一、构造SparkContextPaste_Image.png1.1.在shell下，通过spark-submit命令将Application提交到集群,此时spark会通过反射的方式，创建和构造一个DriverActor
clearlove_lbx·2017-06-21 00:00

Learning Spark——client mode和cluster mode的区别

在使用spark-submit提交Spark任务一般有以下参数：./bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
Trigl·2017-06-09 19:51

spark-大表join优化方案

3~4T的大表进行Join拆分将任务数据分为多个结果RDD，将各个RDD的数据写入临时的hdfs目录，最后合并取所需的字段和数据，并去重，减少datashuffle的规模调整并行度和shuffle参数spark-submit
小蜗牛也有梦想·2017-06-09 14:03

spark-submit提交模式

/bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
colossus_bigdata·2017-06-05 10:07

spark on yarn 异常记录二

通过spark-submit向集群提交任务时，–num-executors数量大于1即会出现异常，异常如下：17/06/0411:47:03WARNDefaultChannelPipeline:Anexception'java.lang.NoSuchMethodError
乄浅醉·2017-06-04 16:42

Spark性能优化：资源调优篇

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
m635674608·2017-06-03 16:00

Spark源码系列（一）spark-submit提交作业过程

http://www.cnblogs.com/cenyuhai/p/3775687.html前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个DriverProgram的过程。作业提交方法以及参数我们先看一下用SparkSubmit提交的方法吧
dufufd·2017-05-25 08:56

sbt的安装以及用sbt编译打包scala编写的spark程序

众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit
梦岚如雪·2017-05-18 17:59

spark-submit local本地运行问题

今天碰到一个很奇怪的问题，关于spark-submit三种运行模式：（1）本地local模式（2）在HadoopYARN-client模式（3）StandaloneCluster模式1问题描述首先说明一下我的集群
RiverCode·2017-05-10 16:17

Spark一系列入门流程

intellijidea2016.1.1,spark1.6.2(HDP),hadoop2.7.3(HDP)，scala2.10.5(编译环境),sbt管理依赖背景：spark单点运算不能解决大数据的问题的时候，就需要使用spark-submit
dufufd·2017-05-03 16:17

spark 提交任务参数说明

[size=medium]1.参数选取当我们的代码写完，打好jar，就可以通过bin/spark-submit提交到集群，命令如下：.
duncandai·2017-04-28 14:55

spark 提交任务参数说明

[size=medium]1.参数选取当我们的代码写完，打好jar，就可以通过bin/spark-submit提交到集群，命令如下：.
duncandai·2017-04-28 14:55

spark部署模式解析

如果使用spark-submit进行任务提交或者在ec
JasonZhangOO·2017-04-24 10:22

关于spark-submit报错java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize

当使用spark-submit提交ScalaApp时，代码仅仅做了一个filter或者map操作。然后报了一长串的错。
Clockworkai·2017-04-23 08:55

Spark提交作业的流程以及作业是如何被触发在集群中运行的

首先使用脚本spark-submit将作业提交，这个过程实际上就是使用shell脚本调用java命令运行的SparkSubmit类的main方法，所以我们接下来需要看一下SparkSubmit的main
javartisan·2017-04-05 21:10

YARN上显示应用程序使用的vcores、memory不准确？

本文基于Spark2.1.0版本我们知道，使用yarn作为clustermanager时，spark（以client模式为例）用spark-submit提交应用程序（或者是spark-shell交互操作
俺是亮哥·2017-03-29 23:47

spark面试问题汇总（持续更新....）

spark-submit的时候如何引入外部jar包sparkshuffle的具体过程，你知道几种shuffle方式spark如何防止内存溢出cache和pesist的区别怎么处理数据倾斜简要描述Spark
mayuoo·2017-03-29 11:24

Spark源码分析-以wordcount为入口进行spark-submit源码分析

1、以wordcount开始spark源码分析1）Standalone模式启动启动Master，start-master.sh输出：/home/weiw/spark-1.6.3-bin-hadoop2.6/sbin/spark-daemon.shstartorg.apache.spark.deploy.master.Master1--ipubuntu--port7077--webui-port80
wangweislk·2017-03-14 17:04

Spark问题9之Spark通过JNI调用c的问题解决

SparkLearningSpark生态之Alluxio学习版本：alluxio（tachyon）0.7.1，spark-1.5.2,hadoop-2.6.01.问题描述1.1描述当scala通过JNI调用c时，使用spark-submit
KeepLearningBigData·2017-03-06 10:51

在本地将spark作业运行到远程集群

一般本机调试通过后会将作业打成jar包通过spark-submit提交运行。生产环境一般使用这种方式。本文介绍第3种方式：在本地将spark作业运行到远程集群中。这种方式比较少见，很多人认为不可行，包
铁头乔·2017-02-25 13:18

[Spark]Spark 应用程序部署工具spark-submit

1.简介Spark的bin目录中的spark-submit脚本用于启动集群上的应用程序。
SunnyYoona·2017-02-16 20:53

spark 内存分配

也可以在spark-submit命令时用参数--executor-memory设置。用于缓存
jhk9898·2017-02-14 16:37

使用spark-submit提交jar包到spark standalone集群(续)

继续上篇文章利用IntellijIdea在windows搭建spark开发环境(含打jar包过程）(一)以及Sparksql处理json日志[要求sparksql统计json日志条数存入mysql数据库]本章将把打好的jar提交到集群运行。[如何打jar包请看上文第一篇]环境：centos7,windows10,intellij2016.1.1jar包代码：[详细的步骤请看第二篇]importsc
Books易·2017-01-16 21:28

利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程）(一)

intellijidea2016.1.1,spark1.6.2(HDP),hadoop2.7.3(HDP)，scala2.10.5(编译环境),sbt管理依赖背景：spark单点运算不能解决大数据的问题的时候，就需要使用spark-submit
Books易·2017-01-16 15:53

Spark sbt-assembly 打包

因为要用spark2.0，而集群上cdh5.7.1的spark版本是1.6的，在单独使用spark2.0的时候出现了hbase包找不到的问题，因为spark-submit–jars属性引的包太多，就干脆直接用
-ROOT-·2017-01-16 12:48

欢迎使用CSDN-markdown编辑器

spark-submit参数–masterMASTER_URL可以是spark://host:port,mesos://host:port,yarn,yarn-cluster,yarn-client,local–deploy-modeDEPLOY_MODEDriver
笑看灬生活·2017-01-09 22:42

JVM调优executor堆外内存和 连接时长

/usr/local/spark/bin/spark-submit\--classcom.hulb.sparkstudy.WordCount\--num-executors80\--driver-memory6g
唐予之_·2016-12-11 13:11

Spark性能优化：资源调优篇

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
张章章Sam·2016-12-07 14:15

Spark Streaming Kafka CreateDirectDStreaming 遇见的问题

问题1：spark-submit提交任务报错如下：分析：起初我的spark集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。
javartisan·2016-12-01 19:55

Spark Streaming Kafka CreateDirectDStreaming 遇见的问题

问题1：spark-submit提交任务报错如下：分析：起初我的spark集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。
javartisan·2016-12-01 19:55

spark submit参数调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
chenjieit619·2016-12-01 14:23

spark配置详解

spark-submit参数：Usage:spark-submit[options][appoptions]Options: --master       |MASTER_URL    spark://
年青人阿奔·2016-11-19 23:48

Spark程序提交到集群中

spark-submit提交任务时，报:InvalidsignaturefiledigestforManifestmainattributes问题来源：使用IDEA将编写好的Spark程序打包成jar包
CLHugh·2016-11-14 22:36

Spark submit依赖包管理！

使用spark-submit时，应用程序的jar包以及通过—jars选项包含的任意jar文件都会被自动传到集群中。
moviebat·2016-11-14 17:03

spark:spark内核架构

1.首先用spark-submit提交我们的application，那么在standalone模式下，会在client启动一个Driver进程，这个driver就是执行我们的application应用程序
过江小卒·2016-11-13 11:26

Spark：相关错误总结

/bin/spark-submit'居然是因为这个引发的错误：SPARK_HOME=~/ENV/spark应该改成SPARK_HOME=/home/
-柚子皮-·2016-10-24 22:21

spark命令行解析与找不到类scopt.OptionParser

阅读更多问题一:解析spark-submit命令行参数的时候用到了第三方包scopt，该包需要引入com.github.scoptscopt_2.103.2.0，引入之后直接使用idea打包(build-buildartifacts-rebuild
x10232·2016-10-12 16:00

Spark任务提交jar包依赖解决方案

http://blog.csdn.net/wzq294328238/article/details/48054525通常我们将Spark任务编写后打包成jar包，使用spark-submit进行提交，因为
iteye_5347·2016-09-26 10:24
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他