spark-submit

Spark系列——Spark On Yarn 资源申请流程

SparkOnYarn资源申请流程Client模式因为是Client模式，所以当我们Spark-Submit提交Spark任务的时候，会直接走到我们的main方法，进行SparkContext的初始化,
code_solve·2019-12-23 15:04

[spark] 从spark-submit开始解析整个任务调度流程

本文在spark2.1以StandaloneCluster模式下解析概述spark应用程序可以以Client模式和Cluster启动，区别在于Client模式下的Driver是在执行spark-submit
BIGUFO·2019-12-23 03:13

#转#Spark核心编程进阶-spark-submit示例以及基础参数讲解

使用spark-submit提交spark应用将我们的spark工程打包好之后，就可以使用spark-submit脚本提交工程中的spark应用了spark-submit脚本会设置好spark的classpath
lyoungzzz·2019-12-20 10:21

Spark-Core源码精读(3)、spark-shell(spark-submit)流程详解

本文将解读使用spark-shell的方式进入REPL的具体流程。注：本专题的文章皆使用Spark-1.6.3版本的源码为参考，如果Spark-2.1.0版本有重大改进的地方也会进行说明。shell部分下面我们来看一下当我们输入spark-shell--masterspark://master:7077时具体的执行流程，首先当然是看一下spark-shell.sh的源码，我们只选取了相对比较重要的
sun4lower·2019-12-20 09:12

Spark作业基本运行原理

当我们使用spark-submit提交一个Spark任务后，这个任务就会启动一个对应的Driver进程，然后根据你设置的部署模式（deploy-mode）的不同，Driver进程可能在本地启动，也可能在集群的某个工作节点上启动
简书生活2017·2019-12-19 15:26

【Spark 2.1.1 原理】Spark原理① spark-submit 源码级 2019_12_17

spark-submit命令完整解析图形化流程全流程命令重点摘要bin/spark-submitshell命令文件内容bin/spark-class文件内容↑↑↑↑↑↑Shell脚本部分总结↓↓↓↓↓↓
今心木目·2019-12-18 15:05

大数据学习十八：Spark调度流程

/bin/spark-submit会主动创建SparkContext】
RacyFu·2019-12-15 22:03

Spark性能调优-资源调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。
数据萌新·2019-12-14 10:52

2 Spark独立应用程序编程

使用Scala编写的程序需要使用sbt进行编译打包，相应的，Java程序使用Maven编译打包，而Python程序通过spark-submit直接提交。
Silly_N_Fool·2019-12-14 07:39

Spark内核系列(一)Spark内核架构

架构流程图说明1.SparkContext初始化(Standalone模式)1.首先spark-submit提交Spark应用程序Application.2.提交之后spark会通过反射的方式创建和构造一个
再无风雨也无情_·2019-12-13 10:36

#转#Spark核心编程进阶-SparkConf、spark-submit以及spark-defaults.conf

默认的配置属性spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark应用程序加载默认的配置属性，一大好处就在于，我们不需要在spark-submit
lyoungzzz·2019-12-07 01:39

Windows上的PyCharm 远程连接调试pyspark

在实验室配置了一个Spark集群，传统的方法就是在Windows本地开发项目，完了后打包，然后上传到Linux服务器上，最后执行spark-submit。
Michaelhbjian·2019-12-06 17:42

Spark：Dynamic Resource Allocation【动态资源分配】

2.1Executor生命周期2.2ExecutorAllocationManager上下游调用关系3.总结与反思4.CommunityFeedback1.问题背景用户提交Spark应用到Yarn上时，可以通过spark-submit
TopGun_Viper·2019-12-02 05:19

SPARK优化

在生产环境中，提交spark作业时，用的spark-submitshell脚本，里面调整对应的参数：/usr/local/spark/bin/spark-submit\--classcn.spar
miss幸运·2019-12-01 22:55

Spark 实践 - 客户端使用spark-submit提交Spark应用程序及注意事项

二、spark-submit提交程序语法使用spark-submit工具提交Spark应用程序的语法：.
13157330443·2019-11-27 21:07

使用 Livy Rest API 提交 spark 批量任务 （jar，Python， streaming）

image.pngLivy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
nummy·2019-11-08 06:19

《Spark指南》三、 提交应用程序

位于bin目录的spark-submit脚本用来在集群中运行应用程序，它以统一的接口支持所有类型的clustermanagers（包括独立模式、ApacheMesos模式和HadoopYARN模式）。
Flowaway·2019-11-07 18:27

sparkstreaming 筆記

是一种“一到多”（one-to-many）的映射算子，它可以将源DStream中每一条记录映射成多条记录扁平化ssc.start()//启动流式计算不应该将master参数硬编码到代码里，而是应用通过spark-submit
时待吾·2019-11-07 07:02

一次诡异的Spark作业卡住问题

今天在一个集群上通过spark-submit方式提交作业，但发现作业在运行不久后，控制台的日志就停住不变了，一直到CRT的session超时也没有变化，截图如下：!
橋声·2019-11-06 18:20

[语法]spark-submit常见问题及其解决

ApacheSpark技术实战之6--spark-submit常见问题及其解决-徽沪一郎-博客园http://www.cnblogs.com/hseagle/p/4052572.html?utm_source=tuicool&utm_medium=referral问题1由于Spark在计算的时候会将中间结果存储到/tmp目录，而目前linux又都支持tmpfs，其实说白了就是将/tmp目录挂载到内
葡萄喃喃呓语·2019-11-02 15:16

Spark性能调优

1.分配更多的资源--性能调优的王道真实项目里的脚本：bin/spark-submit\--classcom.xx.xx\--num-executors80\--driver-memory6g\--executor-cores3
evan_355e·2019-11-02 05:25

Spark之一：Spark任务运行的基本流程

Spark任务运行的基本流程客户端spark-submit指定任务提交给Master，Driver就会向Master注册Application（附带相关需要的资源）客户端提交任务spark-submit
qq_27241383·2019-10-16 20:15

[spark 之webUi的入门知识-1]

1、spark-shell与spark-submit的区别：就spark提交程序来说，最终都是通过spark-submit命令来实现的，不同的是spark-shell在运行时，会先进行一些初始参数的设置
我去图书馆了·2019-10-05 10:09

Spark On Yarn 提交后VCore显示错误

/bin/spark-submit\--classcom.jyn.secondtime.Seconds\--masteryarn\--deploy-modecluster\--driver-memory4g
我在北国不背锅·2019-09-21 12:33

Spark 系列（五）—— Spark 运行模式与作业提交

一、作业提交1.1spark-submitSpark所有模式均使用spark-submit命令提交作业，其格式如下：.
heibaiying·2019-09-21 10:29

yarn的clinet和cluster模式区别

1、你要切换到yarn-cluster或者yarn-client模式，很简单，将我们之前用于提交spark应用程序的spark-submit脚本，加上--master参数，设置为yarn-cluster
hulifang·2019-09-19 17:00

spark07

spark07spark运行原理：RDDObjectdriver提交代码，spark-submit运行main方法。
lilixia·2019-09-16 17:00

spark-submit提交报错: java.sql.SQLException: No suitable driver解决方法

一、问题出现背景：spark-submit提交程序运行时报错Userclassthrewexception:java.sql.SQLException:Nosuitabledriver，写入oracle
微步229·2019-08-21 16:08

记一次解决spark-submit写入oracle报错问题

先上代码：//结果数据临时写入odsresult.write.mode("append").format("jdbc").option("url",KlaAppEnv.ODSURL).option("dbtable",KlaAppEnv.ODSDB).option("user",KlaAppEnv.ODSUSER).option("password",KlaAppEnv.ODSPASSWORD).
珉辰·2019-08-20 10:38

Spark学习-2.4.0-源码分析-3-Spark 核心篇-Spark Submit任务提交

文章目录1.概述2.Spark应用程序执行流程简介3.SparkSubmit任务提交流程详解3.1第一步，编写用户脚本并用Spark-Submit提交3.1.1用户脚本内容3.1.2命令行日志3.1.3Spark-Submit
pre_tender·2019-08-18 15:51

spark提交scala代码

目的：通过spark-submit提交scala代码scala代码需要先编译才能在spark上跑工具：sbt下载地址sbt正式开始假设现在的地址是/home/sparknode/scalacode，则需要先
donger__chen·2019-08-11 22:04

Spark 系列（五）—— Spark 运行模式与作业提交

一、作业提交1.1spark-submitSpark所有模式均使用spark-submit命令提交作业，其格式如下：.
黑白影·2019-08-09 17:00

IDEA开发Spark项目sbt引入依赖

问题说明spark中运行项目有两种方式在spark-shell中导入依赖，编写代码，执行和在idea中写好应用，使用spark-submit方式提交到spark运行在使用idea开发spark应用时，引入依赖总是失败
cheyun8561·2019-08-08 09:00

大数据——Spark任务执行流程

Spark任务的执行流程文字详细描述通过对比和阅读源码，我们大致将Spark任务提交到运行分为以下20步进行描述，具体过程如下：1.将我们编写的程序打成jar包2、调用spark-submit脚本提交任务到集群上运行
kiss火葱花·2019-07-12 14:04

Spark系列 —— 本地Spark连接远程集群Hive(Scala/Python)

背景    很多时候，我们在编写好Spark应用程序之后，想要读取Hive表测试一下，但又不想操作(打jar包——>上传集群——>spark-submit)这些步骤时，那我们就可以在本地直连Hive，直接运行你的
A&F·2019-07-03 21:47

Spark-submit 测试任务提交

Spark-submit测试任务提交.
枫叶云·2019-07-02 10:47

Spark-submit参数说明

spark-submit[--options][apparguments]参数名称含义--masterMASTER_URL可设置模式如：spark://host:portmesos://host:portyarnyarn-clusteryarn-clientlocal
心有余力·2019-06-25 11:22

Tensorflowonspark 示例MNIST 提交到spark集群上运行的脚本

在官方示例中给出的模型存储路径是hdfs路径，但是在个人运行本示例时，脚本运行阻塞，最终超时报错解决办法有两种一将模型的存储路径设置为本地路径/usr/local/app/spark-2.3.1/bin/spark-submit
枫隐_5f5f·2019-06-24 10:24

Spark程序运行方式

Spark程序运行方式本文主要介绍Spark上传集群运行的过程及shell脚本的编写脚本文件编写参数介绍在linux环境下spark-submit指令打印如下[hadoop@hadoop01MyShell
大数据容器·2019-06-19 23:13

spark参数详解

spark的配置参数可以在多个地方配置，以executor的memory为例，有三个地方可以配置(1)spark-submit的--executor-memory选项(2)spark-defaults.conf
cxy1991xm·2019-06-15 14:31

Spark任务提交jar包依赖解决方案（开发阶段多次上传jar包比较慢，怎么办?）

通常我们将spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。
爱上在路上的小破孩·2019-06-05 11:51

Futures timed out after [10 seconds]. This timeout is controlled by spark.executor.heartbeatInterva

问题描述：提交spark-submit时，在ssh终端提交没有问题，但是在代码中ssh登陆后，再提交命令就出现以下问题了，开始怀疑是用户问题，但是如果是用户问题，那么我在ssh终端同一个用户执行又执行正确
gucapg·2019-05-31 13:07

spark submit参数调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
kdy·2019-05-29 14:00

大数据学习（五）：如何使用 Livy提交spark批量任务

Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
猪笨是念来过倒·2019-05-21 15:15

SparkStreaming读写kerberos Hive（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5
雾幻·2019-05-15 14:02

SparkStreaming读写kerberos HBase（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5
雾幻·2019-05-15 14:54

SparkStreaming读写kerberos HDFS（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5
雾幻·2019-05-15 14:17

log4j日志设置

前言Spark有多种方式设置日志级别，这次主要记录一下如何在spark-submit设置Spark的日志级别。
JackLeeLive·2019-05-10 10:25

Spark学习—— (4) 基本使用（Python）

Spark支持Java、Python、Scala、R语法，可以通过spark-shell（Scala）或pyspark（Python）进行交互式的操作，也可以用spark-submit提交用Java、Python
zhierzyc·2019-04-26 09:58

Spark配置——Spark Application的executor数的设定

我们通常都使用spark-submit来提交任务，对于不同的部署模式，需要使用不同的参数来指定executor数，实际生产环境中最常使用的部署模式就是
看得出的就是·2019-04-09 21:42
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他