spark-shell

win10 掿建python spark开发环境.和安装hadoop环境

先说下困绕我的两个问题好了windows下运行spark-shell始终不行，什么鬼找到原因拉在spark-class2.cmd中把这句话的环境改下就能跑了我就想在python中愉快的调试spark程序拉
十五年一剑·2020-09-13 02:28

spark spark-shell java.lang.NoClassDefFoundError: parquet/hadoop/ParquetOutputCommitter

spark版本：报错：Pleaseinsteaduse:-./spark-submitwith--driver-class-pathtoaugmentthedriverclasspath-spark.executor.extraClassPathtoaugmenttheexecutorclasspath18/03/0111:36:50WARNspark.SparkConf:Setting'spar
wdd668·2020-09-12 20:31

spark简单测试

1通过shell直接submit2通过Spark-shell执行foriin{1..30};dospark-submit--classorg.apache.spark.examples.JavaWordCount
自由自在梦在何方·2020-09-12 19:13

akka创建actor时报错：IllegalArgumentException: no matching constructor found on class $iwC$$iwC$$iwC$$iwC$...

在spark-shell中输入范例中的代码：importakka.actor.Actorimportakka.actor.Propsimportakka.event.LoggingclassMyActorextendsActor
weixin_30539835·2020-09-12 18:51

Spark之wordcount小案例

在虚拟机里1、编辑需要词频计算的文件（用空格隔开）2、在hdfs里新建文件夹WordCount，并把刚刚的words.txt文件上传上去3、在spark的目录中启动：bin/spark-shell进入sparkshell
忌颓废·2020-09-11 11:30

win10配置spark

安装pyspark库，pipinstallpyspark命令行输入spark-shell，出现以下界面则spark安
GX_Liu·2020-09-11 11:49

启动spark-shell遇到的问题

Causedby:org.apache.derby.iapi.error.StandardException:Failedtostartdatabase'metastore_db'withclassloaderorg.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@52354202,seethenextexceptionforde
小肖学数据分析·2020-09-11 09:28

如何在本地调试你的 Spark Job

spark-shell本地运行Spark最直接的方式
黑客悟理·2020-09-11 07:42

Window 上使用 IDEA 编写词频统计的 spark scala 程序，提交 jar 包到 虚拟机上运行

）1.安装IDEA下载地址：https://www.jetbrains.com/idea/download/#section=windows下载版本：spark和scala版本的选择，进入虚拟机，启动spark-shell
chen_zan_yu_·2020-09-11 07:10

Spark SQL 操作 Hive 表数据

spark-shell方式操作Hiveshowtablesselect*fromempjoin操作总结：和HQL语法一毛一样，只是记得使用如下格式spark.sql("xxxxxx").show即可如果嫌麻烦
路飞DD·2020-09-11 05:47

【Spark大数据处理技术】RDD及编程接口：(一)

//spark-shell默认已创建好scvallinks=sc.parallelize(Array(('A',Array('D')),('B',Array('A')),('C',Array('A','
varuy322·2020-09-11 04:37

spark TopN问题：dataframe和RDD比较

在shell下输入spark-shell进入spark后输入以下命令：//使用dataframe解决sparkTopN问题：分组、排序、取TopNimportorg.apache.spark.sql.expressions.Windowimport
aomao4913·2020-09-11 00:44

spark sql操作hive sql 和mysql

bin.jar添加到SPARK_HOME/lib/目录下.将$HIVE_HOME/lib下的mysql-connector-java-5.1.27.jar复制到~/software文件夹下(这一步是为了spark-shell
唐伯虎怒点秋香·2020-09-10 23:14

CDH 给root 用户赋值 超级权限 和 hive 赋值操作 详细

在root用户下spark-shell和hdfs等命令没有读写hdfs系统上数据的权限每次都切换到hdfs用户下执行存在问题，还有在特定单独安装组件可能要求用root用户存在进程无法读取h
lianchaozhao·2020-09-10 22:02

在Zeppelin上运行Spark程序

前言不得不说，Spark在Zeppelin上的使用还是比较方便的，比你在终端启动一个spark-shell或者spark-sql强太多了。闲话少说，我们一起来看一看吧！
AaronLwx·2020-09-10 21:25

spark的原理和部署（二）on yarn

首先启动集群start-all.sh测试：本地运行spark-shell程序：wh@master:/usr/local/spark/bin$spark-shell--masterlocal[2]##读取
冷昕·2020-08-25 17:23

SparkSQL操作外部数据源

parquet数据hive表数据mysql表数据hive与mysql结合1.处理parquet数据启动spark-shell:spark-shell--masterlocal[2]--jars~/software
sparkle123·2020-08-25 11:19

实操_Spark_v1.0.0

/bin/spark-shell简单Demo测试任务任务提交简单Demo测试一下Spark提交自己编写的Scala或Java程序-待续部署安装包式部署-Hadoop已提
学生宫布·2020-08-25 06:21

使用Zeppelin来实现大数据分析的可视化

有点类似Spark-Shell的REPL。其结果可以直接用图表来展示，解决了前端白痴的苦逼。
linkse7en·2020-08-24 13:36

Spark on Yarn提交作业优化

问题复现我们这里直接用spark-shell测试，spark-submit底层也是调用的spark-shell[hadoop@hadoop001bin]$.
Try Everything、·2020-08-24 12:59

Spark之HiveSupport连接（spark-shell和IDEA）

本文介绍了使用Spark连接Hive的两种方式，spark-shell和IDEA远程连接。
阿坤的博客·2020-08-24 00:40

Spark词频统计的三种方式

利用spark-shell来编程spark-shell--masterspark://hadoop01:7077已经初始化好了SparkContextsc回顾wordcount的思路：读数据，切分并压平
俊杰梓·2020-08-22 04:01

使用Zeppelin来实现大数据分析的可视化

有点类似Spark-Shell的REPL。其结果可以直接用图表来展示，解决了前端白痴的苦逼。
linkse7en·2020-08-20 20:34

使用Zeppelin来实现大数据分析的可视化

有点类似Spark-Shell的REPL。其结果可以直接用图表来展示，解决了前端白痴的苦逼。
linkse7en·2020-08-20 20:33

[spark学习]之spark shell 入门

/spark-shell或者直接输入[hadoop@localhostbin]$./spark-shell14/05/2315:14:00INFOspark.Http
JokerCao·2020-08-20 18:07

spark-shell on yarn 出错（arn application already ended,might be killed or not able to launch applic）解决

今天想要将spark-shell在yarn-client的状态下结果出错：[[email protected]]$bin/spark-shell--masteryarn-clientSparkassemblyhasbeenbuiltwithHive
JokerCao·2020-08-20 18:07

spark-sql使用

spark-sqlspark-sql在cli端的操作使用spark-sql编程需要配置jar包通过反射推断schema通过structtype指定schema通过spark-shell从mysql中加载数据将数据保存到
metooman·2020-08-20 17:15

spark读取redis数据（交互式，scala单机版，java单机版）

交互式第一步：向redis中添加数据第二步：将jedisjar包放入~/lib目录下，开启spark服务第三步：通过spark-shell读取redis数据，并做相应处理scala单机版packagecom.testimportorg.apache.spark.SparkConfimportorg.apache.spark.SparkContextimportredis.clients.jedis
靖-Drei·2020-08-20 04:42

spark shell的词频统计，去重，排序及合并 （嚯啊嚯）

Spark技术RDD算子本地文件上传至HDFSRDD保存文件至HDFSHDFS保存文件到本地spark-shell基础操作wordcount统计去重distinct排序sortByKey合并join求平均值
嚯啊嚯·2020-08-19 03:50

spark (1)初学者对于spark的几个疑问

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
aperise·2020-08-18 13:41

SparkSQL代码笔记03——连接hive

使用内置hiveps:需要注意内置hive是非常容易出现问题的1.先启动集群/opt/software/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh2.进入到spark-shell
嘉平11·2020-08-18 12:28

Spark调优之旅

问题说明1：spark-shell启动时重复提示：executorupdated:app-2016***isnowRunningexecutorupdated:app-2016***isnowLoadingexecutorupdated
李木子兮·2020-08-18 12:46

Spark-shell启动的时候报Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’错误

版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～https://blog.csdn.net/xiaoduan_/article/details/79815692Spark-shell启动的时候报java.lang.IllegalArgumentException:Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSess
段渣渣·2020-08-18 12:42

解决HDFS和spark-shell启动的警告：Unable to load native-hadoop library for your platform... using builtin-java

一、问题在启动hadoop和spark-shell的时候会有警告：start-dfs.sh2018-10-0309:43:31,795WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
StriveFarrell·2020-08-18 11:30

apach zeppelin中使用spark streaming:基本功能

一．需求在使用spark-streaming处理流式任务时，由于spark-shell需要登录到和生产集群相连的机器开启，使用起来也有诸多不便，且默认不支持kafka等源，所以萌生使用zeppelin中的
qwemicheal·2020-08-18 11:31

Spark运行模式-4种

目录Local模式使用Spark-shell提交流程wordcount数据流程分析:Standalone模式配置Standalone模式使用Standalone模式运行计算PI的程序在Standalone
Knight_AL·2020-08-18 11:59

Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':

使用spark-shell连接外部hive，出现下面错误：[[email protected]]$bin/spark-shell19/08/1314:15:52WARNNativeCodeLoader
20993 23431 33322·2020-08-18 11:23

Spark-Core(三) - Stage剖析&&Spark on yarn的两种模式

一、Spark-Core（二）回顾二、Stage剖析2.1、遇到action产生job2.2、job产生stage2.3、rdd中的cache2.4、Spark-shell中测试rdd缓存&&StorageLevel2.5
Spark on yarn·2020-08-18 10:30

基于spark的流式数据处理—SparkStreaming开发demo—文件流

概述本文主要完成一个sparkstreaming的文件流demo，如果是编写一个独立的SparkStreaming程序，而不是在spark-shell中运行，则需要通过如下方式创建StreamingContext
心相印-Garrett·2020-08-16 22:20

spark集群模式下textFile读取file本地文件报错解决

前言如果在spark-shell中使用textFile(“file://path”)演示，在local模式下是没有问题的，因为毕竟就是在本机运行，读取本地的文件。
桥路丶·2020-08-15 19:58

spark-submit 和 spark-shell 后面可跟的参数

站在巨人的肩膀上：http://spark.apache.org/docs/latest/submitting-applications.htmlSubmittingApplicationsThespark-submitscriptinSpark’sbindirectoryisusedtolaunchapplicationsonacluster.ItcanuseallofSpark’ssuppor
TopDstar·2020-08-15 15:21

使用scala编写一个简单实例到spark集群运行

实际工作上很少在虚拟机上直接使用spark-shell去编写程序，更多的是在IDEA等编辑器上将写好的程序打包，使用spark-submit提交到集群上去执行。
灰尘666·2020-08-15 07:04

Spark2.0功能测试和日志查看

一、spark2.0功能测试1.Spark-shell在spark的sbin使用spark-shell命令开启，使用如下例子测试：scala>valfile=sc.textFile("hdfs://namenode
HappyBearZzz·2020-08-14 20:30

SparkCore：Spark on Yarn运行模式和过程、Client模式新增进程、参数配置

和Client两种模式2.1Cluster和Client对比2.2Cluster模式2.3Client模式3、测试，查看运行结果3.1cluster模式提交程序3.2client模式提交程序，或者通过spark-shell
11号车厢·2020-08-14 17:32

好玩的大数据之25：Spark实验1（用Spark-Shell读写外部数据源）

一、简介本实验参考《spark权威指南》第9章：DataSources（数据源）二、实验内容利用spark-shell读写以下类型的数据源csvjsonorcparquetjdbc三、实验前准备1.实验数据说明参考
张文斌_2020·2020-08-14 16:16

Dataframe保存文件

网上查看了Dataframe如何把结果保存成文件经过尝试都以失败告终，大多数的博客上写的都是使用：在spark-shell模式下先导入importorg.apache.saprk.sql.SaveMode
因渺小而伟大·2020-08-14 14:01

Spark Shell简单使用

/bin/spark-shell在SparkShell中，有一个专有的SparkContext已经为您创建好了，变量名叫做sc。自己创建的SparkContext将无法工作
universe_ant·2020-08-14 08:22

Failed to connect to server: :8032: retries get failed due to exceeded maximum allowed retries numbe

spark-shell报WARNipc.Client:Failedtoconnecttoserver:xxx/xxx.xxx.xx.xx:8032:retriesgetfailedduetoexceededmaximumallowedretriesnumber
sofo2017·2020-08-11 16:58

【大数据学习】之 用spark-sql和spark-shell操作hive里面的表数据

SparkSQL与Hive的交互有两种方式，一种是spark-sql,另一种是spark-shell。
奔走觅衣粮·2020-08-11 03:11

Spark 读写Hive 表

Spark操作Hive可以采用两种方式，一种是在Spark-sql中操作Hive表，另一种是通过Hive的MetaStore在IDEA中操作Hive表，接下来分别介绍这两种方式Spark-Shell操作
Nice_N·2020-08-11 02:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他