parallelize

Saprk中RDD詳解

一.常用的transfromRDD算子通過並行化scala創建RDDvalrdd1=sc.parallelize(Array(1,2,3,4,5,6,7,8))查看該RDD的分區數量rdd1.partitions.lengthres23
文子轩·2025-07-21 10:52

Spark从入门到熟悉（篇二）

Action操作常用Transformation操作针对PairRDD的常用操作缓存操作共享变量分区操作编程实战创建RDD实现方式有如下两种方式实现：textFile加载本地或者集群文件系统中的数据用parallelize
·2025-07-04 05:32

spark：map 和 flatMap 的区别(Scala)

场景设定假设有一个包含句子的RDD：scalavalrdd=sc.parallelize(List("HelloWorld","HiSpark"))目标是：将每个句子拆分成单词。
WZMeiei·2025-05-16 01:30

RDD转换算子sortByKey详解

格式:sortByKey(ascending=True|False默认为True)说明:根据key进行排序操作,默认按照key进行升序排序,如果需要倒序设置ascending为Falserdd=sc.parallelize
留不住的人·2025-05-14 16:40

RDD转换算子

例如：scalavalrdd=sc.parallelize(1to6,2)valresult
晴空下小雨.·2025-05-12 01:46

RDD有哪几种创建方式

RDD（弹性分布式数据集）有以下几种常见的创建方式：###从集合创建通过`parallelize()`方法将本地集合转换为RDD。
痕517·2025-05-08 10:52

Spark 中创建 DataFrame 的2种方式对比

spark.createDataFrame(data).toDF("name","age")和spark.createDataFrame(spark.sparkContext.parallelize(data
闯闯桑·2025-03-15 20:20

Spark scala api（一）RDD编程

创建rdd//驱动器程序对一个集合进行并行化vallines=sc.parallelize(Li
weixin_42521881·2025-03-09 07:50

Scala 中生成一个RDD的方法

以下是生成RDD的常见方法：1.从本地集合创建RDD使用parallelize方法将本地集合（如Seq、List、Array等）转换为RDD。
闯闯桑·2025-03-09 06:35

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd(1)

dfDataFrame[a:bigint,b:double,c:string,d:date,e:timestamp]####通过由元组列表组成的RDD创建rdd=spark.sparkContext.parallelize
2401_84181368·2024-09-07 08:46

spark键值对的链接

sys.argv)==2:master=sys.argv[1]try:sc.stop()except:passsc=SparkContext(master,'test')storeAddress=sc.parallelize
yanghedada·2024-02-10 09:27

pyspark学习-自定义udf

frompyspark.sqlimportSparkSession,Rowif__name__=='__main__':spark=SparkSession.builder.getOrCreate()num=spark.sparkContext.parallelize
heiqizero·2024-02-01 09:07

pyspark学习-RDD转换和动作

#RDD创建#1.parallelize方法：创建RDD,参数为list,返回RDDsc.parallelize(param:list)#demosc.parallelize(['tom','jack'
heiqizero·2024-01-26 02:39

Spark groupByKey和reduceByKey

我们通过简单的WC看看两者的区别groupByKey实现WCscala>valrdd=sc.parallelize(List(1,1,2,2,3,3)).map((_,1))rdd:org.apache.spark.rdd.RDD
喵星人ZC·2024-01-22 09:23

pyspark

("pysparkversion"+str(sc.version))mapsc=sparkcontext,parallelizecreatesanRDDfromthepassedobjectx=sc.parallelize
Tim在路上·2024-01-14 10:43

Spark原理——逻辑执行图

newSparkConf().setMaster("local[6]").setAppName("wordCount_source")valsc=newSparkContext(conf)valtextRDD=sc.parallelize
我像影子一样·2024-01-13 09:17

Spark原理——总体介绍

setMaster("local[6]").setAppName("wordCount_source")valsc=newSparkContext(conf)//2.创建数据集valtextRDD=sc.parallelize
我像影子一样·2024-01-13 09:17

RDD算子——转换操作（Transformations ）【map、flatMap、reduceByKey】

一、mapmap算子#spark-shellsc.parallelize(Seq(1,2,3)).map(num=>num*10).collect()#IDEA@TestdefmapTest():Unit
我像影子一样·2024-01-13 09:47

Spark原理——运行过程

运行过程逻辑图是什么怎么生成具体怎么生成valtextRDD=sc.parallelize(Seq("HadoopSpark","HadoopFlume","SparkSqoop"))valsplitRDD
我像影子一样·2024-01-13 09:44

Spark中Rdd算子和Action算子--学习笔记

):根据f函数中的判断条件对rdd追踪的数据进行过滤保留条件为True对应的rdd数据"""frompysparkimportSparkContextsc=SparkContext()rdd1=sc.parallelize
祈愿lucky·2024-01-12 23:24

一文详解pyspark常用算子与API

rdd.glom()对rdd的数据进行嵌套，嵌套按照分区来进行rdd=sc.parallelize([1,2,3,4,5,6,7,8,9],2)print(rdd.glom().collect())输出
不负长风·2024-01-01 10:25

Spark的这些事（三）——spark常用的Transformations 和Actions

valinput=sc.parallelize(List(1,2,3,4))valresult1=input.map(x=>x*x)val
数据社·2023-12-21 07:12

spark的键值对的行动操作

local"iflen(sys.argv)==2:master=sys.argv[1]try:sc.stop()except:passsc=SparkContext(master,'test')RDD1=sc.parallelize
yanghedada·2023-12-16 10:03

Spark常见算子汇总

从外部存储创建RDD从集合中创建RDD从其他RDD创建textfile调用SparkContext.textFile()方法，从外部存储中读取数据来创建RDDparallelize调用SparkContext的parallelize
话数Science·2023-12-06 21:05

Spark SQL,DF,RDD cache常用方式

RDD中的cache调用cache方法valtestRDD=sc.parallelize(Seq(elementA,elementB,elementC)).map(x=>(x._1,x._2)).setName
高达一号·2023-11-29 07:19

spark的算子

rdd=sc.parallelize([1,2,3,4,5])result=rdd.map(lambdax:x*2)#re
地球魔·2023-11-24 07:49

如何避免spark dataframe的JOIN操作之后产生重复列（Reference '***' is ambiguous问题解决）

如下：如分别创建两个DF，其结果如下：valdf=sc.parallelize(Array(("one","A",1),("one","B",2),("two","A",3),("two","B",4)
sparkexpert·2023-11-16 00:46

Spark---数据计算

=SparkConf().setMaster("local[*]").setAppName("test_spark")sc=SparkContext(conf=conf)#准备一个RDDrdd=sc.parallelize
velpro_!·2023-10-16 06:31

spark中使用flatmap报错：TypeError: ‘int‘ object is not subscriptable

1、背景描述菜鸟笔者在运行下面代码时发生了报错：frompysparkimportSparkContextsc=SparkContext("local","apple1012")rdd=sc.parallelize
电光火石尔·2023-10-13 14:19

RDD编程(python版)总结

一、RDD创建方式包括:parallelize、textFile1.parallelize：将一个已存在的集合生成RDD。
呼啦呼啦悦·2023-10-12 21:32

Spark 杂记--- 键值对操作RDD

scala版:scala>vallines=sc.parallelize(List("pandas","ilikepandas"));lines:org.apache.spark.rdd.RDD[String
秋风小凉鱼·2023-10-10 16:44

PySpark将Vector拆分为列

一种可能的方法是转换为RDD和从RDD转换：frompyspark.ml.linalgimportVectorsdf=sc.parallelize([("assert",Vectors.dense([1,2,3
浅笑古今·2023-10-09 00:51

2023_Spark_实验十：RDD基础算子操作

Ø练习1：//通过并行化生成rddvalrdd1=sc.parallelize(List(5,6,4,7,3,8,2,9,1,10))//对rdd1里的每一个元素乘2然后排序valrdd2=rdd1.map
pblh123·2023-09-20 20:37

pyspark MLlib基本使用

使用方法MLlib中包含能够在集群上运行良好的并行算法，如kmeans、分布式RF、交替最小二乘等，这能够让MLib中的每个算法都能够适用于大规模数据集也可以将同一算法的不同参数列表通过parallelize
littletomatodonkey·2023-09-20 05:22

pyspark 的dataframe操作

'my_first_app_name')\.getOrCreate()2.创建dataframe2.1.从变量创建#生成以逗号分隔的数据stringCSVRDD=spark.sparkContext.parallelize
李洪良_948d·2023-09-11 13:54

图解RDD血缘关系

需求有三个RDD,分别是rddA,rddB,rddC.取数据1,2,3,4,5并且分成三个分区,对输入的数据的每一个数据*2,只取大于6的数据.代码valrddA=sc.parallelize(List
heasy·2023-09-10 07:48

pyspark学习42-43：删除重复行、删除有空值的行、填充空值、filter过滤数据

视频42-431、删除重复行df=spark.read.csv('/sql/customers.csv',header=True)>>>frompyspark.sqlimportRow>>>df=sc.parallelize
斯特兰奇·2023-09-06 13:51

【Spark】PySpark的RDD与DataFrame的转换与使用

RDD与DataFrameRDD1.SparkSession2.RDD2.1创建RDD2.1.1读取文本文件2.1.2通过parallelize和range2.2操作RDDRDD的两类算子：RDD的持久化储存
浮汐·2023-09-03 06:41

spark运行报错Please install psutil to have better support with spilling

记录一下错误，在windows上面运行spark报错words=sc.parallelize(['scala','java','hadoop','spark','scala','hadoop','spark
Panda4u·2023-08-31 03:09

PySpark RDD 之 filter

>>>rdd=sc.parallelize([1,2,3,4,5])>>>rdd.filter(lambdax:x%2==0).collect()[2,4]3.
G_scsd·2023-08-30 04:53

spark scala 对RDD进行过滤----filter使用方法

现有一个rdd:RDD[(String,Int)]valrdd=sc.parallelize(Seq(("a",1),("a",2),("b",2),("b",3),("c",1)))过滤条件逻辑运算符
supersalome·2023-08-30 04:53

spark - rdd/df/ds 性能测试

Log10(UUID.randomUUID().toString,num)}})valcount=rdd.count()}elseif(typ==1){valrdd=spark.sparkContext.parallelize
大猪大猪·2023-08-26 23:06

pyspark中RDD常用操作

SparkConf().setAppName("lg").setMaster('local[4]')#local[4]表示用4个内核在本地运行sc=SparkContext.getOrCreate(conf)1.parallelize
zhuzuwei·2023-08-26 17:25

理解RDD的reduceByKey与groupByKey

valconf=newSparkConf().setAppName("word-count").setMaster("local");valsc=newSparkContext(conf)valrdd=sc.parallelize
Julian Win·2023-08-26 17:54

PySpark 之 map

>>>rdd=sc.parallelize(["b","a","c"])>>>sorted
m0_67402970·2023-08-26 08:55

PySpark RDD

创建RDD在PySpark中，基于Scala的创建RDD的方法有两种：第一种是通过元组创建：importpysparkdata1=sc.parallelize(("a",2))data2=sc.makeRDD
GakkiLove·2023-08-22 13:12

RDD-Resilient Distributed Datasets 弹性分布式数据集

valparams=sc.parallelize(1to10)valresult=params.map(perfor
Jesse Pan·2023-08-19 23:46

pyspark RDD reduce、reduceByKey、reduceByKeyLocally用法

reduceReducestheelementsofthisRDDusingthespecifiedcommutativeandassociativebinaryoperator.Currentlyreducespartitionslocally.a=sc.parallelize
NoOne-csdn·2023-08-18 12:19

Spark大数据技术与应用

1.创建普通RDD1.1设置日志级别sc.setLogLevel("WRAN")sc.setlogLevel("INFO")1.2创建RDD的快捷方式1.2.1从集合中创建RDD（parallelize
她似晚风般温柔789·2023-08-14 10:06

Spark之中map与flatMap的区别

val rdd = sc.parallelize(List("coffee panda","happy panda","happiest p
u013063153·2023-08-12 12:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他