spark（scala）

Spark缓存-----persist方法

1.功能本质persist：这是一个通用的持久化方法，能够指定多种不同的存储级别。存储级别决定了数据的存储位置（如内存、磁盘）以及存储形式（如是否序列化）。2.存储级别指定persist：可以通过传入StorageLevel参数来指定不同的持久化级别。常见的持久化级别有：MEMORY_ONLY：将RDD以Java对象的形式存储在JVM的内存中。若内存不足，部分分区将不会被缓存，需要时会重新计算。M
小萌新~~~~·2025-05-16 01:00

在Scala中对匹配类型匹配数组的使用

packagepp28importscala.io.StdInobjectpp_28{//defmain(args:Array[String]):Unit={//vala=StdIn.readInt()
小萌新~~~~·2025-05-16 01:00

scala的应用题目

packageggjhs11and12importscala.collection.mutable.ListBuffer//1caseclassBook(varbookID:String,varbookName
小萌新~~~~·2025-05-16 01:30

spark：map 和 flatMap 的区别(Scala)

场景设定假设有一个包含句子的RDD：scalavalrdd=sc.parallelize(List("HelloWorld","HiSpark"))目标是：将每个句子拆分成单词。
WZMeiei·2025-05-16 01:30

wordcount程序

###在IntelliJIDEA中编写和运行SparkWordCount程序要使用IntelliJIDEA编写并运行Spark的WordCount程序，需按照以下流程逐步完成环境配置、代码编写以及任务提交
yyywoaini～·2025-05-16 01:29

在spark中配置历史服务器

在Spark中配置历史服务器，可按以下步骤操作：1.配置spark-defaults.conf文件此文件一般位于$SPARK_HOME/conf目录下。
春日彦·2025-05-16 00:49

搭建Spark on yarn环境

1)Build##downloadspark-3.2.1.tgzfromhttp://archive.apache.org/dist/##unpackto~/work/spark-3.2.1-src$cd
sun_xo·2025-05-15 23:46

Spark on YARN 环境搭建

1.修改spark-env.shcd/export/server/spark/confcpspark-env.sh.templatespark-env.shvim/export/server/spark
傻么老幺·2025-05-15 23:46

在sheel中运行Spark ——RDD

一）RDD基本概念ResilientDistributedDataset叫做弹性分布式数据集，是Spark中最基本的数据抽象，是分布式计算的实现载体，代表一个不可变，可分区，里面的元素并行计算的集合。
羽球知道·2025-05-15 23:13

scala正则表达式特点方法

//定义一个正则表达式//valreg1="abc".r//1.[ab]:表示匹配一个字符，或者是a或者是b//2.[a-z]:表示a到z的26个字母中的任意一个//3.[A-Z]:表示A到Z的26个字母中的任意一个//4.[0-9]:表示0到10中的任意一个//5.{11}:表示前面的字符出现11次//6.脱字符^如果在正则的最前面，表示，要匹配的内容必须在字符串的开头//7.脱字符$如果在正则
羽球知道·2025-05-15 23:43

Spark处理过程-转换算子

转换操作是惰性的，即当调用转换算子时，Spark并不会立即执行计算，而是记录下操作步骤，直到遇到行动算子时才会触发实际的计算。从格式和用法上来看，它就是集合对象的方法。
漂流瓶666666·2025-05-15 23:12

Spark RDD简介以及算子使用大全

目录一、sparkRDD（1）RDD简介（2）算子简介二、RDD的使用（基于Linux系统）（1）RDD创建①基于数据集合创建②基于外部数据源创建（2）transformation算子——map()（3
Sheenky·2025-05-15 22:37

Spark-SQL核心编程

数据源格式默认数据源格式：SparkSQL默认
凉白开338·2025-05-15 19:17

scala的包及其导入

Scala的包的定义：Scala的包用于解决类的命名冲突和类的文件管理。在引入类时加上包名可以区分不同的类，解决类名冲突的问题。
薇晶晶·2025-05-15 18:41

Collectors.toMap 的正确使用方式

引言伴随着Java8的普及(有些小伙伴可能已经在玩Java17了，当然这不是重点)，它为我引入了流式编程，由于本人在早些时候接触过Scala的函数式编程，所以非常喜欢一路点点的操作。
学书法的程序员·2025-05-15 18:09

Flink和Spark的选型

在Flink和Spark的选型中，需要综合考虑多个技术维度和业务需求，以下是在项目中会重点评估的因素及实际案例说明：一、核心选型因素处理模式与延迟要求Flink：基于事件驱动的流处理优先架构，支持毫秒级低延迟
静听山水·2025-05-15 13:02

Spark与Flink对比：流批一体架构的技术选型

Spark与Flink对比：流批一体架构的技术选型关键词：Spark，Flink，流批一体架构，技术选型，数据处理摘要：本文旨在深入对比Spark和Flink这两种在流批一体架构中常用的技术，通过对它们的核心概念
大数据洞察·2025-05-15 11:17

Spark提交任务参数全面解析

文章目录前言常用的spark-submit参数1.--master2.--deploy-mode3.--class4.
lfwh·2025-05-15 06:16

Spark小文件合并

1.问题描述最近使用sparksql执行etl时候出现了，最终结果大小只有几百k，但是小文件一个分区有上千的情况。
weixin_lss·2025-05-15 06:15

Hadoop和Spark生态系统

一、Worker1.来源：Spark集群的工作节点（WorkerNode），由start-worker.sh启动2.作用：①在从节点上运行，负责执行Master分配的任务。
富能量爆棚·2025-05-15 05:11

Scala安装

1、Scala高级语言1.1Scala简介Scala是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。
yyywoaini～·2025-05-15 05:40

如何在idea中写spark程序

如何在IntelliJIDEA中创建和编写Spark程序创建SPARK项目要在IntelliJIDEA中创建一个Spark项目，可以按照以下方法操作：启动IntelliJIDEA并新建Maven项目打开
只因只因爆·2025-05-15 05:10

spark数据压缩

###Spark数据压缩方法及其实现在大数据处理框架中，数据压缩是一个重要的环节，它不仅能够减少磁盘占用空间，还能降低网络传输成本。
yyywoaini～·2025-05-15 05:10

SparkSQL的基本使用

SparkSQL是ApacheSpark的一个模块，用于处理结构化数据。它提供了一个高性能、分布式的SQL查询引擎，可以轻松处理各种数据源，包括结构化数据、半结构化数据和非结构化数据12。
富能量爆棚·2025-05-15 04:32

Spark-Shell的启动与运行

一、运行spark-shell命令执行spark-shell命令就可以进入Spark-Shell交互式环境。
会编程的李较瘦·2025-05-15 02:18

如何搭建spark yarn模式的集群

SparkYARN模式集群搭建指南一、环境准备硬件准备：准备多台服务器作为集群节点，至少包含1个主节点（MasterNode）和多个工作节点（WorkerNode）。
呆呆洁ᵔ·͈༝·͈ᵔ·2025-05-15 02:47

Scala中IDEA的搭建

获取输入获取一行文本varinput=scala.io.StdIn.readLine("请输入一些文本：")println("你输入的文本是："+input)获取一个整数的输入varinput=scala.io.StdIn.readInt
满分对我强制爱·2025-05-15 01:17

Scala-迭代器

定义迭代器不是一种集合，它是一种用于访问集合的方法。需要通过集合对应的迭代器调用迭代器的方法来访问。支持函数式编程风格，便于链式操作。练习迭代器的使用:objectTest_迭代{defmain(args:Array[String]):Unit={vallist1=List(1,2,3,4)//1.foreach实现list1.foreach(println)//2.迭代器//2.1构建迭代器va
满分对我强制爱·2025-05-15 01:17

运行Spark程序-在shell中运行1

（一）分布式计算要处理的问题【老师提问：分布式计算要面临什么问题？】【老师总结】分布式计算需要做到：1.分区控制。把大的数据拆成一小份一小份的（分区，分片）让多台设备同时计算，所以要分区。2.Shuffle控制。不同分区之间的数据是需要有关联的，在不同的分区之间进行数据的传输就是Shuffle，也叫洗牌。3.数据存储\序列化\发送4.数据计算API等等一些功能。【举例讲案例】我们用期末考试结束，老
满分对我强制爱·2025-05-15 01:17

从零基础到精通：Scala大数据开发入门指南

Scala作为一种结合了面向对象编程和函数式编程的强大语言，已经成为大数据领域的明星语言，尤其在Spark等流行框架中占据重要地位。
风之少女梦·2025-05-15 00:09

RDD-自定义分区器

定义自定义分区器：继承org.apache.spark.Partitioner类。实现分区逻辑：重写numPartitions和getPartition方法。使用自定义分区器对RDD进行分区。
富能量爆棚·2025-05-14 23:30

SparkSQL的基本使用

SparkSQL是ApacheSpark的一个模块，用于处理结构化数据。它提供了一个高性能、分布式的SQL查询引擎，可以轻松处理各种数据源，包括结构化数据、半结构化数据和非结构化数据12。
2401_83378805·2025-05-14 20:09

Scala中的apply和equal改写

packagedzhclassStu(varname:String,vargender:String,varID:String){defsayHello():Unit={println(s"大家好，我是")}}objectStu{//defapply(name:String,gender:String,ID:String):Stu={//varp=newStu(name,gender,ID)//}
七七-d·2025-05-14 19:28

Spark缓存

Spark缓存（Caching）是一种重要的性能优化技术，它允许将频繁使用的数据集持久化到内存或磁盘中，避免重复计算。缓存的基本概念为什么要使用缓存？
心仪悦悦·2025-05-14 16:16

键值对RDD数据自定义分区_大数据培训

自定义分区要实现自定义的分区器，你需要继承org.apache.spark.Partitioner类并实现下面三个方法。（1）numPartitions:Int:返回创建出来的分区数。
尚硅谷铁粉·2025-05-14 16:15

Spark的RDD转换算子-map、mapPartitions、mapPartitionsWithIndex

Spark的RDD转换算子-map、mapPartitions、mapPartitionsWithIndexRDD算子包括RDD转换算子和RDD行动算子，其实算子就相当于一种方法，在方法中封装想要实现所需结果的逻辑
牧码文·2025-05-14 16:45

详解 Spark 核心编程之 RDD 分区器

一、RDD分区器简介Spark分区器的父类是Partitioner抽象类分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区，进而决定了Reduce的个数只有Key-Value
文刀小桂·2025-05-14 16:14

spark读文件忽略第一行_Spark 核心概念与操作

spark简介ApacheSpark是新兴的一种快速通用的大规模数据处理引擎。
weixin_39569894·2025-05-14 16:14

sparksql读取mysql内存_四、spark--sparkSQL原理和使用

[TOC]一、sparkSQL概述1.1什么是sparkSQLSparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。
特大号先生·2025-05-14 16:14

SparkSQL入门学习

SparkSQLSparkSQL是构建在SparkRDD之上一款ETL（ExtractTransformationLoad）工具（类似Hive-1.x-构建在MapReduce之上）。
田晓彬·2025-05-14 16:12

SparkSQL-数据提取和保存

SparkSQL提供了多种灵活的方式来提取和保存数据，支持各种数据源和格式。
心仪悦悦·2025-05-14 16:42

如何在idea中写spark程序

一、环境准备1.安装IntelliJIDEA：下载并安装IntelliJIDEA（推荐使用Community版本，它已经支持Scala和Spark开发）。
心仪悦悦·2025-05-14 16:12

RDD自定义分区方法(按班级把同一个班级的学生放到一个文件中)和自定义排序方法（先按数学成绩排序，数学成绩相同再按语文成绩排序）

tom9866jack5555bob9844joe4499max6079peter6055jerry6099kay9999kim9899代码实现带*****号表示是关键词objectZ_StorextendsApp{valconf=newSparkConf
struggle@徐磊·2025-05-14 16:41

尚硅谷大数据Spark之RDD转换算子学习笔记及面试题

1.Spark算子从功能上可以分为以下两类:1）Transformation变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。
qq_25127933·2025-05-14 16:11

Spark RDD 自定义分区器

前言在很多中间件中，例如kafka，有这么一种机制，可以将指定规则的数据发送到特定的分区，再比如rabbitmq，可以根据key的后缀进行匹配分发到不同的topic中；在spark的rdd中，通常为了提升任务的并发处理能力
逆风飞翔的小叔·2025-05-14 16:09

spark: 简单的自定义RDD分区器

一、定义分区器packageexampleimportorg.apache.spark.PartitionerclassMyPartitionerextendsPartitioner{overridedefnumPartitions
amadeus_liu2·2025-05-14 16:39

RDD自定义分区器

importorg.apache.spark.{Partitioner,SparkConf,SparkContext}//分区器决定哪一个元素进入某一个分区！
Dengyahui04·2025-05-14 16:08

SparkSQL入门指南：从基础到实践的全面解析

在大数据处理领域，ApacheSpark凭借其高性能、易用性和丰富的功能成为了主流框架。而SparkSQL作为Spark生态系统中的重要组件，为结构化数据处理提供了强大的支持。
谁偷了我的炒空心菜·2025-05-14 16:08

在scala中使用sparkSQL读入csv文件

以下是使用SparkSQL（Scala）读取CSV文件的完整代码示例：scalaimportorg.apache.spark.sql.SparkSessionimportorg.apache.spark.sql.types
Eternity......·2025-05-14 16:07

RDD的自定义分区器

一、先创一个order.csv文件内容如下：1,99,备注1222,92,备注21101,99,备注1232,392,备注22110,99,备注1二、建一个scala的object类，代码如下importorg.apache.spark
心仪悦悦·2025-05-14 15:37
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他