spark（scala）

Scala-switch分支结构

for循环控制范围数据循环（to）for(i<-1to3){print(i+"")}println()i是循环变量<-规定toi从1-3循环前后闭合案例实操：输出五句ScalaobjectTestFor
什么芮.·2025-04-04 01:14

前端实现websocket之文件分片上传

前端：1、通过DOM获取文件对象，并且对文件进行MD5加密（文件内容+文件标题形式），采用SparkMD5进行文件加密；2、进行分片设置，利用Blob的slice方法进行文件分片处理3、通过ws.send
编辑done·2025-04-03 22:22

StructedStreaming消费Kafka数据突然存储不到HDFS

/***消费数据，写到控制台*/valquery=spark.sql(sql).writeStream.format("console").
erainm·2025-04-03 21:12

scala基础

变量的定义强类型语言：Javaintnum=10;charch=”a”;Doublenum2=11.11;弱类型语言：JS、Scalavarx=111;vary=11.11;varz=”hello”;valf
zzh-·2025-04-03 19:33

Scala函数

在函数基础方面，其基本语法涵盖函数定义与调用，且函数和方法有明显区别，函数可在多种语法结构中声明，无重载和重写概念，还能嵌套定义。函数定义包括无参无返回值、无参有返回值等多种类型。参数方面，有可变参数、默认值参数和带名参数，且可变参数常置于最后。函数高级特性众多。高阶函数中，函数可作为值、参数传递，还能作为返回值返回；匿名函数简洁灵活，传递时参数类型可省略，圆括号和大括号在特定条件下也能省略；函数
不要天天开心·2025-04-03 19:33

Scala基础

循环式守卫1.循环守卫式又称之为循环条件式或者循环判断式2.当在循环中直接嵌套了一个判断结构的时候，那么此时可以将判断条件紧跟循环来执行，当满足判断条件的时候，才能进入循环执行，构成了循环守卫式packagecom.lcs.loopobjectForDemo3{defmain(args:Array[String]):Unit={//打印：100以内是5的倍数，但不是7的倍数的数字for(i//捕获
百闻，不如一见·2025-04-03 19:32

Scala集合练习

objectHomework_Scala_03{defmain(args:Array[String]):Unit={//1.创建一个List(3,2,4,6,7,5,1,0,9,8)vallist:List
天涯xx·2025-04-03 19:01

scala 集合转java_将Java集合转换为Scala集合

将Java集合转换为Scala集合与StackOverflow相关的问题Scala相当于新的HashSet(Collection)，如何将Java集合(SimpleJdbcTemplate说)转换为Scala
半杯木·2025-04-03 19:01

Scala集合

Scala集合分为序列Seq、集Set、映射Map，都扩展自Iterable特质，且有可变和不可变版本。不可变集合操作后会返回新对象，可变集合则直接修改原对象。
不要天天开心·2025-04-03 18:28

Scala（多维数组）

最典型的的多维数组就是二维数组。objecttest3{defmain(args:Array[String]):Unit={//二维数组//2.1创建方式1valarr5=Array.ofDim[Int](2,2)//2行2列//2.2访问数组的元素arr5(0)(0)=1arr5(0)(1)=2arr5(1)(0)=3arr5(1)(1)=4//2.3把一维数组转化成二维数组vararr6=Ar
直裾·2025-04-03 16:45

Scala模式匹配——高阶用法

（一）scala的模式匹配（1）常量（2）变量（3）构造器（4）序列（5）元组（6）类型（7）变量绑定（二）Scala模式匹配的语法格式：Xmatch{case1case2}packagetest7importscala.io.StdInobjecttest7
直裾·2025-04-03 16:15

Scala的match case 能根据 类名和属性的信息，匹配到对应的类

objecttest7{caseclassPerson(name:String)caseclassStudent(name:String,className:String)//matchcase能根据类名和属性的信息，匹配到对应的类//注意：//1.匹配的时候，caseclass的属性个数要对上//2.属性名不需要一一对应defmain(args:Array[String]):Unit={valp
懒惰的橘猫·2025-04-03 15:45

大数据技术入门Scala

Scala基础一、Scala特点1.面向对象Scala中的每个值都是一个对象，包括基本数据类型（即布尔值、数字等）在内，连函数也是对象。
yu:·2025-04-03 07:49

Scala基础知识

Scala语言是一个完全面向对象编程语言。万物皆对象对象的本质：对数据和行为的一个封装函数为中心：将计算视为数学函数的求值，强调纯函数。Scala语言是一个完全函数式编程语言。万物皆函数。
凉白开338·2025-04-03 07:18

大数据技术之 Scala

下面是今天学到的知识点与代码演示：一、范围数据循环基本语法1.i表示循环的变量，<-规定to2.i将会从1-3循环，前后闭合案例实操需求：输出5句"scala"二、范围数据循环（Until）基本语法1.
[太阳]88·2025-04-03 07:48

Scala基础

Scala基本介绍定义：多范式编程语言，运行于JVM，融合面向对象与函数式编程特性，兼容Java程序。
阿巴阿巴拉·2025-04-03 07:47

Scala函数式编程

对象：用户行为：登录、连接JDBC、读取数据库属性：用户名、密码Scala语言是一个完全面向对象编程语言。
桑榆0806·2025-04-03 07:17

大数据技术之Scala

大数据技术之Scala函数式编程假设目前有这样一个任务：通过程序连接MySQL。在此过程中需要JDBC驱动、用户名、密码。
沐风￥·2025-04-03 07:46

AI大型语言模型企业级应用开发架构实战：实时数据流处理与推理

本文主要阐述通过使用Kafka作为数据队列中间件，SparkStreaming作为实时数据流处理引擎，以及F
AI天才研究院·2025-04-03 06:08

Unity设计模式（1）泛型单例模式

暑假期间总结了自己大一时学习了解的一些框架和写的小工具，顺便在这里回顾记录一下GitHub工程文件网址：BlueSparkRain/GameFramwork(github.com)泛型单例模式（Common
徐子竣·2025-04-03 05:30

108道三高架构面试八股文（答案、分析和深入提问）整理

回答三高架构（HighAvailability,HighPerformance,HighScalability）通常应用于需要高可靠性、高性能和高可扩展性的系统中。
守护海洋的猫·2025-04-02 09:47

【无标题】Scala函数基础

2）案例实操（1）Scala语言可以在任何的语法结构中声明任何的语法（2）函数没有重载和重写的概念；方法可以进行重载和重写（3）Scala中函数可以嵌套定义objectTestFunction{//(2
zzh-·2025-04-02 03:05

Scala 数组和元组

1、定义数组数组创建方式一：vara1:Array[String]=newArray[String](3)a1(0)="Jason"a1(1)="Marie"a1(2)="Jimmy"注意：1、泛型使用方括号；2、数组元素访问使用圆括号。数组创建方式二：vara2=Array("Jason","Marie","Jimmy")数组创建方式三：区间数组vara3=Array.range(1,10)//
小财迷，嘻嘻·2025-04-02 03:34

scala 自带json_scala json相关操作

一、前言目前准备编写一个scala项目基础类库，有这样一个需求，将String类型的Json转为Map或其他扩展对象。
马华兴·2025-04-02 03:33

scala项目创建——保姆级教程

对于新手来说，如何熟悉scala语言的最好方式就是创建一个scala项目，在这一点上，scala的官网可谓已经给出了保姆级教程，本文会对scala官网给出的教程进行翻译，并加入一些本人的理解与介绍说明，
_ 一迪 _·2025-04-02 03:32

Scala跳出循环 守卫

1、基于boolean类型的控制变量while循环：varflag=truevarres=0varn=0while(flag){res+=nn+=1if(n==5){flag=false}}for循环：（高级for循环，加上了if守卫）varflag=truevarres=0for(ib)1elseif(a==b){valc=a-1c*c}else12.if作为for守卫语句if作为for守卫语句
DemonHunter211·2025-04-02 03:02

使用Scala实现简单的图像识别

本文将介绍如何使用Scala编程语言实现一个简单的图像识别应用。我们将利用深度学习框架DL4J（Deeplearning4j）来构建和训练一个图像分类模型。
ttocr.com·2025-04-02 03:31

Scala 2

Scala2.11版本之后的版本中，无法直接导入scala.actors.Actor编程。
TechGlide·2025-04-02 03:31

人工智能图像识别大数据技术之Scala

大数据技术之Scala1.循环守卫1.1基本语法for(i}println("正常结束循环")}需求2：采用Scala自带的函数，退出循环importscala.util.control.Breaksdefmain
戈云 1106·2025-04-02 03:31

Flink && Spark SQL提效神器双双更新

本次SparkSQLHelper主要更新了对于Hints的补全支持，Release版本为2025.2.0。
·2025-04-01 16:36

Scala简介与基础语法学习总结

Scala简介定义与背景：Scala是多范式编程语言，集成面向对象与函数式编程特性，运行于JVM，兼容Java程序。
阿巴阿巴拉·2025-04-01 15:07

YARN Container 与 Spark Executor 的数量关系

YARNContainer与SparkExecutor的数量关系在SparkonYARN部署模式下，YARNContainer和SparkExecutor的数量确实存在对应关系，但并不是简单的一对一关系
SmartManWind·2025-04-01 13:18

Spark

Spark简介Spark的特点运行速度快：使用DAG执行引擎以支持循环数据流与内存计算容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程通用性
薇晶晶·2025-04-01 13:16

Spark 在 Python 大数据中的作用

一句话总结：Spark是一个快速处理海量数据的工具，用Python写代码就能轻松分析TB级的数据（比如日志、用户行为、交易记录等），比传统单机工具（如Excel、Pandas）快几十倍甚至几百倍！
不辉放弃·2025-04-01 12:16

Scala的Set，Map

在Scala中，`Set`和`Map`是两种非常重要的集合类型，它们分别用于存储唯一元素和键值对。
Eternity......·2025-04-01 12:39

Scala的内建控制

Scala作为一种多范式编程语言，支持多种编程风格，包括面向对象编程和函数式编程。在Scala中，控制流是编程的基础部分，它允许程序以不同的路径执行代码。
Eternity......·2025-04-01 12:09

SparkMLlib未来发展趋势：展望未来

SparkMLlib未来发展趋势：展望未来1.背景介绍1.1什么是SparkMLlib?ApacheSparkMLlib是ApacheSpark中的机器学习库,提供了多种机器学习算法的实现。
AI天才研究院·2025-04-01 11:36

Scala 正则表达式

Scala正则表达式引言正则表达式（RegularExpression）是一种强大的文本处理工具，在Scala编程语言中也有着广泛的应用。
wjs2024·2025-04-01 10:58

scala的基本介绍

一、Scala特性（一）面向对象特性Scala是一种高度表达性的编程语言，它结合了面向对象编程和函数式编程的最佳特性。1、类和对象:Scala支持类和对象，可以定义属性和方法。
哈哈~156·2025-04-01 09:21

Scala基础知识

一.写scala可运行文件的注意事项***写scala可运行文件的注意事项*1、如果一个scala文件要运行，class要改成object*2、如果是class，就仅单纯代表一个类，如果是object代表的是单例对象
Act-F·2025-04-01 09:20

Scala基础语法与简介

Scala简介Scala特性：面向对象特性分为：类和对象、继承和多态、抽象类和特质、封装函数式编程：高阶函数、不可变性、模式匹配、闭包类型系统：静态类型、类型推断、泛型编程、类型系统扩展扩展性：Scala
什么芮.·2025-04-01 09:50

Scala的基础知识

Scala中的逻辑运算跟Java中一样，也是与，或，非三种情况，如下：1，与：&&运算表达式有一个为假，则整个表达式为假。2，或：||运算表达式有一个为真，则整个表达式为真。3，非：！
WWHYU·2025-04-01 09:49

scala课后总结

循环守卫和循环步长循环守卫概念：也叫循环保护式、条件判断式。它就像是循环的“门卫”，在每次循环迭代时检查条件。当条件为true时，才允许进入循环体执行相关操作；若为false，则跳过此次循环，类似continue语句的功能。循环步长概念：在for循环中，by关键字用于指定循环变量的步长，即每次迭代时循环变量的增量。嵌套循环概念：指在一个循环体内又包含另一个或多个循环。外层循环的每次迭代，内层循环都
一元钱面包·2025-04-01 09:49

流处理开源框架Flink原理简介和使用

sparkkafkastream示例大数据处理工具Kafka、Zk、Spark这篇文章描述了如何搭建kafka、zk和spark集群环境本篇文章先简要的举个demo来说明下代码实现过程源码https:/
平凡人笔记·2025-04-01 02:31

Total size of serialized results of 20 tasks (1088.8 MB) is bigger than spark.driver.maxResultSize (

Totalsizeofserializedresultsof20tasks(1088.8MB)isbiggerthanspark.driver.maxResultSize(1024.0MB)pypark2.0
Levin__NLP_CV_LLM·2025-03-31 23:44

工作中遇到的spark SQL小问题：包含某个或某些字符的条件

今天又来总结工作中遇到的问题了，今天是SQL，spark引擎需求描述，筛选渠道包含”线上化“的数据也就是讨论where里面的这个筛选条件怎么写一般起手都是whereQDlike'%线上化%‘学习了其他的写法
Terry_trans·2025-03-31 06:39

Spark中的map、flatMap、mapToPair

目录mapToPairsspark的RDD操作spark的flatMapflatMap很显然每一行都按照空格拆分成了三行，因此总行数是拆分前的三倍，第一行的内容只剩下原第一行的第一个数据，时间。
青龙悟空·2025-03-30 23:58

基于云服务器的数仓搭建-hive/spark安装

mysql本地安装安装流程（内存占用200M，升至2.1G）#将资料里mysql文件夹及里面所有内容上传到/opt/software/mysql目录下mkdir/opt/software/mysqlcd/opt/software/mysql/#待上传文件install_mysql.shmysql-community-client-8.0.31-1.el7.x86_64.rpmmysql-commu
AlphaFree_·2025-03-30 11:32

Scala文件读写案例：全文单词统计

2.txt内容如下Thankyouverymuch.WellIwanttothankyouallverymuchthisisgreat,theseareourfriends,wehavethousandsoffriendsinthisincrediblemovement.Thiswasamovementlikenonobody'severseenbefore,andfranklythiswasIb
别惊鹊·2025-03-29 16:27

C#：SQLServer数据库交互工具类

封装的工具类，提供ExectuNoQurey、ExecuteScalar、ExecuteReader、ExecuteSqlDataAdapter四中与数据库交互的方法。
00&00·2025-03-29 11:54
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他