spark（scala）

Spark 优化 (一) --------- Spark 性能调优

Kryo序列化6.调节本地化等待时长二、算子调优1.mapPartitions2.foreachPartition优化数据库操作3.filter与coalesce的配合使用4.repartition解决SparkSQL
在森林中麋了鹿·2023-11-17 10:34

Scala | Spark性能优化 | 资源调优 | 代码调优 | 数据本地化 | 内存调优 | Spark Shuffle调优 | 数据倾斜 | Spark故障解决

map-side预聚合的shuffle操作5.尽量使用高性能的算子6.使用广播变量7.使用Kryo优化序列化性能8.优化数据结构9.使用高性能的库fastutil四、数据本地化1.数据本地化的级别2.Spark
幼稚的人呐·2023-11-17 10:04

spark性能调优 | 内存优化

目录我们先了解一下有哪些内存温馨提示RDD示范(spark版本2.1.1)RDD进行优化Df和Ds进行示范我们先了解一下有哪些内存1.storage内存存储数据，缓存可预估2.shuffle内存计算joingroupby
Knight_AL·2023-11-17 10:00

AI创作系统ChatGPT网站源码+详细搭建部署教程+支持DALL-E3文生图/支持最新GPT-4-Turbo-With-Vision-128K多模态模型

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-11-17 10:25

Scala---元组

1、元组定义与列表一样，与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。2、创建元组与取值valtuple=newTuple（1）可以使用newvaltuple2=Tuple（1,2）可以不使用new，也可以直接写成valtuple3=（1,2,3）取值用”._XX”可以获取元组中的值注意：tuple最多支持22个参数1.//创建，最多支持22个2.valt
30岁老阿姨·2023-11-17 09:11

Scala---模式匹配+偏函数

模式匹配1、概念理解：Scala提供了强大的模式匹配机制，应用也非常广泛。一个模式匹配包含了一系列备选项，每个都开始于关键字case。每个备选项都包含了一个模式及一到多个表达式。
30岁老阿姨·2023-11-17 09:11

Scala---样例类+隐式转换

样例类(caseclasses)1、概念理解使用了case关键字的类定义就是样例类(caseclasses)，样例类是种特殊的类。实现了类构造参数的getter方法（构造参数默认被声明为val），当构造参数是声明为var类型的，它将帮你实现setter和getter方法。样例类默认帮你实现了toString,equals，copy和hashCode等方法。样例类可以new,也可以不用new2、例子
30岁老阿姨·2023-11-17 09:11

Scala-满足spark的学习需求

Scala变量和数据类型注释和java一样变量和常量varname:String="jx"//变量valname:String="jx"//常量因为scala函数式编程的要素，所以能用常量就不要用变量声明变量时
健鑫.·2023-11-17 09:10

Scala----主构造 辅助构造 单例对象 apply 继承和实现特质 case calss和case object 模式匹配 OptionSomeNone

主构造器packagecn.doit.com.day03.demo2//跟在类名的后面,跟类交织在一起,叫主造器 主构造会执行类定义中的所有语句//用val和var修饰的构造器参数,会成为这个类的成员变量默认val修饰会成为类的成员变量classStudent(valname:String,varage:Int){ vali=100 //代码块 {  try{   println("hiketty
T D Z·2023-11-17 09:10

Scala学习

思维导图学习目标1.能够安装上scala必备的开发工具IDEA2.了解学习scala的必要性3.了解函数式编程的特点4.掌握scala编程基础Scala介绍Scala是一种针对JVM将面向函数和面向对象技术组合在一起的编程语言
几窗花鸢·2023-11-17 09:09

★ Scala ★——Trait特质大全细则

特点1.3对象混入trait使用trait实现适配器模式1.1设计模式简介使用trait实现模板方法模式1.1概述使用trait实现职责链模式trait的构造机制构造机制规则trait继承class★Scala
唐樽·2023-11-17 09:38

【Scala-spark.mlib】稠密矩阵和稀疏矩阵的创建及操作

mlib中的稠密矩阵和稀疏矩阵1.矩阵 1.1.mlib中的矩阵特质（Matrix） 1.1.Matrix定义的基本方法2.稠密矩阵 1.1.mlib中的稠密矩阵（DenseMatrix）  1.1.1.Matrices类中的稠密矩阵构造 1.2.DenseMatrix相关方法  1.2.1.构造方法  1.2.2.成员方法3.稀疏矩阵 2.1.mlib中的稀疏矩阵（SparseMatrix）  
JimmyShis·2023-11-17 09:08

Scala集合 - 继承层次

Scala集合库分为以下3类：不可变和可变集合；及时和延迟计算；线性和并行计算集合库继承层次集合继承层次从TraversableOnce特质开始，这个特质对Traversable和Iterator进行抽象
JAYL_·2023-11-17 09:07

SCALA 集合框架文档翻译-Trait Iterable

Iterable特质在SCALA集合层级中顶端特质Traversable的下一个特质是Iterable。
libing_thinking·2023-11-17 09:37

Scala学习笔记-基础篇

Scala学习笔记1、语法1.变量与常量2.标识符3.字符串4.控制台标准输入2、数据类型1.概览2.基本数据类型3.自动类型转换4.强制类型转换-原码、反码、补码3.运算符1.算数运算符2.关系运算符
# 无伤大雅 #·2023-11-17 09:34

01.Scala编程基础 ---没看

Scala编程1.课程目标21.1.目标1：(初级)熟练使用scala编写Spark程序21.2.目标2：(中级)动手编写一个简易Spark通信框架31.3.目标3：(高级)为阅读Spark内核源码做准备
okbin1991·2023-11-17 09:32

尚硅谷Scala （10-11）

十、数据结构(上)-集合10.1数据结构特点10.1.1scala集合基本介绍uml=>统一建模语言1)Scala同时支持不可变集合和可变集合，不可变集合可以安全的并发访问两个主要的包：不可变集合：scala.collection.immutable
小新学java·2023-11-17 09:58

scala学习从基础到入门-scala介绍-从入门到高级

#day1#scala基础*.名词：*表达式：可计算的语句*常量：val，不能被重新赋值*变量：var，能被重新赋值*代码块*函数：带有参数的表达式*方法：由def定义，后面跟一个方法名、参数列表、返回类型和方法体
lonely玩世不恭·2023-11-17 09:57

Scala-01

scala-------------java语言的脚本化。
janggeumkk·2023-11-17 09:56

scala快速上手(六) Scala 迭代器模式+Trait 特质特性

Scala迭代器模式+Trait特质特性Scala迭代器模式处理数据scala中创建集合需要内存，集合与集合之间的转换时，每次转换生成新的集合时，新的集合也需要内存。
plenilune-望月·2023-11-17 09:25

scala实现迭代器模式

packagecom.linewell.modeldesgin.iteratorimportscala.collection.mutable.ArrayBuffer/***抽象迭代器特质*Createdbyctaoon2015
chenjuexuan·2023-11-17 09:55

Scala-集合类型实践

集合Scala的集合有三大类:序列Seq、集Set、映射Map,所有的集合都扩展自Iterable特质。
魔笛Love·2023-11-17 09:55

Scala-面向对象

面向对象Scala是一个多范式的编程语言（支持多种方式的编程）封装继承多态定义一个学生类classStudent{//定义学生的学号private[this]varstudentID:Int=0;//定义学生的姓名
JP-Destiny·2023-11-17 09:23

Scala---迭代器模式+Trait特质特性

Scala迭代器模式处理数据scala中创建集合需要内存，集合与集合之间的转换时，每次转换生成新的集合时，新的集合也需要内存。
30岁老阿姨·2023-11-17 09:52

终于有人把Spark大数据分析与挖掘讲明白了

当我们每天面对扑面而来的海量数据时，是战斗还是退却，是去挖掘其中蕴含的无限资源，还是让它们自生自灭？我们的答案是：“一切都取决于你自己”。对于海量而庞大的数据来说，在不同人眼里，既可以是一座亟待销毁的垃圾场，也可以是一个埋藏有无限珍宝的金银岛，这一切都取决于操控者的眼界与能力。本书的目的就是希望所有的大数据技术人员都有这种挖掘金矿的能力！大数据时代什么是“大数据”？一篇名为“互联网上一天”的文章告
风度78·2023-11-17 09:46

MongoDB——基础操作

HighScalability&&HighAvailability-对数据库的高可扩展性和高可用性的需求。而MongoDB可应对“
小王子jvm·2023-11-17 08:08

Spark数据倾斜_产生原因及定位处理办法_生产环境

在最近的项目中，历史和实时数据进行关联平滑时出现了数据倾斜，产生了笛卡尔积，具体现象如下：运行内存175GB，核数64，运行代码时，查看SparkUI界面的activejobs，数据输入是1G，成功的stage
Matrix70·2023-11-17 07:51

Spark与SQL之间NB的转换_withClumn，split及SubString

睡觉_2，吃饭_3，这是我的第一个需求；随后我想保留的是dataframe表table1中的字段d1中的数据比如学习_1,睡觉_2，吃饭_3，中的数据中_前后的数据分别作为两列e1，f1，该怎么写这个spark
Matrix70·2023-11-17 06:13

nebula graph 3.0.x 导入数据

nebulaconsolejavaclientNebulaImporter适用场景优势前提条件操作步骤启动命令配置文件说明NebulaExchange版本系列适用场景产品优点数据源使用限制NebulaSparkConnector
大怀特·2023-11-17 06:07

大数据毕业设计选题推荐-机房信息大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的飞速发展，机
IT研究室·2023-11-17 06:59

ansible配置普通用户使用sudo权限

ansible.cfg#ansible批量操作普通用户[default]#remote_user=root（默认）remote_user=zdkx（修改为zdkx用户）#普通用户使用root权限[privilege_escalation
Dison.Hong·2023-11-17 06:33

C && C++ && git && tcpip

blog.csdn.net/aobai219/article/details/1596964C语言添加宏开关https://www.cnblogs.com/zht-blog/p/4036935.htmlPython+Spark2.0
happylzs2008·2023-11-17 05:21

离线集群平台搭建-HDP

一.背景大数据相关的所有建设依托于大数据的基础设施.基础设施一定包含了集群平台的搭建.目前市场上常用的有三种方式做集群平台的搭建;第一种为使用原生的apache(hadoop,hive,spark)等相关大数据软件构建集群平台
会飞的boy·2023-11-17 03:53

Python笔记-Pandas的Series对象

index=None,dtype=None,name=None,copy=False,fastpath=False)data，用来创建Series的数组,可以是字典dict，数组ndarray，或者标量scalarindex
AliangYeah·2023-11-17 01:51

python使用Stream Load方式写入doris

0.doris支持的多种数据写入方式如：导入总览|ApacheDorisSparkLoad通过Spark导入外部数据BrokerLoad通过Broker导入外部存储数据StreamLoad流式导入数据(
菜鸟001号·2023-11-17 01:19

Spark+Flink+DW+DB

6.Spark面试题（约9.8w字）1.介绍下SparkSpark是一个快速、通用、可扩展的大数据处理和分析引擎。
我是Sol啊·2023-11-17 00:31

scala时间处理-获取今天日期，昨天日期，本周时间，本月时间，时间戳转换日期，时间比较

因为做一个考勤系统，需要用到scala的时间和日期的处理，包括获取今天日期，昨天日期，本周时间，本月时间，时间戳转换日期时间比较计算时间差等，特此总结了一下。
springlustre·2023-11-17 00:46

scala程序打包成可执行jar包(sbt package和sbt assembly)

背景：我构建一个Scala应用程序，用的sbt进行构建的，并且想要生成一个可执行JAR文件，但是我通过“sbtpackage”命令生成一个jar包之后，在通过“java-jarxxx.jar”执行时出现
springlustre·2023-11-17 00:15

main函数的数组参数是干嘛用的

虽然也写过一些java和scala，但是确实没遇到过会用这个参数的情况。网上就查阅了一下资料：首先main函数是在java虚拟机中调用的。使用public是因为java虚拟机不在同一个包内。
后季暖·2023-11-16 23:02

案例+图解带你一文读懂SVG

资料链接案例+图解带你一文读懂SVG（2.6W+字）简介SVG是ScalableVectorGraphics的缩写，意为可缩放矢量图形。
大猫会长·2023-11-16 21:42

你的数据倾斜了吗？一文帮你数据处理再均衡

前言此篇主要总结到Hive,Flink,Spark出现数据倾斜的表现，原因和解决办法。首先会让大家认识到不同框架或者计算引擎处理倾斜的方案。最后你会发现计算框架只是“异曲”，文末总结才是“同工之妙”。
大数据左右手·2023-11-16 21:41

探究Presto SQL引擎(1)-巧用Antlr

从Hadoop生态的Hive,Spark,Presto,Kylin,Druid到非Hadoop生态的Clic
vivo互联网技术·2023-11-16 20:27

大数据应用开发线上班（学徒班）课程大纲

泰迪智能科技大数据应用开发线上班课程使用当下流行的Hadoop+Spark大数据框架，全面、深入地探讨了大数据开发、大数据分析、数据仓库等技术。
泰迪智能科技·2023-11-16 19:23

kafka安装使用及解惑

kafka安装及解惑一、搜索安装kafka的文章有的需要安装zookeeper有的需要安装scala，为什么，区别在哪（chitGPT回答）？
发疯过后精神多了·2023-11-16 18:07

Flink入门教程

1.简介ApacheFlink是一个开源的分布式流处理框架，旨在提供高效、可扩展、容错的流式数据处理技术，支持实时流处理和批处理，并提供了Java、Scala、Python等语言的API。
zzy979·2023-11-16 18:21

《Flink原理、实战与性能优化》（Flink知识梳理一）

Flink原名StratosphereFlink是基于事件驱动的，而SparkStreaming微批模型，生成微小的数据批次Spark的弱点：Spark基于批处理原理，对流式计算相对较弱（本质上是对Hadoop
无影风Victorz·2023-11-16 18:40

c++ opencv （学习笔记）inRange函数

inRange(hsv,Scalar(hmin,smin,vmin),Scalar(hmax,smax,vmax),mask);inRange函数的用法是将一副彩色图像或者一副单通道图像转换为二值图像。
gg爆（黑化版）·2023-11-16 17:52

爬虫基础之爬虫的基本介绍

一、爬虫概述爬虫又称网络蜘蛛、网络机器人，网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（ScalableWebCrawler）：抓取互联网上所有数据，爬取对象从一些种子URL扩充到整个
会python的小孩·2023-11-16 14:43

spark与scala的对应版本查看

仓库地址https://mvnrepository.com/artifact/org.apache.spark/spark-core总结spark3.0以后，不再支持scala2.11spark3.0以后
Knight_AL·2023-11-16 07:43

AI创作系统ChatGPT源码+AI绘画系统+支持OpenAI DALL-E3文生图，可直接对话文生图

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-11-16 06:11
上一页 89 90 91 92 93 94 95 96 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他