spark（scala）

Spark资源调度与任务调度

Spark资源任务调度一.资源调度1.集群起来后,Worker向Master汇报资源2.客户端提交application,启动Driver,创建DAGschedulerDAG调度器和TaskScheduler
乔一波一·2023-12-24 09:27

flink.12 序列化

一.元组(TuplesandCaseClasses)对java来说Tuples是flink自带的一种类,对于scala来说flink没有提供类似Tuples的类,因为scala天生自带了一种特殊类caseclass
朝闻道，夕死足·2023-12-24 08:50

内容导航目录

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-24 08:37

Linux---基础操作命令

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-24 08:35

利用PySpark进行商业洞察与可视化

利用PySpark进行商业洞察与可视化引言数据集与技术栈数据集：YELP数据集技术栈：Flask、MySQL、Echarts、PySpark分析维度与功能创新点与应用引言近年来，数据分析和可视化技术在商业决策中的应用越来越广泛
爱欲无极·2023-12-24 08:58

kafka 入门详解

KafkaKafka核心概念什么是KafkaKafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
janlle·2023-12-24 06:23

Spark

一、Spark框架概述1.1spark是什么ApacheSpark是用于大规模数据（large-scaladata）处理的统一（unified）分析引擎。
weixin_50458070·2023-12-24 05:36

数据质量监控框架及解决方案总结

概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。
坨坨的大数据·2023-12-24 05:41

Java 与 Scala 使用Maven混合编译打包

在SpringBoot上使用spark的时候会遇到的混合编译问题，在java代码中打包会找不到scala定义的包，即可参考使用如下配置。
kikiki5·2023-12-24 04:27

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

一、Hadoop1.1.概念就是一个大数据解决方案。它提供了一套分布式系统基础架构。核心内容包含hdfs和mapreduce。hadoop2.0以后引入yarn.hdfs是提供数据存储的，mapreduce是方便数据计算的。hdfs又对应namenode和datanode.namenode负责保存元数据的基本信息，datanode直接存放数据本身；mapreduce对应jobtracker和tas
套马杆的程序员·2023-12-24 04:49

Spark RDD 之持久化

1.Background当我们需要多次使用同一个RDD时，如果简单的调用Action操作，Spark每次都会重算RDD以及它所有的依赖，此时需要用到持久化技术。
xiaoc024·2023-12-24 03:50

技本功|Hive优化之Spark执行引擎参数调优（二）

本文主要结合实际业务情况，在使用Spark作为底层引擎时，通过一些常见的配置参数对报错任务进行调整优
云掣YUNCHE·2023-12-24 03:44

tensorboad使用方法

localhost:6006/相关用法fromtorch.utils.tensorboardimportSummaryWriterwriter=SummaryWriter(log_dir=)#writer.add_scalar
飞飞爱睡觉·2023-12-24 02:50

Flink1.17版本安装部署

这里可以添加本文要记录的大概内容：随着实时计算需求场景的增加，对计算引擎的实时计算要求也越来越高，而在实时计算方面表现优秀的当属flink，计算引擎从第一代mapreduce到第二代的Tez，再到第三代计算引擎spark
以茉萱·2023-12-24 02:18

Spark Streaming流计算框架的运行流程源码分析

1.sparkstreaming程序代码实例代码如下：objectOnlineTheTop3ItemForEachCategory2DB{defmain(args:Array[String]){valconf
尼小摩·2023-12-24 01:47

Pyspark的Intellij idea环境搭建

为什么需要IDE在本地搭建一个spark环境可以方便spark代码的调试，可以和一般程序一样打断点，看变量，否则可能就只能打很多日志来debug了选哪个IDEPyspark的IDE我用Intellijidea
祗談風月·2023-12-23 22:38

spark核心概念

Application：基于Spark的应用程序=1driver+executorsUserprogrambuiltonSpark.
shone_shawn·2023-12-23 21:45

在Linux系统中安装MySQL数据库

解决密钥异常问题4、安装MySQL服务器5、开启MySQL服务6、查看MySQL服务器中root用户的初始密码7、使用初始密码登录MySQL服务器8、修改root用户登录MySQL服务器的密码三、配置Spark
Francek Chen·2023-12-23 19:14

AI创作系统ChatGPT系统源码，支持Midjourney绘画，GPT语音对话+DALL-E3文生图

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-23 18:02

SparkStreaming和Kafka

0.一些问题SparkStreaming如何消费KafkaKafka的offset如何维护如何获取Kafka的offsetKafka获取offset的时候会不会消费kafka的记录Kafka的分区和sparktask
天之見證·2023-12-23 16:25

Spark Core

SparkCore介绍SparkCore是Spark的核心计算引擎。它有着速度快和通用的特点，并且实现了Spark的基本功能，包含任务调度，内存管理，错误恢复，与存储交互等模块。
hipeer·2023-12-23 15:35

MINIO在java中的使用

对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品--------引自官网的话。
IT小学僧·2023-12-23 14:48

Hago 的 Spark on ACK 实践

作者：华相Hago于2018年4月上线，是欢聚集团旗下的一款多人互动社交明星产品。Hago融合优质的匹配能力和多样化的垂类场景，提供互动游戏、多人语音、视频直播、3D虚拟形象互动等多种社交玩法，致力于为用户打造高效、多样、最具沉浸式的社交娱乐体验，在东南亚、中东和南美等地区拥有广泛的用户群。在技术层面，Hago提供优秀的自研音视频技术，实现更加稳定、高效和优质的数字人服务。包括3D超写实模型、真人
阿里云云原生·2023-12-23 13:59

Spark Shell的简单使用

简介Sparkshell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这个工具。
necessary653·2023-12-23 11:12

Spark Machine Learning进行数据挖掘的简单应用（兴趣预测问题）

数据挖掘的过程数据挖掘任务主要分为以下六个步骤：1.数据预处理2.特征转换3.特征选择4.训练模型5.模型预测6.评估预测结果数据准备这里准备了20条关于不同地区、不同性别、不同身高、体重…的人的兴趣数据集（命名为hobby.csv)：id,hobby,sex,address,age,height,weight1,football,male,dalian,12,168,552,pingpang,f
冲鸭嘟嘟可·2023-12-23 10:28

类和对象

classChecksumAccumulator{//classdefinitiongoeshere}你就能创建ChecksumAccumulator对象：newCheckSumAccumulator注：1scala
omygodvv·2023-12-23 09:28

11-Kafka

1KafkaKafka是一个分布式流式数据平台，它具有三个关键特性MessageSystem:Pub-Sub消息系统Availability&Reliability：以容错及持久化的方式存储数据记录流Scalable
爱写代码的小男孩·2023-12-23 09:20

多臂老虎机算法步骤

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-23 08:57

Apache Flink 进阶教程（七）：网络流控及反压剖析

目录前言网络流控的概念与背景为什么需要网络流控网络流控的实现：静态限速网络流控的实现：动态反馈/自动反压案例一：Storm反压实现案例二：SparkStreaming反压实现疑问：为什么Flink（beforeV1.5
话数Science·2023-12-23 08:10

SparkStreaming学习记录

版本：Spark2.4.01.OverviewSparkingStreaming是对SparkAPI的一种扩展，用于处理实时数据流。
Jorvi·2023-12-23 08:49

CVE-2023-49898 Apache incubator-streampark 远程命令执行漏洞

项目介绍ApacheFlink和ApacheSpark被广泛用作下一代大数据流计算引擎。基于大量优秀经验结合最佳实践，我们将任务部署和运行时参数提取到配置文件中。
棱镜七彩·2023-12-23 07:51

PID算法

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-23 07:21

【FLink消费Kafka之FlinkConsumer到KafkaSource的转变】

中的数据是最常见的情况，而flink在1.15版本后连接kafka的依赖包发生了变化，之前的flink版本使用的依赖包是flink-connector-kafka_2.1x（后面的数字代表kafka环境的scala
以茉萱·2023-12-23 07:07

【hadoop|报错】Cannot modify tez.queue.name at runtime. It is not in list of params that are allowed ...

*|spark.*|tez*hive.security.authorization.sqlstd.confwhitelist.appe
维运·2023-12-23 06:10

真正解决spark local模式的日志级别输出问题

真正解决sparklocal模式的日志级别输出问题在IDEA中开发Spark程序，程序一执行密密麻麻的Info日志一大堆，这让人很恶心，如下图：image很早以前就解决过一次，不过谷歌百度都没有真正的解决这个问题
小狼星I·2023-12-23 05:14

【Spark源码分析】Spark的RPC通信二-初稿

Spark的RPC通信二-初稿SparkRPC的传输层传输层主要还是借助netty框架进行实现。
顧棟·2023-12-23 05:25

【Spark源码分析】Spark的RPC通信一-初稿

Spark的RPC通信一-初稿文章目录Spark的RPC通信一-初稿Spark的RPC顶层设计核心类`NettyRpcEnv`核心类`RpcEndpoint`核心类`RpcEndpointRef`SparkRPC
顧棟·2023-12-23 05:53

21大软件架构特点的全面解析

sergiuoltean文章，原文地址：https://sergiuoltean.com/2020/06/26/architecture-characteristics/众所周知，架构特点多以"ility"结尾（例如scalability
数字化转型架构师·2023-12-23 03:33

PySpark 日志治理方法

无论是PySpark程序、还是Scala编写的Spark程序，对于运行中的日志写入与查看的现状都是类似的，大体有两点痛点：1.特别是一直在线运行的Streaming项目，通过print打印的日志直接进入了
AGERA_0429·2023-12-23 03:37

毕业设计项目：基于Django2.2+MySQL+spark的在线电影智能推荐系统的设计与实现

项目源码地址：https://download.csdn.net/download/lijunhcn/88463157本项目实现在线电影推荐系统的前后端开发，使用Django2.2+MySQL+spark
辣椒种子·2023-12-23 02:44

Scala的分号推断

Scala中可以不用在语句的结束位置显示地使用分号（;），编译器可以进行合理的推断。
Grits·2023-12-23 01:22

Scala中的集合

1.定长数组数组的创建：//通过指定数组长度来创建数组，系统会为其赋上默认的值scala>newArrayStringres0:Array[String]=Array(null,null,null,null
叩丁狼教育·2023-12-22 23:11

Scala的简单使用

文章目录Scala的简单使用（一）交互模式1、命令行方式2、文件方式（二）编译模式1、创建源程序2、编译成字节码3、解释执行对象Scala的简单使用Scala可以在交互模式和编译模式两种方式下运行（一）
梁辰兴·2023-12-22 21:10

scala 整合 springboot

scala整合springboot新建spingboot项目pom.xml4.0.0org.springframework.bootspring-boot-starter-parent3.2.0cn.lihaozhescala-boot1.0scala-bootscala-boot21212121utf
李昊哲小课·2023-12-22 19:31

14、加州大学圣地亚哥分校、微软公司共同提出：SCHEME Former Backbone 位于孤山之巅的阿肯宝钻

，原论文及我个人浅显解读如下：论文链接：[2312.00412]SCHEME:ScalableC
是馒头阿·2023-12-22 17:48

Spark(二十二）Shuffle调优之调节Map端内存缓冲与Reduce端内存占比

一、背景spark.shuffle.file.buffer，默认32kspark.shuffle.memoryFraction，0.2Map端内存缓冲，Reduce端内存占比；很多资料、网上视频，都会说
文子轩·2023-12-22 17:57

Learning Spark——client mode和cluster mode的区别

在使用spark-submit提交Spark任务一般有以下参数：./bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
达微·2023-12-22 16:48

Spark 性能优化：资源分配

提交spark作业时，用的spark-
stone_zhu·2023-12-22 16:00

Apk极限瘦身八步

点击文件夹，进行全部转换在这里插入图片描述2.使用SVGScalableVectorGraphics，可缩放矢量图。SVG不会像位图一样因为缩放而让图片质量下降。优点在于节约空间与内存。常用于
hxljy·2023-12-22 14:33

Spark中使用scala完成数据抽取任务 -- 总结

如题任务二：离线数据处理，校赛题目需要使用spark框架将mysql数据库中ds_db01数据库的user_info表的内容抽取到Hive库的user_info表中，并且添加一个字段设置字段的格式第二个任务和第一个的内容几乎一样
冲鸭嘟嘟可·2023-12-22 12:23
上一页 64 65 66 67 68 69 70 71 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他