spark（scala）

实时数据流计算引擎Flink和Spark剖析

在过去几年，业界的主流流计算引擎大多采用SparkStreaming，随着近两年Flink的快速发展，Flink的使用也越来越广泛。

程小舰·2025-07-30 00:22

Spark SQL架构及高级用法

SparkSQL架构概述架构核心组件API层（用户接口）输入方式：SQL查询；DataFrame/DatasetAPI。统一性：所有接口最终转换为逻辑计划树（LogicalPlan），进入优化流程。

Aurora_NeAr·2025-07-29 21:01

native.js设置可缩放的webview并隐藏缩放控件

需求明确:webview页面可以手指缩放,并且不要那个原生控件;实现思路:1.使用h5+封装好的方法:设置scalable属性,并在html中设置meta标签:user-scalable=yes或不设置

Nanayai·2025-07-29 17:42

Hive详解

一：Hive的历史价值1，Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，Hive同时兼具有数据仓库中的存储引擎和查询引擎的作用；而SparkSQL是一个更加出色和高级的查询引擎

·2025-07-29 14:40

全面对比，深度解析 Ignite 与 Spark

经常有人拿Ignite和Spark进行比较，然后搞不清两者的区别和联系。

xaio7biancheng·2025-07-29 07:19

ignite redis_全面对比，深度解析 Ignite 与 Spark

经常有人拿Ignite和Spark进行比较，然后搞不清两者的区别和联系。

weixin_39997696·2025-07-29 07:18

Flink window 源码分析4：WindowState

Flinkwindow源码分析2：Window的主要组件Flinkwindow源码分析3：WindowOperatorFlinkwindow源码分析4：WindowState本文分析的源码为flink1.18.0_scala2.12

北_鱼·2025-07-28 23:50

synchronized锁升级过程【AI笔记,仅供自己参考】

从JDK1.6开始，为了减少锁带来的性能开销，Java对synchronized做了大量优化，引入了锁升级机制（LockEscalation）。一、什么是锁升级？

·2025-07-28 12:26

数据写入因为汉字引发的异常

spark数据写hive表，发生查询分区异常问题异常：251071241926.49ERRORHive:MelaException(message.Exceptionthrownwhenexeculingquey.SELECTDISTINCT

qq_40841339·2025-07-28 11:18

语言合成模型Spark-TTS-0.5B学习笔记

语言合成模型Spark-TTS-0.5B学习笔记语言合成是通过计算机技术将文字信息转换为自然流畅的语音输出，模拟人类语音。

tutgxuzyj·2025-07-28 09:09

Spark-TTS 使用

2.开发需求在Ubuntu下实现Spark-TTS的部署，实现官方语音克隆，根据自定义文本输出语音。

时间自由·2025-07-28 09:34

Spark 的监控和性能调优高度依赖其内置的工具：【 Spark Web UI 和 Spark History Server】

Spark的监控和性能调优高度依赖其内置的SparkWebUI和SparkHistoryServer。它们是诊断作业性能瓶颈、资源利用率、错误原因和优化机会的最重要工具。

csdn_tom_168·2025-07-28 01:08

黑猴子的家：Spark RDD 编程进阶之广播变量

向所有工作节点发送一个较大的只读值，以供一个或多个Spark操作使用。比如，如果你的应用需要向所有节点发送一个较大的只读查询表，甚至是机器学习算法中的一个很大的特征向量，广播变量用起来都很顺手。

黑猴子的家·2025-07-27 21:46

开源项目ESP-SparkBot: ESP32-S3 大模型 AI 桌面机器人（复刻分享）

一、前言ESP-SparkBot是官方大佬，乐鑫小铁匠开源在立创开源硬件平台的项目，此贴是用于分享与记录复刻过程。

Qsm_lambda·2025-07-27 20:01

数据科学与大数据技术专业的核心课程体系及发展路径全解析

一、课程体系三维地图二、核心课程能力矩阵课程模块关键技能行业应用场景工具链分布式计算Spark调优用户行为日志分析AWSEMR/Databricks数据挖掘特征工程金融反欺诈模型Scikit-learn

YangYang9YangYan·2025-07-26 20:32

SpringBoot与ApacheSpark、MyBatis实战整合

基于SpringBoot和ApacheSpark开发的实例以下是基于SpringBoot和ApacheSpark整合开发的实用示例分类及关键点，涵盖数据处理、机器学习、实时分析等场景。

KENYCHEN奉孝·2025-07-26 15:57

INVALID_COLUMN_NAME _AS_PATH

sparksql异常[INVALID_COLUMN_NAME_AS_PATH]ThedatasourceHiveFileFormatcannotsavethecolumnmin(birth_date)becauseitsnamecontainssomecharactersthatarenotallowedinfilepaths.Piease

·2025-07-26 13:42

Hive/Spark小文件解决方案(企业级实战)–参数和SQL优化

重点是后面的参数优化一、小文件的定义在Hadoop的上下文中，小文件的定义是相对于Hadoop分布式文件系统（HDFS）的块（Block）大小而言的。HDFS是Hadoop生态系统中的核心组件之一，它设计用于存储和处理大规模数据集。在HDFS中，数据被分割成多个块，每个块的大小是固定的，这个大小在Hadoop的不同版本和配置中可能有所不同，但常见的默认块大小包括128MB、256MB等。基于这个背

陆水A·2025-07-26 08:05

Spark核心--RDD介绍

一、RDD的介绍rdd弹性分布式数据集是spark框架自己封装的数据类型，用来管理内存数据数据集：rdd数据的格式类似Python中[]。

陆水A·2025-07-26 08:35

Mat的构造函数

类型为type的图像；3、Mat::Mat(Sizesize,inttype)创建大小为size，类型为type的图像；4、Mat::Mat(introws,intcols,inttype,constScalar

LQTGO·2025-07-26 07:31

C++与Hive、Spark、libhdfs、ACID交互技巧

C++与Hive交互的实例以下是C++与Hive交互的实例代码片段，涵盖连接、查询、数据操作等常见场景。假设使用libhdfs或thrift接口实现，部分示例需要结合Hive环境配置。基础连接与查询示例1：通过Thrift连接HiveServer2#include#include#includeusingnamespaceapache::thrift;usingnamespaceapache::h

KENYCHEN奉孝·2025-07-26 05:49

全面的Spark学习资料合集：从基础到高级应用

本文还有配套的精品资源，点击获取简介：Spark是一个受到数据科学界青睐的大数据处理框架，以其高效、易用和可扩展性著称。

·2025-07-25 22:28

一文带你理清Spark Core调优的方方面面

前言本文的注意事项观看本文前，可以先百度搜索一下Spark程序的十大开发原则看看哦文章虽然很长，可并不是什么枯燥乏味的内容，而且都是面试时的干货（我觉得）可以结合PC端的目录食用，可以直接跳转到你想要的那部分内容图非常的重要

即将秃头的Java程序员·2025-07-24 14:27

AI系统Spark原理与代码实战案例讲解

AI系统Spark原理与代码实战案例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：Spark、大数据处理、分布式计算、机器学习、数据挖掘、实时流处理

AI天才研究院·2025-07-24 08:38

Spark大数据处理讲课笔记4.8 Spark SQL典型案例

文章目录零、本讲学习目标一、使用SparkSQL实现词频统计（一）提出任务（二）实现任务1、准备数据文件2、创建Maven项目3、修改源程序目录4、添加依赖和设置源程序目录5、创建日志属性文件6、创建HDFS

酒城译痴无心剑·2025-07-24 08:07

手撕Spark之WordCount RDD执行流程

手撕Spark之WordCountRDD执行流程文章目录手撕Spark之WordCountRDD执行流程写在前面软件环境代码过程分析写在前面一个Spark程序在初始化的时候会构造DAGScheduler

啊Abu·2025-07-24 08:07

【大数据学习 | Spark-Core】RDD的概念与Spark任务的执行流程

1.RDD的设计背景在实际应用中，存在许多迭代式计算，这些应用场景的共同之处是，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。但是，目前的MapReduce框架都是把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。显然，如果能将结果保存在内存当中，就可以大量减少IO。RDD就是为了满足这种需求而出现的，它提供了一个抽象的数据架构，我们不必担心底层

Vez'nan的幸福生活·2025-07-24 07:35

第84课：StreamingContext、DStream、Receiver深度剖析

1、通过SparkStreaming对象

chengnidi5193·2025-07-24 05:48

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。

kikiki2·2025-07-24 05:10

Python 大数据分析（二）

annas-archive.org/md5/5058e6970bd2a8d818ecc1f7f8fef74a译者：飞龙协议：CCBY-NC-SA4.0第六章：第五章处理缺失值和相关性分析学习目标到本章结束时，你将能够：使用PySpark

绝不原创的飞龙·2025-07-24 03:36

DolphinScheduler 如何高效调度 AnalyticDB on Spark 作业？

用户可以在DolphinSchedulerWeb界面轻松创建、编辑和调度云原生数据仓库AnalyticDBMySQL版的Spark作业。

DolphinScheduler社区·2025-07-23 17:00

【Spark征服之路-3.7-Spark-SQL核心编程（六）】

数据加载与保存：通用方式：SparkSQL提供了通用的保存数据和数据加载的方式。

qq_46394486·2025-07-23 09:05

深入解析 Spark：关键问题与答案汇总

在大数据处理领域，Spark凭借其高效的计算能力和丰富的功能，成为了众多开发者和企业的首选框架。然而，在使用Spark的过程中，我们会遇到各种各样的问题，从性能优化到算子使用等。

※尘·2025-07-23 08:32

spark on yarn

SparkonYARN是指将Spark应用程序运行在HadoopYARN集群上，借助YARN的资源管理和调度能力来管理Spark的计算资源。

不辉放弃·2025-07-23 08:30

Spark RDD 之 Partition

SparkRDD怎么理解RDD的粗粒度模式？对比细粒度模式SparkRDD的task数量是由什么决定的？

博弈史密斯·2025-07-23 06:19

Flink：处理有界流数据的wordcount

数据源：helloworldhelloflinkhelloscala有界流：packagechapter02importorg.apache.flink.streaming.api.scala.

小易学编程·2025-07-22 11:17

Grafana Loki Helm Chart从2.x升级到3.0的完整指南

GrafanaLokiHelmChart从2.x升级到3.0的完整指南前言GrafanaLoki3.0版本的HelmChart是一个重要的里程碑版本，它整合了之前两个独立的Chart（loki和loki-simple-scalable

芮川琨Jack·2025-07-22 06:05

RDS Proxy提高数据库可扩展性可用性GenAI

亚马逊云科技-RDSProxy改善数据库可扩展性GenAI关键字:[yt,AmazonRDSProxy,DatabaseScalability,RdsProxy,ConnectionPooling,SeamlessFailover

taibaili2023·2025-07-22 01:05

计算机专业大数据毕业设计-基于 Spark 的音乐数据分析项目(源码+LW+部署文档+全bao+远程调试+代码讲解等)

博主介绍：✌️码农一枚，专注于大学生项目实战开发、讲解和毕业文撰写修改等。全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌️技术范围：：小程序、SpringBoot、SSM、JSP、Vue、PHP、Java、python、爬虫、数据可视化、大数据、物联网、机器学习等设计与开发。主要内容：免费功能设计，开题报告、任务书、全b

程序猿八哥·2025-07-21 22:44

绝佳组合 SpringBoot + Lua + Redis = 王炸！

微信小程序）：5000+道面试题和选择题，真实面经，简历模版，包含Java基础、并发、JVM、线程、MQ系列、Redis、Spring系列、Elasticsearch、Docker、K8s、Flink、Spark

·2025-07-21 21:08

Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

论文链接：VisualAutoregressiveModeling:ScalableImageGenerationviaNext-ScalePrediction文章目录简介预测下一个token自回归模型范式分析

zzfive·2025-07-21 15:27

Saprk中RDD詳解

一.常用的transfromRDD算子通過並行化scala創建RDDvalrdd1=sc.parallelize(Array(1,2,3,4,5,6,7,8))查看該RDD的分區數量rdd1.partitions.lengthres23

文子轩·2025-07-21 10:52

Genspark AI Pod震撼发布！

1、昆仑万维开源Skywork-SWE-32B：32B模型刷新代码修复SOTA，性能直逼闭源巨头2、腾讯AILab开源音乐生成大模型SongGeneration，人人皆可创作音乐！3、重磅！ManusAIWindows版免码开放，职场效率革命来袭！4、B站618商单效率飙升5倍！通义千问3助力AI选人功能大爆发5、HailuoVideoAgent震撼发布：零门槛生成专业级视频，创意秒变现实！6、中

未来世界2099·2025-07-20 20:05

SPARKLE：深度剖析强化学习如何提升语言模型推理能力

摘要：强化学习（ReinforcementLearning，RL）已经成为赋予语言模型高级推理能力的主导范式。尽管基于RL的训练方法（例如GRPO）已经展示了显著的经验性收益，但对其优势的细致理解仍然不足。为了填补这一空白，我们引入了一个细粒度的分析框架，以剖析RL对推理的影响。我们的框架特别研究了被认为可以从RL训练中受益的关键要素：（1）计划遵循和执行，（2）问题分解，以及（3）改进的推理和知

·2025-07-20 08:45

感受大师的代码风格_opencv源代码结构分析一

我总是去看看opencv的原代码.在那些烦琐的宏定义里面感觉自己还是很有意思的.cvGet2D(constCvArr*arr,inty,intx);//第一个坐标是y坐标,第二个是x坐标CV_IMPLCvScalarcvGet2D

·2025-07-19 20:15

Opencv学习_2 （opencv结构&显示图像）

opencv结构：1：主要包含：cxcorecvmachinelearninghighguicvcamcvaux2：cxcore:基础结构:CvPoint,CvSize,CvScalar等数组结构:cvCreateImage

·2025-07-19 20:12

24.park和unpark方法

publicclassParkDemo{publicstaticvoidmain(String[]args){Threadt1=newThread(()->

卷土重来…·2025-07-19 11:14

FlinkSQL 自定义函数详解

FlinkSQL函数详解自定义函数除了内置函数之外，FlinkSQL还支持自定义函数，我们可以通过自定义函数来扩展函数的使用FlinkSQL当中自定义函数主要分为四大类:1.ScalarFunction

Tit先生·2025-07-12 09:32

HTB academy -- Linux Privilege Escalation --Service-based Privilege Escalation

VulnerableServices#!/bin/bash#screenroot.sh#setuidscreenv4.5.0localrootexploit#abusesld.so.preloadoverwritingtogetroot.#bug:https://lists.gnu.org/archive/html/screen-devel/2017-01/msg00025.html#HACKTH

网络安全小吗喽·2025-07-11 17:10

网络安全核心技术解析：权限提升（Privilege Escalation）攻防全景

引言在网络安全攻防对抗中，权限提升（PrivilegeEscalation）是攻击链条中关键的「破局点」。攻击者通过突破系统权限壁垒，往往能以有限权限为跳板，最终掌控整个系统控制权。

·2025-07-11 16:38

推荐频道