spark（scala）

Spark-SQL2

Spark-SQL一.Spark-SQL核心编程（二）利用IDEA开发Spark-SQL创建子模块Spark-SQL，并添加依赖org.apache.sparkspark-sql_2.123.0.0创建
戈云 1106·2025-04-17 14:37

Spark-SQL3

Spark-SQL一.Spark-SQL核心编程（四）1.数据加载与保存：1）通用方式：SparkSQL提供了通用的保存数据和数据加载的方式。
戈云 1106·2025-04-17 14:36

Spark-SQL核心编程实战：自定义函数与聚合函数详解

在大数据处理领域，Spark-SQL是极为重要的工具。今天和大家分享一下在Spark-SQL开发中的自定义函数和聚合函数的使用，这些都是基于实际项目开发经验的总结。
不要天天开心·2025-04-17 13:30

spark spark-sql提交方式及参数优化建议

Spark作为分布式的SQL查询引擎，官方测试结果比Hivesql快100倍。
爱折腾的小土豆·2025-04-17 12:25

Ubuntu16.04 Spark2.7.7伪分布式从零开始部署

因工作上的需要，尝试在一台Ubuntu16.04部署Spark，因为之前没有了解过Spark，故踩坑时部署了Local版和Standalone单机伪分布式版，现记录如下。
BaideS·2025-04-17 12:54

Spark-Sql编程（三）

一、数据加载与保存通用方式：使用spark.read.load和df.write.save，通过format指定数据格式（如csv、jdbc、json等），option设置特定参数（jdbc格式下的url
煤烦恼·2025-04-17 12:24

【无标题】spark SQL核心编程

MySQLSparkSQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。
zzh-·2025-04-17 12:53

org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow...

Spark异常：Kryoserializationfailed:Bufferoverflow.1、问题描述SparkSQL任务报错如下：org.apache.spark.SparkException:Kryoserializationfailed
对许·2025-04-16 15:33

阿里云 EMR Serverless Spark 在微财机器学习场景下的应用

作者：微财技术研发经理宋鑫微财介绍微财是一家创新型的金融科技企业，凭借多年积累的金融科技能力和数据处理优势，为客户提供消费分期等金融信息服务，致力于成为值得信赖的金融机构合作伙伴。旗下拥有好分期等品牌，为高成长用户提供信用分期借款过程中的综合性信息、技术以及辅助服务。业务挑战数据资源是金融科技企业的核心价值，微财依托大数据评估用户借款过程中的风险，随着微财业务的快速发展，积累了大量用户数据，大数据
Apache Spark中国社区·2025-04-16 15:02

spark-sql cli 参数及使用

原文地址https://www.cnblogs.com/mobiwangyue/p/9049928.html很难找到spark-sqlcli使用的教程，总结下一、启动方法/data/spark-1.4.0
千淘万漉·2025-04-16 15:01

spark-sql日志屏蔽

aliasmyspark-sql='spark-sql--driver-java-options"-Dlog4j.configuration=file:/spark/conf/log4j-warn.properties
jinruoqq·2025-04-16 14:00

使用Spark on YARN模式执行Spark Shell和Spark SQL编程

使用SparkonYARN模式执行SparkShell和SparkSQL编程Spark是一个强大的分布式计算框架，它提供了许多API和工具，可以用于大规模数据处理和分析。
海上的风浪·2025-04-16 14:29

spark core

RDD转换算子RDD根据数据处理方式的不同将算子整体上分为Value类型、双Value类型和Key-Value类型。Value类型：1、map函数签名defmap[U:ClassTag](f:T=>U):RDD[U]函数说明将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。2、mapPartitions函数签名defmapPartitions[U:ClassTag](f:
什么芮.·2025-04-16 14:29

spark- core

1、sortByKey函数签名defsortByKey(ascending:Boolean=true,numPartitions:Int=self.partitions.length):RDD[(K,V)]函数说明在一个(K,V)的RDD上调用，K必须实现Ordered接口(特质)，返回一个按照key进行排序2、join函数签名defjoin[W](other:RDD[(K,W)]):RDD[(K
什么芮.·2025-04-16 14:29

Spark-sql编程

创建子模块并添加依赖‌在IDEA中创建一个名为Spark-SQL的子模块。
神奇的黄豆·2025-04-16 14:28

spark-sql

实验内容：利用IDEA开发Spark-SQL。
什么芮.·2025-04-16 14:58

Spark中Maven的用法

在IDEA中去创建项目，并编写java代码来操作集群中的文件1.IDEA中创建Maven项目步骤一：点击File->New->Project，在弹出的窗口左侧选择Maven，点击Next：步骤二：填写项目的GroupId、ArtifactId、Version等信息（这些对应pom.xml中的关键配置），点击Next。步骤三：确认项目配置信息无误后，点击Finish，IDEA会自动生成Maven项目
Betty_蹄蹄boo·2025-04-16 11:40

echarts 使用热力图 如何能做到在每一个热力点的方格内显示自己需要的数据_大数据的可视化展现技术...

《大数据和人工智能交流》头条号向广大初学者新增C、Java、Python、Scala、javascript等目前流行的计算机、大数据编程语言，希望大家以后关注本头条号更多的内容。
索米龙·2025-04-16 08:49

Trino深度解析

与同类引擎（如Spark、Hive）相比，Trino具备以下显著优势：存算分离架构：通过连接器（Connector）抽象数据源，支持Hive、M
Debug_TheWorld·2025-04-16 08:15

KafkaSpark Streaming整合原理与代码实例讲解

Kafka-SparkStreaming整合原理与代码实例讲解1.背景介绍1.1实时数据处理的重要性在当今大数据时代,海量数据以前所未有的速度持续产生。
AGI大模型与大数据研究院·2025-04-16 08:14

spark-submit命令总览

pyspark可以使用pyspark命令在服务器黑窗口中进行spark代码的编写pyspark--masterlocal[2]本地模式pyspark--masterspark://bigdata01:7077standalone
zmd-zk·2025-04-16 01:59

spark-submit 提交spark程序示例

spark-submit\--masteryarn\--deploy-modeclient\--confspark.driver.maxResultSize=8g--confspark.driver.memory
probtions·2025-04-16 01:29

spark-submit 任务提交过程分析

文章目录一、spark-submit脚本分析二、Main类的作用三、SparkSubmit类提交任务的过程如何和ResourceManger建立连接spark任务配置的优先级client模式的真正运行方式一
疯狂哈丘·2025-04-16 01:28

Spark-shell和Spark-submit

Spark支持多种集群管理器（ClusterManager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下：一、Spark-shell引入：
飞Link·2025-04-16 00:56

spark-sql提交参数详解整理

#1.spark任务提交当SPARK-SQL开发完成后需要将其提交到大数据平台上去跑，提交的时候需要对要使用的资源参数进行设置，目的：a.让任务在正确的环境下运行b.根据任务自身情况，设置合理参数，提高运行效率
海阔天空_81·2025-04-15 23:15

spark python编程 林子雨_林子雨编著《Spark编程基础(Python版)》教材第5章的命令行和代码...

林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(教材官网)教材中的代码，在纸质教材中的印刷效果，可能会影响读者对代码的理解，为了方便读者正确理解代码或者直接拷贝代码用于上机实验，这里提供全书配套的所有代码
weixin_39790168·2025-04-15 09:51

spark编程基础python版实验报告_Spark课后实验报告

一、兼容问题Spark运行在Java8+，Python2.7+/3.4+和R3.1+上。对于ScalaAPI，Spark2.4.2使用Scala2.12。
weixin_39714191·2025-04-15 09:50

spark编程课后总结

RDD转换算子分类依据：RDD转换算子根据数据处理方式不同分为Value类型、双Value类型和Key-Value类型。这种分类有助于开发者针对不同的数据处理需求，快速选择合适的算子，提高开发效率。Value类型算子map算子：函数签名为defmap[U:ClassTag](f:T=>U):RDD[U]，它会对RDD中的每个元素逐一进行函数f的转换操作。如示例中，先将RDD[Int]中的每个元素乘
一元钱面包·2025-04-15 08:16

大数据Hadoop+HBase+Spark+Hive集群搭建教程：一站式掌握大数据技术

大数据Hadoop+HBase+Spark+Hive集群搭建教程：一站式掌握大数据技术【下载地址】大数据HadoopHBaseSparkHive集群搭建教程七月在线1本资源文件提供了关于如何搭建大数据集群的详细教程
贾诺翼·2025-04-15 06:01

SparkCore

一、SparkCorespark架构二、RDD1、RDD概念1.1、RDD是spark的核心概念，它是一个容错、可以并行执行的分布式数据集1.2、RDD包含5个特征：一个分区的列表对于每一个分区都有一个计算函数存在对其他
山大古巨基·2025-04-15 04:17

Scala面向对象（二）

1.抽象类抽象属性和抽象方法（1）定义抽象类：abstractclassPerson{}//通过abstract关键字标记抽象类（2）定义抽象属性：val|varname:String//一个属性没有初始化，就是抽象属性（3）定义抽象方法：defhello():String//只声明而没有实现的方法，就是抽象方法2.继承&重写（1）如果父类为抽象类，那么子类需要将抽象的属性和方法实现，否则子类也需
L_pyu·2025-04-15 01:24

Scala面向对象

水仙花数Scala的面向对象思想和Java的面向对象思想和概念是一致的。Scala中语法和Java不同，补充了更多的功能。
L_pyu·2025-04-15 01:54

职业院校大数据开发与运维实训室建设可行性分析

Hadoop和Spark作为大数据处理的核心技术，已经广泛应用于金融、电信、互联网等多个领域。Hadoop凭借其高可靠性和低成本，成为大规模数据存储和处理的首选框架。Spark则以其
武汉唯众智创·2025-04-14 19:45

通过分治策略解决内存限制问题完成大型Hive表数据的去重的PySpark代码实现

在Hive集群中，有一张历史交易记录表，要从这张历史交易记录表中抽取一年的数据按某些字段进行Spark去重，由于这一年的数据超过整个集群的内存容量，需要分解成每个月的数据，分别用Spark去重，并保存为
weixin_30777913·2025-04-14 12:58

Azure databaricks spark 流式处理写入sql pool 参考地址

1、azure的文档并不好找，案例也不好用，我不知道别人是什么感受，我是这种感觉2、最合适的开发方式是在azuredatabaricks的netbook上面写spark代码,不要用idea3、欢迎一起吐槽
lbl251·2025-04-14 12:57

最全大数据学习路线指南：大数据知识点汇总保姆级教程（2万字长文）

目录第一章大数据基础篇1.1Linux基础学习1.2SQL基础学习1.3Java与Scala基础学习第二章数据采集与存储技术2.1Hadoop基础及实战2.2Hive与Hbase技术2.3ETL流程及原理第三章数据管理与查询技术
大模型大数据攻城狮·2025-04-14 06:17

Spark Core(2)

以下是今天学习的知识点以及代码测试：SparkCoreSpark-Core编程（四）23)sortByKey➢函数签名defsortByKey(ascending:Boolean=true,numPartitions
[太阳]88·2025-04-14 05:40

【spark--scala】--环境配置

文章目录scalasparkscala官网下载二进制包添加环境变量#setscalaexportSCALA_HOME=/usr/local/src/scala-2.11.8exportPATH=$PATH
QX_hao·2025-04-14 05:40

Conda 常用指令

支持多种编程语言：不仅限于Python，还支持R、Ruby、Lua、Scala、Java等。参考：Conda指令文档下面列出常用指令。
冀晓武·2025-04-13 13:33

java dataframe map_Spark DataFrame 开发指南

DataFrame是Spark在RDD之后新推出的一个数据集，从属于SparkSQL模块，适用于结构化数据。对于我们这些用惯了数据库表和散列/字典结构的人来说，尤为亲切。
独自冷静的时光·2025-04-13 07:46

Spark详解（二、SparkCore）

SparkCore是Spark计算引擎的基础，后面的sparksql以及sparkstreaming等，都是基于SparkCore的。这里笔者就开始详细的介绍SparkCore。
杨老七·2025-04-13 05:38

局域网文件共享软件 开源_4个用于共享文件的开源工具

许多人通过使用诸如ownCloud，Nextcloud或SparkleShare之类的应用程序来完成自己对开源的信念。这三款游戏既坚固又灵活，但它们并不是镇上唯一的游戏。
cumo7370·2025-04-12 22:27

Spark-Core编程二

23)sortByKeyimportorg.apache.spark.rdd.RDDimportorg.apache.spark.
等雨季·2025-04-12 19:38

Spark Core个人总结

1、sparkcore核心概念：RDD理解为一个元数据即可。（1）依赖（2）分区（3）本地性（4）计算函数，按照分区为单位进行计算（5）不可变RDD的分区和block一一对应。
小可0306·2025-04-12 19:37

大数据技术之Scala

一、集合常用函数1、集合计算高级函数1)说明①过滤遍历一个集合并从中获取满足指定条件的元素组成一个新的集合②转换、映射（map）将集合中的每一个元素映射到某一个函数③扁平化④扁平化+映射注：flatMap相当于先进行map操作，在进行flatten操作集合中的每个元素的子元素映射到某个函数并返回新集合⑤分组（group）按照指定的规则对集合的元素进行分组⑥简化（规约）⑦折叠2)案例实操object
北屿升：·2025-04-12 18:33

Seatunnel系列之：Apache Iceberg sink connector和往Iceberg同步数据任务示例

支持的Iceberg版本二、支持的引擎三、描述四、支持的数据源信息五、数据库依赖六、数据类型映射七、Sink选项八、往Iceberg同步数据任务示例一、支持的Iceberg版本1.4.2二、支持的引擎SparkFlinkSeaTunnelZeta
快乐骑行^_^·2025-04-12 18:01

【Hadoop入门】Hadoop生态之Oozie简介

Oozie允许用户将多个Hadoop任务（如MapReduce作业、Pig脚本、Hive查询、Spark作业等）组合成一个逻
IT成长日记·2025-04-12 18:27

Hydra: Column-oriented Postgres 下载及安装教程

Hydra:Column-orientedPostgres下载及安装教程hydraHydra:Column-orientedPostgres.Addscalableanalyticstoyourprojectinminutes
徐凌杏Elizabeth·2025-04-12 16:45

Scala(3) -- scala运算符

算术运算符1.1运算符简介用来拼接变量或者常量的符号就叫:运算符,而通过运算符连接起来的式子就叫:表达式.实际开发中,我们会经常用到它.例如:10+3这个就是一个表达式,而+号,就是一个运算符.注意:在Scala
erainm·2025-04-12 13:25

Scala(17) --scala的集合、Traversable集合

算法指的是计算的一系列有效,通用的步骤.算法和数据结构是程序设计中相辅相成的两个方面,因此数据结构也是编程中很重要的一个方面.很多编程语言都提供了数据结构的对应编程库,并称之为集合库(CollectionLibrary).Scala
erainm·2025-04-12 13:25
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他