python使用spark

Spark 中RDD、Job，stage，task的关系

目录1.概念定义1.1Job1.2Stage1.3Task2.关系总结3.示例分析代码示例执行过程4.Spark中的运行流程5.关键点5.1宽依赖和窄依赖5.2并行度5.3性能优化**6.总结****1
大数据知识搬运工·2025-05-13 07:36

大数据框架调研-流处理-Spark与Flink

实时处理（流处理）结论Spark和Flink的数据源最好都是Kafka等消息队列，这样才能更好的保证Exactly-Once（精准一次）；作为流处理框架，Flink是当前最优秀的实时处理框架，并处于飞速发展的状态中
魔笛Love·2025-05-13 05:20

湖仓一体流批融合处理架构设计

文章目录湖仓一体流批融合处理架构设计1.流批一体架构范式演进1.1Lambda架构的困境：双计算链路维护成本1.2Kappa架构的革新：统一流处理引擎1.3新一代湖仓架构：存储与计算的解耦设计2.流批统一计算引擎选型2.1ApacheSparkStructuredStreaming2.2Flink
danny-IT技术博客·2025-05-13 04:19

Spark-Core（累加器）

valrdd=sparkContext.makeRDD(List(1,2,3,4,5))//声明累加器varsum=sparkContext.longAccumu
бесплатно·2025-05-12 14:12

Spark-Core（双Value类型）

）1、intersection函数签名：defintersection(other:RDD[T]):RDD[T]函数说明：对源RDD和参数RDD求交集后返回一个新的RDD举栗：valdataRDD1=sparkContext.makeRDD
бесплатно·2025-05-12 13:36

genspark

今天遇到一个挺好玩的网站（https://www.genspark.ai/）功能挺强大的支持网页生成，，可转为PDF，还包含其他智能体
尸僵打怪兽·2025-05-12 11:22

Spark集群搭建（Hadoop+Spark+Zookeeper+HBase）

目录硬件准备与软件版本说明配置基础环境安装Java安装Hadoop安装Spark安装Python安装Scala安装SBT安装Zookeeper安装HBase安装Pycharm编写集群启动与关闭脚本用户管理界面补充硬件准备与软件版本说明
wahoo0301·2025-05-12 09:11

18 | Word Count：从零开始运行你的第一个Spark应用

今天我们来从零开始运行第一个Spark应用。我们先来回顾一下模块三的学习路径。首先，我们由浅入深地学习了Spark的基本数据结构RDD，了解了它这样设计的原因，以及它所支持的API。
_Rye_·2025-05-12 09:10

hadoop+hive+spark+zookeeper+hbase大数据环境搭建

master172.16.34.101CentOSLinuxrelease7.3.1611slave01172.16.34.102CentOSLinuxrelease7.3.1611slave03172.16.34.103CentOSLinuxrelease7.3.16112.软件版本软件名称版本hadoop2.7.7hive1.2.2spark2.3.4zook
fengwuxichen·2025-05-12 09:08

Spark处理过程-行动算子

行动算子是触发Spark计算的“触发点”，因为Spark的RDD是懒惰计算的，只有在执行行动算子时，才会真正开始计算。下面介绍集中常见的行动算子。
睎zyl·2025-05-12 09:37

大数据Flink相关面试题（一）

与SparkStreaming的架构差异？2.解释Flink的“有状态流处理”概念。3.Flink的流处理（DataStreamAPI）与批处理（DataSetAPI）底层执行模型有何不同？
从头再来的码农·2025-05-12 08:34

RDD 三种创建方式

一.从linux本地文件系统加载数据创建RDD1.需要在linux本地创建文件test.txttouchtest.txt2.打开sparksparkshell3.读取本地文件创建RDDscala>valtest
古月皮皮·2025-05-12 02:50

RDD的几种创建方式

一、RDD简介RDD是Spark的核心抽象，全称为ResillientDistributedDataset，即弹性分布式数据集RDD在抽象上来说是一种元素集合，包含了数据。
itcats_cn·2025-05-12 01:48

什么是RDD，有哪几种创建方式

RDD（ResilientDistributedDataset，弹性分布式数据集）是ApacheSpark中最基本的数据抽象。它代表一个不可变、可分区、元素可并行操作的分布式数据集。
吃个桃桃，好凉凉·2025-05-12 01:47

怎么理解RDD中的算子

在Spark的RDD（弹性分布式数据集）中，算子是对RDD进行操作的函数，可分为转化算子和行动算子，以下是对它们的理解：转化算子-特点：这类算子会返回一个新的RDD，并且是惰性求值的，即不会立即执行计算
晴空下小雨.·2025-05-12 01:46

语音合成之十三 中文文本归一化在现代语音合成系统中的应用与实践

中文文本归一化在现代语音合成系统中的应用与实践引言理解中文文本归一化（TN）3主流LLM驱动的TTS系统及其对中文文本归一化的需求分析A.SparkTTS（基于Qwen2.5）与文本归一化B.CosyVoice
shichaog·2025-05-11 22:25

自定义分区器

在Spark里，弹性分布式数据集（RDD）是核心的数据抽象，它是不可变的、可分区的、里面的元素并行计算的集合。
End928·2025-05-11 17:53

spark-Join Key 的基数/rand函数

在数据处理中，JoinKey的基数是指JoinKey的唯一值的数量（也称为DistinctKeyCount）。它表示某个字段（即JoinKey）在数据集中有多少个不同的值。1.JoinKey基数的意义高基数：JoinKey的唯一值数量较多，例如用户ID、订单号等字段，每个值通常是唯一的。低基数：JoinKey的唯一值数量较少，例如性别（只有“男”和“女”两种值）、国家（通常只有几十到几百个值）。J
大数据知识搬运工·2025-05-11 11:18

内存、磁盘、CPU区别，Hadoop/Spark与哪个联系密切

在Hadoop/Spark中的表现：内存不足时，任务可能会频繁使用磁盘（即“溢写
大数据知识搬运工·2025-05-11 10:43

Spark-SQL

Spark-SQLSparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。
海金沙33·2025-05-11 01:14

如何在idea中写spark程序。

在IntelliJIDEA中开发Spark程序需配置环境、创建项目并添加依赖，以下是详细步骤：一、准备环境1.安装Java/Scala-确保已安装JDK1.8+（Spark3.x推荐JDK11+）和ScalaSDK
Freedom℡·2025-05-10 18:28

Spark - 缓存使用

Spark缓存使用缓存解决的问题减少对重复RDD的多次操作容错适用场景：在一个RDD需要重复多次利用,并且还不是特别大的情况下使用,例如迭代计算等场景.Spark缓存相关的APIvalconf=newSparkConf
腹黑客·2025-05-10 17:53

spark转换算子

在ApacheSpark中，转换算子（Transformation）是用于对RDD（弹性分布式数据集）进行转换操作的函数。
lqlj2233·2025-05-10 17:52

自定义分区器

定义：自定义分区器在分布式计算框架（如ApacheSpark）中用于控制数据在集群中的分布方式。通过自定义分区器，可以根据特定需求优化数据的分布，从而提高计算效率。
悻运·2025-05-10 17:21

Spark集群搭建之Yarn模式

简介SparkonYARN（YetAnotherResourceNegotiator）是Spark框架在Hadoop集群中运行的一种部署模式，它借助HadoopYARN来管理资源和调度任务模式分类Client
悻运·2025-05-10 17:21

SparkStreaming之persist缓存

SparkStreaming之缓存与RDD的缓存类似，DStream也允许用户将数据持久化到内存中，只需要使用DStream.persist()方法，就会自动将DSstream中的数据缓存在内存中，这对需要多次计算的
稳哥的哥·2025-05-10 09:26

Spark Core -- CheckPoint && Cache && Lineage血统

1、Cache缓存：因为Spark中对每一个RDD执行的算子操作的时候，都需要从数据源头计算一遍，就会导致RDD被重复计算，浪费资源，消耗时间，影响整体的性能。
新手小农·2025-05-10 09:55

Spark2.2-persist checkpoint lineage解析

源码版本:2.2如有错误请指正一、背景Spark中每一个RDD都记录它的血缘lineage，根据lineage，我们可以实现容错机制和数据重用。
立君在学习·2025-05-10 09:54

yarn的概述

支持多种计算框架（如MapReduce、Spark、Flink等）。提供资
洋芋爱吃芋头·2025-05-10 08:22

spark缓存-cache

importorg.apache.spark.
洋芋爱吃芋头·2025-05-10 08:22

spark缓存-persist

存储级别指定persist：可以通过传入StorageLevel参数来指定不同的持久化级别。常见的持久化级别有：MEMORY_ONLY：将RDD以Java对象的形式存储在JVM的内存中。若内存不足，部分分区将不会被缓存，需要时会重新计算。MEMORY_AND_DISK：优先把RDD以Java对象的形式存储在JVM的内存中。若内存不足，会把多余的分区存储到磁盘上。DISK_ONLY：将RDD的数据存
洋芋爱吃芋头·2025-05-10 08:51

大数据领域数据架构的分布式系统设计

大数据领域数据架构的分布式系统设计关键词：大数据、分布式系统、数据架构、Hadoop、Spark、数据分区、容错机制摘要：本文深入探讨大数据领域中的数据架构和分布式系统设计。
AI天才研究院·2025-05-10 05:00

Azure Databricks：数据创新与智能决策的云端利器

卓越性能，Spark环境加速分析Az
领驭科技·2025-05-10 03:14

Windows系统下【Celery任务队列】python使用celery 详解（二）

开发阶段的自动重载celery-Acelery_tasksworker--loglevel=info-Peventlet--autoreload--autoreload仅适用于开发环境，不建议在生产环境中使用，因为它可能会影响性能。配置任务跟踪启动状态app.conf.task_track_started=Trueapp.conf.task_track_started=True是Celery的一个
不会飞的鲨鱼·2025-05-10 01:36

Spark-core-RDD入门

RDD基本概念ResilientDistributedDataset叫做弹性分布式数据集，是Spark中最基本的数据抽象，是分布式计算的实现载体，代表一个不可变，可分区，里面的元素并行计算的集合。
夏天吃哈密瓜·2025-05-10 00:30

spark start-thriftserver.sh & Kubernetes

启动命令shsbin/start-thriftserver.sh–masterk8s://https://192.168.99.108:8443–namespark-thriftserver–confspark.executor.instances
zhixingheyi_tian·2025-05-09 18:12

Spark 之 FileSourceScanExec Operator

casetest("SPARKdecoderwithoutcodegen"){withSQLConf(SQLConf.WHOLESTAGE_CODEGEN_ENABLED.key->"false"){spark.catalog.createTable
zhixingheyi_tian·2025-05-09 18:12

Spark 之 Aggregate

Aggregate参考链接：https://github.com/PZXWHU/SparkSQL-Kernel-Profiling完整的聚合查询的关键字包括groupby、cube、groupingsets
zhixingheyi_tian·2025-05-09 18:12

Spark 之 DataFrame

4,200,12),(5,300,12),(6,300,15)).toDF("StudentID","Class","Age")df.createOrReplaceTempView("student")spark.sql
zhixingheyi_tian·2025-05-09 18:42

Python 获取中证白酒指数基金最新净值实例演示，AKShare 库实现

Python使用AKShare库获取中证白酒指数基金最新净值什么是AKShare？
挣扎的蓝藻·2025-05-09 09:48

CDH集群spark-shell执行过程分析

目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交
格格巫 MMQ!!·2025-05-09 09:17

《spark》

这是一篇关于Spark概述的文章，主要介绍了Spark的基本概念、与Hadoop的关系、核心模块以及运行模式。
快乐的蛋挞·2025-05-09 09:11

Spark处理过程-案例数据清洗

（一）需求说明准备十条符合包含用户信息的文本文件，每行格式为姓名,年龄,性别，需要清洗掉年龄为空或者非数字的行。例如：张三,25,男李四,,女王五,30,男赵六,a,女孙七,35,男周八,40,女吴九,abc,男郑十,45,女王十,50,男李二,55,女（二）思路分析读入文件对每一行数据进行分析字段拆分，拆分出年龄这个字段判断如果它不是数字或者缺失，则忽略这条数据否则保存(三)代码展示import
悻运·2025-05-09 08:41

基于Flink+Hologres搭建实时数仓

ApachePaimon是一种流批统一的数据湖存储格式，结合Flink及Spark构建流批处理的实时湖仓一体架构。
soso1968·2025-05-09 08:39

2025-03-21（DS复习）： Databricks 的技术架构

以下是Databricks技术架构的详细介绍：1.Databricks的核心组件1.1DatabricksRuntime基于ApacheSpark：DatabricksRuntime是Databricks
BgShkTech 必杀技·2025-05-09 05:23

shell spark 导入包,如何在Spark Shell中运行外部jar函数

Icreatedajarpackagefromaprojectbythisfile-tree:build.sbtsrc/mainsrc/main/scalasrc/main/scala/Tester.scalasrc/main/scala/main.scalawhereTesterisaclassbyafunction(nameisprint())andmainhasanobjecttorunth
曾杰律师·2025-05-09 03:38

Flink + Kafka 构建实时指标体系的实战方法论

在数字化运营趋势下，分钟级指标反馈能力变得尤为重要：✅营销投放实时监控CTR/CVR✅业务增长实时观测UV/PV✅运维系统实时计算告警数/成功率传统离线计算（Hive/SparkBatch）难以满足这种实时性需求
晴天彩虹雨·2025-05-09 02:01

HDFS常用shell命令+MapReduce java编程+HBase常用shell命令+Spark python编程(RDD+df)

本文包含详细的HDFS常用shell命令+MapReducejava编程+HBase常用shell命令+Sparkpython编程(RDD+df)，本文档纯属个人整理，为了应对大数据期末考试的20分程序填空和
菜菜why·2025-05-09 01:25

数据分析平台选型与最佳实践：如何打造高效、灵活的数据生态？

面对市场上的众多解决方案（如ApacheSpark、ClickHouse、Snowflake、BigQuery、Presto），如何进行合理选型，并确保数据分析流程高效落地？今
Echo_Wish·2025-05-08 22:38

初识Python：一门简洁而强大的编程语言

今天带来一期关于python的相关知识，用于新手开发python使用阅读，后续会出相关文章，大家请关注，博主尽量日更！！！前言在当今的编程世界中，Python无疑是最受欢迎的语言之一。
码有余悸·2025-05-08 21:03
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他