spark（scala）

Hugging Face + Spark：打造高效的 NLP 大数据处理引擎(一)

在自然语言处理（NLP）领域，HuggingFace是不可或缺的处理库，而Spark则是大数据处理的必备工具。将两者的优势结合起来，可以实现高效的NLP大数据处理。
·2025-05-27 10:21

Spark面试问题总结

阿里面试：https://www.jianshu.com/p/11578fd6e272https://www.jianshu.com/p/c8a271448dcd大数据开发面试-MMMM：https://www.jianshu.com/p/fec32e92e06cOGGCDC读取oracle日志-Mhttps://blog.csdn.net/dkl12/article/details/804471
大数据侠客·2025-05-26 07:12

3.8.1 利用RDD实现词频统计

在本次实战中，我们通过Spark的RDD实现了词频统计功能。首先，准备了包含单词的文件并上传至HDFS。
酒城译痴无心剑·2025-05-25 16:30

Spark基础学习笔记：搭建spark on yarn 集群

一、SparkOnYARN架构SparkOnYARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark
Connie_2022·2025-05-25 14:44

YARN与Spark组件架构关系及交互机制：从ResourceManager到Executor的层级、依赖与通信链路解析

管理所有NodeManager（NM）└──每个NM管理多个物理节点└──每个节点上运行Container（逻辑资源单元）├──分配固定内存/CPU资源└──运行具体进程（如AM、Executor）2.Spark
WZMeiei·2025-05-25 13:42

【赵渝强老师】Scala编程语言

Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机）之上，并兼容现有的Java程序。
·2025-05-25 13:22

《Spark/Flink/Doris离线&实时数仓开发》目录

欢迎加入《Spark/Flink/Doris离线&实时数仓开发》付费专栏！
大模型大数据攻城狮·2025-05-25 12:32

解锁Spark MLlib与分布式策略

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手
吴师兄大模型·2025-05-25 07:27

【SparkStreaming】面试题

SparkStreaming是ApacheSpark提供的一个扩展模块，用于处理实时数据流。它使得可以使用Spark强大的批处理能力来处理连续的实时数据流。
言之。·2025-05-25 05:47

OpenCV入门（一）

像素值初始化为（0，0，255）#include#include#includeusingnamespacecv;usingnamespacestd;intmain(){MatM(3,2,CV_8UC3,Scalar
dandanke0512·2025-05-25 00:13

大数据领域 Hive 与 Spark 的集成应用

大数据领域Hive与Spark的集成应用关键词：Hive,Spark,大数据集成,数据处理,分布式计算,元数据管理,性能优化摘要：本文深入探讨ApacheHive与ApacheSpark在大数据处理中的集成应用
AI天才研究院·2025-05-24 17:02

Kafka整合Flume

Flume的lib目录下kafka_2.10-0.8.2.1.jar、kafka-clients-0.8.2.1.jar、jopt-simple-3.2.jar、metrics-core-2.2.0.jar、scala-library
小顽童王·2025-05-24 02:20

实战Spark从入门到精通（二）：Spark急速上手，给小白的3分钟入门指南

系列文章目录实战Spark从入门到精通（一）：一文带你全面了解Spark大数据处理框架文章目录系列文章目录前言快速上手Spark的第一步：了解Scala基础Spark的灵魂：SparkContext3分钟上手
元飞聊技术·2025-05-24 00:33

node-postgres_如何使用NestJS，Postgres和Sequelize构建Web API-入门指南

node-postgresNestJSisanMVCframeworkforbuildingefficient,scalableNode.jsserver-sideapplications.NestJS
cumian9828·2025-05-23 16:34

spark向mysql中写数据，报错不能连接mysql

使用spark读取hive中数据，计算后将结果写入mysql，报错如下：猜想可能是驱动包版本不兼容所致。经检查，mysql数据库是8.0.12版本，而项目使用的驱动包是5.1.27版本。
etastgrehyjrt·2025-05-23 03:07

Spark和Hadoop的区别与联系

一、核心定位与架构Hadoop•定位：分布式系统基础架构，主要解决海量数据的存储和计算问题。核心组件：HDFS（分布式文件系统）：负责数据存储，提供高吞吐量的海量数据存储能力。MapReduce：分布式计算框架，将任务拆解为Map（映射）和Reduce（归约）两个阶段，适合离线批量处理。特点：1.强调数据“存算一体”，计算依赖HDFS存储的数据。2.适合离线、批处理场景，对实时性要求不高。Spar
Freedom℡·2025-05-23 03:36

Spark，连接MySQL数据库，添加数据，读取数据

以下是使用Spark/SparkSQL连接MySQL数据库、添加数据和读取数据的完整示例（需提前准备MySQL驱动包）：一、环境准备1.下载MySQL驱动-下载mysql-connector-java-
Eternity......·2025-05-23 03:06

TensorFlow常用乘法函数总结：tf.multiply()、*、tf.matmul()、@、tf.scalar_mul()、tf.tensordot()、tf.einsum()

前两篇博客分别总结了numpy和Pytorch中常用的乘法函数：numpy常用乘法函数总结：np.dot()、np.multiply()、*、np.matmul()、@、np.prod()、np.outer()-CSDN博客主要是np.dot()、np.multiply()、*、np.matmul()、@五种，其中np.matmul()和@完全等价，np.multiply()和*在输入数据类型为n
Cheer-ego·2025-05-22 15:27

3.8.2 利用RDD计算总分与平均分

在本次实战中，我们利用Spark的RDD完成了成绩文件的总分与平均分计算任务。首先，准备了包含学生成绩的文件并上传至HDFS。
酒城译痴无心剑·2025-05-22 12:08

Spark入门秘籍

目录一、Spark是什么？1.1内存计算：速度的飞跃1.2多语言支持：开发者的福音1.3丰富组件：一站式大数据处理平台二、Spark能做什么？
£菜鸟也有梦·2025-05-22 11:35

使用Terraform创建azure databrick

它是基于ApacheSpark的分析平台，可帮助用户以更高效的方式进行数据处理、数据分析和机器学习任务。
云攀登者-望正茂·2025-05-22 07:01

Spark----SparkContext解析

SparkContext解析SparkContext是用户通往Spark集群的唯一入口，任何需要使用Spark的地方都需要先创建SparkContext，那么SparkContext做了什么？
XiaodunLP·2025-05-22 03:05

Spark 集群搭建：Standalone 模式详解

在大数据处理领域，Spark凭借其高效的内存计算能力广受青睐。搭建一个稳定、高效的Spark集群是充分发挥其性能的关键。本文将详细讲解如何搭建SparkStandalone集群。
麻芝汤圆·2025-05-22 03:34

SparkContext介绍

目录1.集群管理接口2.RDD操作中枢3.任务分发引擎4.执行环境配置5.性能监控枢纽SparkContext是ApacheSpark的核心组件，其作用可概括为以下五个关键维度：1.集群管理接口作为与集群管理器
大数据知识搬运工·2025-05-22 03:03

探索Knot.x：统一数据源的网页集成框架

探索Knot.x：统一数据源的网页集成框架knotxKnot.xisahighly-efficientandscalableintegrationframeworkdesignedtobuildbackendAPIs
朱丛溢·2025-05-22 01:50

Spark大数据分析案例（pycharm）

pwd=22dj提取码：22dj复制这段内容打开「百度网盘APP即可获取」工具：Spark下安装的pycharm5.202．窗口操作(SparkSQL)在处理数据时，经常会遇到数据的分类
qrh_yogurt·2025-05-21 23:08

spark-shuffle 类型及其对比

1.HashShuffle原理：将数据按照分区键进行哈希计算，将相同哈希值的数据发送到同一个Reducer中。特点：实现简单，适用于数据分布均匀的场景。但在数据分布不均匀时，容易导致某些Reducer处理的数据量过大，产生性能瓶颈。适用场景：当数据分布相对均匀时，可以使用HashShuffle。2.SortShuffle原理：在Map端对数据进行排序，然后按照排序后的顺序将数据发送到Reducer
大数据知识搬运工·2025-05-21 18:03

spark调度系统核心组件SparkContext、DAGSchedul、TaskScheduler介绍

目录1.SparkContext2.DAGScheduler3.TaskScheduler4.协作关系5TaskSet的定义1.
大数据知识搬运工·2025-05-21 18:33

TasksetManager冲突导致SparkContext异常关闭

背景介绍当正在悠闲敲着代码的时候，业务方兄弟反馈接收到大量线上运行的sparkstreaming任务的告警短信，查看应用的web页面信息，发现spark应用已经退出了，第一时间拉起线上的应用，再慢慢的定位故障原因
liujianhuiouc·2025-05-21 18:30

SparkContext的初始化

SparkContext的初始化步骤如下：1创建Spark执行环境SparkEnv1.2什么是SparkEnv？
张之海·2025-05-21 17:00

spark自定义分区器实现

前言：为什么我们要进行自定义分区当spark进行数据处理key-value类型数据时，会遇到数据由于key值的分布不均倾斜的情况，为了使得资源的合理布置我们会进行重分区，根据spark内部提供的分区器HashPartitioner
盈欢·2025-05-21 00:39

spark自定义分区器

*模仿自带分区器，自定义分区器*自定义，哪个分区放什么数据*/objectTest{defmain(args:Array[String]):Unit={valsparkConf=newSparkConf
月笼纱lhz·2025-05-21 00:39

Spark_自定义分区器

自定义分区器：继承Partitioner重写方法valsparkConf:SparkConf=newSparkConf().setMaster("local[*]").setAppName("spark
EmoGP·2025-05-21 00:38

Spark中自定义分区器实现shuffle

Spark中实现了两种类型的分区函数，一个是基于哈希的HashPartitioner,另外一个是基于范围的RangPartitioner。
自由幻想的人儿·2025-05-21 00:38

Spark自定义分区器

packagetest.wyh.wordcountimportorg.apache.spark.
QYHuiiQ·2025-05-21 00:08

spark的处理过程-转换算子和行动算子

（一）RDD的处理过程【老师讲授，画图】Spark使用Scala语言实现了RDD的API,程序开发者可以通过调用API对RDD进行操作处理。
Eternity......·2025-05-21 00:37

linux下载pyspark并修改默认python版本

使用deadsnakesPPA（适用于旧版Ubuntu）如果官方仓库没有Python3.8，可通过第三方PPA安装。步骤1：添加PPA仓库bash复制下载sudoadd-apt-repositoryppa:deadsnakes/ppasudoaptupdate步骤2：安装Python3.8bash复制下载sudoaptinstallpython3.8设置Python3.8为默认版本（可选）如果需要
yishan_3·2025-05-20 18:30

【大数据、数据开发与数据分析面试题汇总（含答案）】

试题目录大数据、数据开发与数据分析高频面试题解析1.数据仓库分层架构设计2.维度建模与范式建模的区别3.MapReduce的Shuffle阶段详解4.Hive数据倾斜的优化方法5.Spark比MapReduce
花架ギ·2025-05-20 17:26

Spark处理过程-转换算子和行动算子

这种惰性计算的方式可以让Spark对操作进行优化，例如合并多个转换操作，减少数据的传输和处理量。行动算子行动算子是立即执行的。
zxfgdjfjfjflfllf·2025-05-20 10:40

谷歌 NotebookLM 即将推出 Sparks 视频概览：Gemini 与 Deep Research 加持，可生成 1 - 3 分钟 AI 视频

近期，谷歌旗下的NotebookLM即将推出一项令人瞩目的新功能——Sparks视频概览。
Icoolkj·2025-05-20 09:09

Spark---＞转换算子

Spark--->转换算子flatMap：数据的拆分、转换（一对多）map：转换（一对一）filter：过滤算子sort：排序算子mapPartitionsmapPartitionsWithIndexsample
飝鱻.·2025-05-20 09:08

SparkSQL数据提取和保存

11,name,age12,xiaoming,2413,小花,19importorg.apache.spark.sql.SparkSessionimportjav
古拉拉明亮之神·2025-05-20 09:06

Spark SQL 之 Analyzer

SparkSQL之Analyzer//SpecialcaseforProjectasitsupportslateralcolumnalias.casep:Project=>valresolvedNoOuter
zhixingheyi_tian·2025-05-20 07:22

详解 Scala 的函数式编程

一、函数基础函数式是基于数学理论的函数概念，类似于y=f(x)1.函数定义1.1语法/*函数结构：deffuncName(param1:type1,param2:type2,...):type={statement}*/defsum(x:Int,y:Int):Int={returnx+y}1.2案例objectTestFunctionDefine{defmain(args:Array[String
文刀小桂·2025-05-20 07:51

Scala与Spark：原理、实践与技术全景详解

Scala与Spark：原理、实践与技术全景详解一、引言在大数据与分布式计算领域，ApacheSpark已成为事实标准的计算引擎，而Scala作为其主要开发语言，也逐渐成为数据工程师和后端开发者的必备技能
北漂老男人·2025-05-20 06:20

SparkSQL基本操作

以下是SparkSQL的基本操作总结，涵盖数据读取、转换、查询、写入等核心功能：一、初始化SparkSessionscalaimportorg.apache.spark.sql.SparkSessionvalspark
Eternity......·2025-05-20 06:16

SVG图形描边技术与未来趋势

背景简介SVG（ScalableVectorGraphics）作为基于XML的矢量图形标准，广泛用于网络图形设计中。
初雪CH·2025-05-19 18:20

关于Spark Shell的使用

Spark带有交互式的Shell，可在SparkShell中直接编写Spark任务，然后提交到集群与分布式数据进行交互，并且可以立即查看输出结果。
2301_78557870·2025-05-19 16:37

Spark缓存-persist

importorg.apache.spark.storage.StorageLevelimportorg.apache.spark.
帅气而伟大·2025-05-19 15:34

Spark，数据提取和保存

以下是使用Spark进行数据提取（读取）和保存（写入）的常见场景及代码示例（基于Scala/Java/Python，不含图片操作）：一、数据提取（读取）1.读取文件数据（文本/CSV/JSON/Parquet
Freedom℡·2025-05-19 15:03
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他