spark（scala）

Spark Streaming基本概念

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
晓之以理的喵~~·2023-11-29 07:36

Spark Streaming使用Kafka数据流示例

Spark作为目前最流行的分布式计算框架，可用于处理实时数据流，本文主要介绍SparkStreaming如何使用Kafka数据流做分析，具体使用的版本信息见pom配置。
追风落叶乔木生·2023-11-29 07:34

基于Spark Streaming 的流数据处理和分析

文章目录一.流介绍1.流是什么2.为什么需要流处理3.流处理应用场景4.如何进行流处理二.SparkStreaming1.SparkStreaming流数据处理架构2.SparkStreaming内部工作流程
sun_0128·2023-11-29 07:03

Spark_Spark高阶特性

wscgfilter导致断链Codegen向量化simdjsonOrcParquet支持批量读取spark本身对parquet支持比较好，因为parquet
高达一号·2023-11-29 07:03

Spark Streaming提取数据

一、简介SparkStreaming是一个从各种来源获取实时流数据的框架。它支持的流资包括HDFS、Kafka、Flume以及自定义流等。
简单不过l·2023-11-29 07:29

Spark Streaming【数据流处理原理分析】

SparkStreaming介绍SparkStreaming它是对Spark核心API的扩展，目的在于对实时数据流进行高吞吐、高容错的处理。SparkStreaming底层是SparkCore。
Smile to everyday·2023-11-29 07:29

SparkStreaming之基本数据源输入

SparkStreaming拥有两类数据源（1）基本源（Basicsources）：这些源在StreamingContextAPI中直接可用。例如文件系统、套接字连接、Akka的actor等。
coco_ethan·2023-11-29 07:59

使用Spark Streaming处理Kafka数据流

Kafka作为优秀的日志采集系统，可以作为SparkStreaming的高级数据源，本文主要介绍如何使用SparkStreaming实时处理Kafka传递过来的数据流。
打酱油的葫芦娃·2023-11-29 07:28

Spark---资源、任务调度

一、Spark资源调度源码1、Spark资源调度源码过程Spark资源调度源码是在Driver启动之后注册Application完成后开始的。
30岁老阿姨·2023-11-29 07:25

Spark Streaming的基本数据流

先来介绍一下按照动静对数据的区分静态数据静态数据（StaticData）指的是在一段时间内不会或很少发生变化的数据。这种类型的数据通常是固定的，并且不会随着时间的推移而更新或仅偶尔更新。静态数据的典型例子包括配置文件、参考表、历史记录、已发布的研究报告等。在大数据环境中，尤其是使用Hadoop分布式文件系统（HDFS）时，数据通常被认为是静态的，这是因为HDFS被设计成适合一次写入和多次读取的场景
俺会hello我的·2023-11-29 07:55

Spark_spark shell退出方式

问题描述在使用SparkShell进行交互式编程时，如何优雅地退出SparkShell，即关闭Shell会话，并释放资源。
高达一号·2023-11-29 07:54

Spark SQL,DF,RDD cache常用方式

._2)).setName("testRDD")testRDD.cache()dataframe中的cache利用catalog以表的形式对数据进行缓存importorg.apache.spark.SparkConf
高达一号·2023-11-29 07:19

生产环境_sql获spark将课程与对应的选课人员以逗号分隔的形式存储

DavidScience|EmilyScience|Franksql代码：SELECT课程,GROUP_CONCAT(人员ORDERBY人员SEPARATOR',')AS课程所有人员FROM表GROUPBY课程;spark
Matrix70·2023-11-29 07:18

go python java scala_以太坊Go、Java、Python、Ruby、JS客户端介绍

####Go-ethereum简介go-ethereum客户端通常被称为geth，它是个命令行界面，执行在Go上实现的完整以太坊节点。通过安装和运行geth，可以参与到以太坊前台实时网络并进行以下操作挖掘真的以太币在不同地址间转移资金创建合约，发送交易探索区块历史及很多其他GoEthereum链接：Pyethapp介绍Pyethapp是以python为基础的客户端，实现以太坊加密经济状态机。pyt
weixin_39571219·2023-11-29 05:03

面试篇spark（spark core，spark sql，spark 优化）

一：为什么学习spark？相比较map-reduce框架，spark的框架执行效率更加高效。mapreduce的执行框架示意图。
宇智波云·2023-11-29 05:21

Scala写入文件时乱码解决

今天在需要将spark操作后的数据保存到本地文件时出现乱码问题,现在记录下来valwriter=newPrintWriter(newFile("E://data/gps_bus_data01.txt")
鬼古神月·2023-11-29 03:49

10X空间转录组数据分析之Pattern recognition and clustering

hello，我们接上一篇，10X空间转录组空间高变基因分析之SPARK，上一篇我们利用一些方法，找到了很多显著性的空间高变基因，那么这些基因在我们分析数据的时候起到了什么作用呢？
单细胞空间交响乐·2023-11-29 03:27

【Spark入门】基础入门

【大家好，我是爱干饭的猿，本文重点介绍Spark的定义、发展、扩展阅读：SparkVSHadoop、四大特点、框架模块、运行模式、架构角色。
爱干饭的猿·2023-11-29 02:30

Tensorboard下载所有点的数据的方法

若要下载完整的数据，可以在启动tensorboard时加上如下参数--samples_per_pluginscalars=999999999即可显示所有数据
lgc0208·2023-11-29 01:39

「RIA学习力」《深度倾听》No.14，小芳

实际上，接下来要发生的事可以用一个系统基本模式来描述，叫做“恶性竞争”(escalation)，与军备竞赛的结构相同。A辩论得越是起劲儿，B感受到
小芳_a598·2023-11-28 21:24

解决Spark SQL读数据库时不支持某些数据类型的问题

之前开发数据湖新版本时使用SparkSQL来完成ETL的工作，但是遇到了SparkSQL不支持某些数据类型（比如ORACLE中的TimestampwithlocalTimezone）的问题。
alexlee666·2023-11-28 20:49

超过100个的优秀开源项目

Github：https://github.com/SparkDevNetwork/Rock详细介绍：点击查看145、用于自动化测试Windows应用程序的开源框架（Flau
程序猿的杂货店·2023-11-28 14:33

Spark 自定义外部数据源

翻译自：ExtendingSparkDatasourceAPI:writeacustomsparkdatasourceDataSourceAPIBasicInterfacesBaseRelation:展示从
一生逍遥一生·2023-11-28 13:01

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据一、使用EXPORT导出数据1.背景信息2.导出流程3.基本原理4.相关配置5.基本操作6.最佳实践二
最笨的羊羊·2023-11-28 11:38

SparkSQL与parquet，处理decimal类型数据时遇到的问题及注意事项

SparkSQL为了更好的性能，在读写Hivemetastoreparquet格式的表时，会默认使用自己的ParquetSerDe，而不是采用Hive的SerDe进行序列化和反序列化。
雾岛与鲸·2023-11-28 11:03

sparksql 自动DataSourceV2源

表模型明细模型：表中会存在主键重复的数据行，并且与导入的数据是完全对应的。您可以召回所导入的全部历史数据。聚合模型：表中不存在主键重复的数据行，主键满足唯一性约束。导入的数据中主键重复的数据行聚合为一行，即具有相同主键的指标列，会通过聚合函数进行聚合。您只能召回导入的全部历史数据的聚合结果，但是无法召回历史明细数据。主键模型和更新模型：表中不存在主键重复的数据行，主键满足唯一性约束。最新导入的数据
大数据启示录·2023-11-28 11:00

AWS Simple Storage Service (S3)学习笔记

AmazonS3providesdevelopersandITteamswithsecure,durable,andhighly-scalablecloudstorage.CommonusecasesforAmazonS3storageinclude
pg_edb·2023-11-28 10:26

Spark面试题集锦

1、什么是ApacheSpark？Spark是什么？是基于内存计算的分布式的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
猿界零零七·2023-11-28 09:53

Spark升级中对log4j中的一些思考

背景最近在做Spark版本的升级(由spark3.1升级到spark3.5)，其实单纯从spark升级涉及到的log4j来说，并没有什么能够记录的，但是由于公司内部做了Spark的serveless，把
鸿乃江边鸟·2023-11-28 09:03

移动端项目——布局方案

1）宽度：1.视口宽度：每个浏览器有一个默认宽度，980pxwidth=device-width:视口宽度等于设备宽度2.设备宽度：initial-scale=1.0:默认内容缩放比例1.0user-scalable
littlefish_305a·2023-11-28 08:59

数据算法 Hadoop/Spark大数据处理---第十章

本章实现方式基于传统spark来实现基于传统Scala来实现本章实现方式的思路-spark：1.先创建JavaSparkContext，textFile读入文件。
_Kantin·2023-11-28 08:05

Java8 λ(Lambda)表达式

很多JVM平台上的语言（Groovy、Scala等）从诞生之日就支持λ表达式，但是Java开发者没有选择，只能使用匿名内部类代替λ表达式。从形式上看，λ表达式只是为你节省了几行代码。
东方灵龙·2023-11-28 07:57

网络爬虫的分类和抓取的目标的不同

通用网络爬虫通用网络爬虫又称全网爬虫（ScalableWebC
柊铉老师·2023-11-28 07:55

Scala LeetCode 965. 单值二叉树

https://leetcode-cn.com/problems/univalued-binary-tree/classTreeNode(var_value:Int){varvalue:Int=_valuevarleft:TreeNode=_varright:TreeNode=_}objectMain{defisUnivalTree(root:TreeNode):Boolean={varb=Lis
yaoyuan-yy·2023-11-28 06:19

spark 的createDstream和createDirectStream区别

spark读取kafka数据流提供了两种方式createDstream和createDirectStream。
香山上的麻雀·2023-11-28 05:16

PyTorch学习笔记（二）——TensorBoard

2、模型在不同阶段的输出2需要导入的类和常用的方法fromtorch.utils.tensorboardimportSummaryWriterwriter.add_image()writer.add_scalar
routine1o1oo·2023-11-28 01:18

Pytorch中的Tensorboard常用API

默认会在当前程序所在的文件夹下创建个runs文件夹存储flush_secs：表示写入tensorboard文件的时间间隔comment：文件夹名称的后缀filename_suffix：文件名字后缀add_scalar
u013308709·2023-11-28 01:15

来自 Google、YouTube、Twitter、Amazon、eBay、Facebook 和 Instagram 的可扩展性经验教训

【搬运】文章来源：https://www.dodgycoder.net/2012/04/scalability-lessons-from-google-youtube.html我在一个地方收集了来自七个流量最大的网站的一些可扩展性课程
粥粥粥少女的拧发条鸟·2023-11-27 23:06

Spark-Streaming KafkaClient 异常解决

在使用Spark-Streaming消费Kafka数据的时候，使用如下命令提交到yarnCausedby:java.lang.IllegalArgumentException:Couldnotfinda'KafkaClient'entryintheJAASconfiguration.Systemproperty'java.security.auth.login.config'isnotsetato
大猪大猪·2023-11-27 23:13

spark之OOM常见问题梳理(一)

—王小波一、Spark报错信息问题一1.描述org.apache.spark.shuffle.FetchFailedException这种问题一般发生在有大量shuffle操作的时候,task不断的failed
写轮眼之大数据·2023-11-27 20:34

Flink入门（一）——Apache Flink介绍

随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎ApacheSpark,基本上已经取代了MapReduce成为当前大数据处理的标准。
大数据流动·2023-11-27 20:03

Structured Streaming基本使用

StructuredStreaming定义结构化流处理是Spark中用于处理实时流数据的API。它提供了类似于对静态数据集进行操作的高级抽象，允许你以类似的方式处理实时数据流。
linbokang·2023-11-27 19:46

Apache Iceberg核心原理分析文件存储及数据写入流程

相较于Hudi、Delta与Spark的强耦合，Iceberg可以与多种计算引擎对接，目前社区
王知无(import_bigdata)·2023-11-27 19:25

Crazy Boy Parkour

Thebravelittleboystartedhisparkourandmadeacrazyadventureontheroadfullofmonstersandtraps.Buttheroadaheadisnotsosmooth
Madelines·2023-11-27 19:20

Flink实时流计算入门系列（一）

image这几年大数据的飞速发展，出现了很多热门大数据计算框架，著名的Hadoop、Storm、Spark，他们都专注于各自的应用场景。
晨冉1688·2023-11-27 17:17

2023_Spark_实验二十二：Zookeeper的集群安装

Zookeeper的集群安装一、集群的规划二、Zookeeper配置三、Zookeeper启动一、集群的规划Zookeeper集群：192.168.137.110（bigdata112）192.168.137.111（bigdata113）192.168.137.112（bigdata114）二、Zookeeper配置在主节点（bigdata112）上配置ZooKeeper配置/opt/soft_
pblh123·2023-11-27 17:26

2023_Spark_实验二十一：Zookeeper单机安装与配置

zookeeper单机安装与配置一、zookeeper的安装1.上传zookeeper-3.4.5.tar.gz到/tools目录下2.解压安装zookeeper到/training中tar-zvcfzookeeper-3.4.5.tar.gz-C/opt/soft_installed/zookeeper-3.4.53.配置环境变量vim/home/lh/.bashrc#添加内容如下exportZ
pblh123·2023-11-27 17:52

Spark性能调优05-Shuffle调优

1.SparkShuffle概述在Spark的源码中，负责shuffle过程的执行、计算和处理的组件主要就是ShuffleManager，也即shuffle管理器。
CoderJed·2023-11-27 16:00

解决SparkSQL导致的JVM栈内存溢出方法_尚硅谷大数据培训

当SparkSQL的sql语句有成百上千的or关键字时，就可能会出现Driver端的JVM栈内存溢出。
尚硅谷铁粉·2023-11-27 16:52

在spark环境中运行demo的时候报错

在spark环境中运行demo的时候报错，怎么解决？
我是钟钟·2023-11-27 12:07
上一页 78 79 80 81 82 83 84 85 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他