spark（scala）

Hadoop——分布式计算

分布式计算常见的2种工作模式分散->汇总（MapReduce就是这种模式）将数据分片，多台服务器各自负责一部分数据处理然后将各自的结果，进行汇总处理最终得到想要的计算结果中心调度->步骤执行（大数据体系的Spark
weixin_50458070·2023-12-26 06:38

最新ChatGPT商业运营网站程序源码，支持Midjourney绘画，GPT语音对话+DALL-E3文生图+文档对话总结

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-26 06:23

LVM Sequential Modeling Enables Scalable Learning for Large Vision Models

LVM:SequentialModelingEnablesScalableLearningforLargeVisionModelsTL;DR：本文提出一种纯视觉的序列建模方法LVM，不需要任何文本数据。
Adenialzz·2023-12-26 05:09

spark运行时异常：org.apache.spark.SparkException: Could not find CoarseGrainedScheduler.

org.apache.spark.SparkException:CouldnotfindCoarseGrainedScheduler.atorg.apache.spark.rpc.netty.Dispatcher.postMessage
安安DE爸爸·2023-12-25 23:00

spark启动程序命令

/spark-submit--masterspark://hive01:7077--deploy-modeclient--classorg.apache.spark.examples.SparkPi..
安安DE爸爸·2023-12-25 23:00

黑猴子的家：Spark RDD 之 Hadoop 输入输出（数据读取与保存的主要方式之一）

1、hadoopRDD和newHadoopRDDSpark的整个生态系统与Hadoop是完全兼容的,所以对于Hadoop所支持的文件类型或者数据库类型,Spark也同样支持.另外,由于Hadoop的API
黑猴子的家·2023-12-25 23:05

计算机毕业设计之Spark+SpringBoot+Vue.js数字迎新系统小程序App 新生报到系统小程序App 新生缴费系统小程序App 大数据毕业设计

开发技术前端：vue.jsecharts后端：springboot+mybatis数据分析：Spark数据库：mysql配套资料配置教程、说明书、操作手册、源代码手册配套资料完整源码资料完整资料创新点Excel
计算机毕业设计大神·2023-12-25 21:35

Spark数据倾斜解决方案四：使用随机Key进行双重聚合

在使用reduceByKey，groupByKey算子时，都是针对PairRDD进行操作，那么，我们就可以PairRDD的每个元素的Key加上一个随机数前缀，这样的话，之前存在的大量相同而导致数据倾斜问题的Key就会被重新打散，从而避免数据倾斜。在进行第一轮聚合之前，先把原先的Key加上一个随机数前缀（10以内的就可以），然后对随机的Key进行聚合操作，这是可以看到，之前相同的Key都会被分到一个
hipeer·2023-12-25 20:55

Masked Autoencoders Are Scalable Vision Learners 2021-11-13

ViT作为Backbone,用类似BERT的方式进行自监督预训练，通过随机遮盖大部分patch让encoder更好地“理解”图片。重点以及和BEIT的区别其实把BERT模型搬到视觉领域，也已经有之前的一篇工作BEIT了。而且BEIT中也使用了AutoEncoder，但是和MAE的区别是，这里的AE是作为一个tokenizer使用，而下面的Transformer重现的也是token而不是原图。BEI
不想读Paper·2023-12-25 19:49

【早安心语】

【2021-4-6】早安春夏秋冬Everyonehastimeswhentheyfeelthattheyarenotgoodenoughandwhentheyadmirethesparklesofothers
壹典心理咨询·2023-12-25 19:26

Spark - 动态注册UDF

昨天有位大哥问小弟一个Spark问题，他们想在不停Spark程序的情况下动态更新UDF的逻辑，他一问我这个问题的时候，本猪心里一惊，Spark**还能这么玩?
kikiki2·2023-12-25 16:04

2023_Spark_实验三十三：配置Standalone模式Spark3.4.2集群

实验目的：掌握SparkStandalone部署模式实验方法：基于centos7部署Sparkstandalone模式集群实验步骤：一、下载spark软件下载的时候下载与自己idea里对应版本的sparkNews
pblh123·2023-12-25 15:42

云计算与大数据之间的羁绊（期末不挂科版）：云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark

文章目录前言：一、云计算1.1云计算的基本思想1.2云计算概述——什么是云计算？1.3云计算的基本特征1.4云计算的部署模式1.5云服务1.6云计算的关键技术——虚拟化技术1.6.1虚拟化的好处1.6.2虚拟化技术的应用——12306使用阿里云避免了高峰期的崩溃1.6.3虚拟化的关键特征1.6.4虚拟化的HA指的是什么？1.6.5服务器虚拟化1.6.6虚拟机迁移1.6.6.1虚拟机实时迁移对云计算
春人.·2023-12-25 14:59

spark 连接 hive 报错 Identifier principalName is unresolved (not a static field)

spark连接hive的mysql元数据库metastore，不能直接访问，需要通过metastoreserver间接访问因此需要开启元数据服务修改hive-site.xml配置    hive.metastore.uris
赤土 炙焱·2023-12-25 12:20

[AIGC] Apache Spark 简介

ApacheSpark是一个开源的大数据处理框架，它提供了高效的分布式数据处理和分析能力。Spark通过将数据加载到内存中进行计算，可以大幅提高数据处理速度。
程序员三木·2023-12-25 12:36

spark log4j日志配置

1.spark启动参数先把log4j配置文件放到hdfs：hdfs://R2/projects/log4j-debug.properties--confspark.yarn.dist.files=hdfs
Mint6·2023-12-25 12:33

【美团大数据面试】大数据面试题附答案

目录1.hdfs读写流程解析2.hdfs副本机制，三副本原因，副本存放策略3.hdfs容错机制原理4.MapReduce执行流程详解5.spark和mr的区别6.TopN求法，大数据量无法完全写入内存解决方案
话数Science·2023-12-25 11:19

Spark 学习笔记——001【spark-mysql+spark-hive】

在本地提交spark-submitspark-sql窗口的进入.
冰冷热带鱼·2023-12-25 11:01

Spark编程语言选择：Scala、Java和Python

在大数据处理和分析领域，ApacheSpark已经成为一种非常流行的工具。它提供了丰富的API和强大的性能，同时支持多种编程语言，包括Scala、Java和Python。
晓之以理的喵~~·2023-12-25 08:18

Spark集群部署与架构

ApacheSpark作为一种强大的大数据处理工具，可以在集群中高效运行，处理数十TB甚至PB级别的数据。本文将介绍如何构建和管理Spark集群，以满足大规模数据处理的需求。
晓之以理的喵~~·2023-12-25 08:36

安装Hadoop 3.3.5

常识科普：Kafka的存储与安装不依赖于hdfs/spark，从下边安装过程你可以得知这个信息。备注：
IT WorryFree·2023-12-25 06:03

了解spark计算模型

Spark提供了“partitionBy”运算符，能够通过集群中多台机器之间对原始RDD进行数据再分配来创建一个
necessary653·2023-12-25 06:59

Flink 客户端操作命令及可视化工具

下面主要从Flink命令行、ScalaShell、SQLClient、RestfulAPI和Web五个方面进行整理。
程序猿进阶·2023-12-25 05:57

Flink1.17实战教程（第一篇：概念、部署、架构）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）文章目录系列文章目录1.Flink概述1.1Flink是什么1.2Flink特点1.3FlinkvsSparkStreaming1.4Flink
阿moments·2023-12-25 04:02

阻断血缘关系以及checkpoint文件清理

spark-sql读写同一张表，报错Cannotoverwriteapaththatisalsobeingreadfrom1.增加checkpoint，设置检查点阻断血缘关系sparkSession.sparkContext.setCheckpointDir
Keep hunger·2023-12-25 04:21

Broadcast Variable

Spark提供的BroadcastVariable，是只读的。并且在每个节点上只会有一份副本，而不会为每个task都拷贝一份副本。
一个人一匹马·2023-12-25 02:04

spark-submit的执行原理

CreatedbyWang,JerryonAug08,20150和PWD%/*shell变量的一些特殊用法在命令行状态下单纯执行$cddirname0echopwd然后返回到/home/admin/执行shtest/test.sh运行结果:/home/admin/test这样就可以知道一些和脚本一起部署的文件的位置了，只要知道相对位置就可以根据这个目录来定位，而可以不用关心绝对位置。这样脚本的可移
JerryWang_汪子熙·2023-12-25 02:44

escalate

1.认识这个词（基础篇）词：escalate英英释义：tobecomemuchworseormoreserious,ortomakesomethingdothis例句：Theskirmishbetweenrivalfactionscouldescalateintoafull-scalewar
岁月静好_现象英语·2023-12-25 00:28

YARN Hadoop2.0 区别

Hadoop1.0更多是在于离线的数据处理，Hadoop2.0可以支持MapReduce计算框架之外，可以支持Spark、Strom等的实时数据处理框架。在h
omygodvv·2023-12-24 23:01

Java技术专题-Lombok插件开发实践必知必会操作！

前言在目前众多编程语言中，Java语言的表现还是抢眼，不论是企业级服务端开发，还是Andorid客户端开发，都是作为开发语言的首选，甚至在大数据开发领域，Java语言也能占有一席之地，如Hadoop，Spark
洛神灬殇·2023-12-24 23:17

ZKP Algorithms for Efficient Cryptographic Operations 1 (MSM & Pippenger)

MITIAP2023ModernZeroKnowledgeCryptography课程笔记Lecture6:AlgorithmsforEfficientCryptographicOperations(JasonMorton)Multi-scalarMultiplication
Simba17·2023-12-24 23:16

Flink知识点

Flink1.简单介绍一下Flink2.Flink的运行必须依赖Hadoop组件吗3.Flink集群运行时角色4.Flink相比SparkStreaming的区别4.1、什么是两阶段提交协议？
芝麻仗剑走天涯·2023-12-24 22:26

Spark的核心概念：RDD、DataFrame和Dataset

ApacheSpark，其核心概念包括RDD（ResilientDistributedDataset）、DataFrame和Dataset。
晓之以理的喵~~·2023-12-24 22:25

Apache Spark简介与历史发展

ApacheSpark作为一个开源的大数据处理框架，已经在大数据领域占据了重要地位。ApacheSpark简介ApacheSpark是一个用于大规模数据处理的快速、通用的计算引擎。
晓之以理的喵~~·2023-12-24 22:55

阿里巴巴内部：全技术栈PPT分享（架构篇+算法篇+大数据）

大数据：Spark、Hadoop添加图片注释，不
写代码的珏秒秒·2023-12-24 22:48

Spark - 直接操作数据源 MySQL

答案就是使用spark的计算能力的，我们可以将mysql数据源接入到spark中。
大猪大猪·2023-12-24 18:56

Java项目开发：基于spark的新闻推荐系统的设计与实现

欢迎大家点赞、收藏、关注、评论啦，由于篇幅有限，只展示了部分核心代码。文章目录前言一、项目介绍二、开发环境三、功能介绍数据库设计概述数据库表的设计四、核心代码五、效果图六、文章目录前言  随着我国媒体和网络技术的快速发展，新闻发布也不断优化我国媒体界，随着个外交商务所占比重越来越大，有助于我国社会经济的可持续性发展，文章主要讲述了新闻行业的发展分析，因为媒体的宣传能够带给我们重要的信息资源，新闻发
QQ1694456187·2023-12-24 17:21

Spark SQL

目录一、SparkSQL简介（一）从Shark说起（二）SparkSQL架构（三）为什么推出SparkSQL二、DataFrame概述三、DataFrame的创建四、DataFrame的保存五、DataFrame
Francek Chen·2023-12-24 16:03

Spark编程实验三：Spark SQL编程

目录一、目的与要求二、实验内容三、实验步骤1、SparkSQL基本操作2、编程实现将RDD转换为DataFrame3、编程实现利用DataFrame读写MySQL的数据四、结果分析与实验体会一、目的与要求
Francek Chen·2023-12-24 16:02

大数据开发都要学习什么？什么是大数据平台？

大数据平台知识：是大数据开发的基础，在学习期间，往往以搭建Hadoop、Spark平台为主，一方面Hadoop对机器的硬件要求不高，另一方面Hadoo
金光闪闪耶·2023-12-24 14:49

这是测试的

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-24 13:56

mac系统spark环境搭建

所需工具1.jdk2.scala下载地址：scala官网下载scala版本下载需注意，后期idea编译可能导致报错，scala版本和spark版本存在一些兼容性问题spark开发语言支持scala、java
Maximilian_M·2023-12-24 13:19

Dfinity的潜在价值—替代AWS Web2.0堆栈

Polychain、capital、AndreessenHorowit、CoinFund、MulticoinCapital、SVAngel、AspectVentures、ElectricAapital、ZeroEX、ScalarCapital
D Plus·2023-12-24 13:39

基于SpringBoot和spark的共享单车存储管理系统

文章目录项目介绍主要功能截图：部分代码展示设计总结项目获取方式作者主页：超级无敌暴龙战士塔塔开简介：Java领域优质创作者、简历模板、学习资料、面试题库【关注我，都给你】文末获取源码联系项目介绍基于SpringBoot和spark
超级无敌暴龙战士塔塔开·2023-12-24 10:33

《PySpark大数据分析实战》-04.了解Spark

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-06.安装环境准备

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-02.了解Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:02

《PySpark大数据分析实战》-01.关于数据

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

《PySpark大数据分析实战》-18.什么是数据分析

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01
上一页 63 64 65 66 67 68 69 70 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他