spark（scala）

【Spark】 Spark作业执行原理--获取执行结果

一、执行结果并序列化任务执行完成后，是在TaskRunner的run方法的后半部分返回结果给Driver的：overridedefrun():Unit={...//执行任务valvalue=try{valres=task.run(taskAttemptId=taskId,attemptNumber=attemptNumber,metricsSystem=env.metricsSystem)thre
w1992wishes·2024-01-09 00:59

idea创建scala项目

1、Idea创建scala项目安装idea添加scala插件配置scala创建项目运行程序1、安装idea（官网下载：https://www.jetbrains.com/idea/）2、添加插件重启idea
过来我的小熊·2024-01-08 21:40

Scala 使用IDEA创建项目

首先保证idea中已经下载了Scala建立maven项目引入scala框架.创建项目的源文件目录右键main目录->创建一个diretory->写名字（scala）->右键scala目录
专业学习中·2024-01-08 21:10

Scala下载及安装（Windows）以及Idea中Scala项目的创建

目录引言一、安装准备二、Scala的安装三、Idea创建Scala项目结语引言前两天面上了一家公司，HR跟我说现在公司里的新项目都是用Scala进行开发的，问我学过Scala吗？我：。。。
安達としまむら·2024-01-08 21:10

简化基于Maven的Scala项目创建详解

使用Maven来构建Scala项目方便虽然方便，但依赖于每一个开发人员都去配置一遍项目的必要依赖，包括Scala插件的编译配置以及Scala的依赖类库，让每个人通过拷贝（Copy）之前的项目配置当然可以
智慧浩海·2024-01-08 21:08

Intellij IDEA创建Scala项目

一、下载IntellijIDEA插件Scala二、安装ScalaSDKhttps://www.scala-lang.org/download/建议下载*.zip文件，免安装，然后把scala目录下的bin
zhangz1z·2024-01-08 21:08

Scala安装、配置、新建工程

Scala下载地址:TheScalaProgrammingLanguage(scala-lang.org)选择自己需要用的版本这里使用的是按照安装提示一步步安装：下载安装后，进行环境配置1、新建Scala_HOME
NeilVicia·2024-01-08 21:07

idea中创建scala项目

idea中创建scala项目有三种方式，1.通过maven；2.通过idea；3.通过sbt的方式；1.Scala插件安装我们需要在idea中安装Scala的相关插件。
蓝色格子·2024-01-08 21:36

IDEA 创建Maven Scala项目

1、开发环境IDEA版本：Scala版本：2.13.3操作系统为：Windows102、IDEA安装Scala插件3、创建Mavenscala类型项目FileàNewàProject...选择Maven
五哥·2024-01-08 21:05

Scala安装配置

文章目录Scala安装配置一、Scala简介1.概述1.1为什么要使用scala?
W_chuanqi·2024-01-08 21:05

安装部署Scala及IDEA创建Scala项目

目录一、简介二、安装2.1下载压缩包2.2配置环境变量三、使用IDEA创建Scala项目3.1下载Scala插件3.2创建项目一、简介学习大数据知识，scala语言是一定要了解的，本文介绍Scala语言的安装过程和使用
Liu_Shihao·2024-01-08 21:35

scala 安装和创建项目

Scala，一种可随您扩展的编程语言：从小型脚本到大型多平台应用程序。Scala不是Java的扩展，但它完全可以与Java互操作。
悟世君子·2024-01-08 21:04

R语言-数据类型及查看方式

R语言支持的数据类型数值型（numeric）复数型（complex）逻辑型（logical）字符型（character）R语言的数据对象类型包括：标量（Scalar）向量（Vector）：一个向量只能有一种数据类型因子
ad12c86b9c4f·2024-01-08 20:30

大学生如何当一个程序员——第三篇：热门专业学习之路4

第三篇：热门专业学习之路41.机器学习2.深度学习3.Python数据分析模块4.SparkMLlib机器学习库5.做一个人工智能项目6.数学各位小伙伴想要博客相关资料的话关注公众号：chuanyeTry
笛秋白·2024-01-08 20:29

pandas应用和学习

Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python的一个第三方包,也是商业和工程领域最流行的结构化数据工具集,用于数据清洗,处理以及分析.②Pandas和Spark
MSJ3917·2024-01-08 16:33

Saprk SQL基础知识

一.SparkSQL基本介绍1.什么是SparkSQLSparkSQL是Spark多种组件中其中一个,主要是用于处理大规模的[结构化数据]SparkSQL的特点:1).融合性:既可以使用SQL语句,也可以编写代码
MSJ3917·2024-01-08 16:32

Spark基础原理

SparkOnYarnSparkOnYarn的本质Spark专注于分布式计算,Yarn专注于资源管理,Spark将资源管理的工作交给了Yarn来负责SparkOnYarn两种部署方式Spark中有两种部署方式
小希 fighting·2024-01-08 13:09

游戏开发中，你的游戏图片压缩格式使用ASTC了吗

文章目录ASTC原理：使用要求ASTC（AdaptiveScalableTextureCompression，自适应可伸缩纹理压缩）是一种高级的纹理压缩技术，由ARM公司开发并推广。
极致人生-010·2024-01-08 13:51

Scala的自定义类型标记

Scala的自定义类型标记Scala中有很多千奇百怪的符号标记，看起来是那么的独特，就像是一杯drymartini...好像黑夜中的萤火虫,那么耀眼,那么出众。
flydean程序那些事·2024-01-08 10:36

ai人工智能的本质和未来_人工智能如何塑造音乐产业的未来

ai人工智能的本质和未来ArtificialIntelligenceisasubjectthatsparkstheimagination—andsplitsopinion.Proponentspointtotheproblem-solvingpotentialofmachinelearning
weixin_26632369·2024-01-08 09:04

Word2Vec

word2Vecspark描述:Word2Vec是一个Estimator(评估器),它采用表示文档的单词序列,并训练一个Word2VecModel,该模型将每个单词映射到一个唯一的固定大小向量.Word2VecModel
鬼古神月·2024-01-08 09:27

olap/spark-tungsten：codegen

因为clickhouse没有codegen，这节课就拿我比较熟悉的spark的tungsten来当例子，tungsten会g
SakamataZ·2024-01-08 07:28

2024 .1.7 Day05_Spark_HomeWork； Spark_SQL

目录1.简述SparkSQL与HIVE的对比2.SparkSQL是什么?3.代码题需求1直接基于DataFrame来处理，完成SparkSQL版的WordCount词频统计。
白白的wj·2024-01-08 07:24

Spark基础二

一.Spark入门案例总结1.读取文件:textFile(path):读取外部数据源,支持本地文件系统和hdfs文件系统.2.将结果数据输出文件上:saveAsTextFile(path):将数据输出到外部存储系统
MSJ3917·2024-01-08 07:52

Spark Core基础知识

一.RDD的基本介绍1.什么是RDDRDD:英文全称ResilientDistributedDataset,叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变,可分区,里面的元素可并行计算的集合
MSJ3917·2024-01-08 07:52

Spark Core进阶知识

小知识:大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!!结果数据的核对方式:1-在离线文件中直接ctrl+F搜索关键内容核对(不常用)2-一般原始数据会存放在MySQL/Hive中一份,可以编写和代码逻辑完全一样的SQL来进行核对,可以通过如下方式来提高核对效率(常用):2.1-如果是分区表,挑选几个分区进行核对即可2.2-可以在SQL的where语句中,添加数据过滤条件,例如:
MSJ3917·2024-01-08 07:52

Spark基础知识

一.SPark基本介绍1.Spark是什么?
MSJ3917·2024-01-08 07:21

2024.1.7 Spark SQL , DataFrame

目录一.SparkSQL简介二.SparkSQL与HIVE的异同三.DataFrame1.创建DataFrame2.RDD转换DataFrame四.操作DataFrameSQL方式:DSL方式:一.SparkSQL
白白的wj·2024-01-08 07:17

最新最全ChatGPT角色Prompt预设词教程

使用指南1、可直复制使用2、可以前往已经添加好Prompt预设的AI系统测试使用（可自定义添加使用）https://ai.sparkaigf.com雅思写作考官我希望你假定自己是雅思写作考官，根据雅思评判标准
白云如幻·2024-01-08 03:26

最新ChatGPT网站系统源码+详细搭建部署教程+Midjourney绘画AI绘画

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-08 03:51

Spark_算子调优

算子调优一：mapPartitions普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partition有1万条数据，那么map算子中的function要执行1万次，也就是对每个元素进行操作。图2-3map算子image.png图2-4mapPartitions算子image.png比如，当要把RDD中的
bigdata张凯翔·2024-01-08 02:23

Spark基础内容

Spark基本介绍Spark是什么定义ApacheSpark是用于大规模数据(large-scaladata)处理的统一(unified)分析引擎.Spark与MapReduce对比mapreduce架构图如下
小希 fighting·2024-01-08 02:39

Java知识点概要

Java知识点一、java和Scala1、scala中声明变量的方式有几种？
TUJC·2024-01-08 01:11

PolarDB Serverless能力测评：秒级弹升、无感伸缩与强一致性，助您实现高效云数据库管理！

由于快速膨胀和变化的业务场景，对**可扩展性（Scalability）以及可靠性（Reliability）**更
周周的奇妙编程·2024-01-08 00:43

25、Spark核心编程之RDD持久化详解

不使用RDD持久化的问题首先看一段代码JavaRDDlinesRDD=javaSparkContext.textFile("hdfs://hadoop-100:9000/testdate/1.txt")
ZFH__ZJ·2024-01-07 23:21

深入了解 RDD

生成一个只有IP的数据集简单清洗统计IP出现的次数排序，按照IP出现的次数编写代码拷贝数据集创建代码文件数据集已上传【access_log_sample.rar】codepackagecn.itcast.spark.rddimportorg.apa
我像影子一样·2024-01-07 23:51

RDD入门——RDD 代码

创建RDD程序入口SparkContextvalconf=newSparkConf().setMaster("local[2]").setAppName(spark_context")valsc:SparkContext
我像影子一样·2024-01-07 23:50

RDD入门——RDD 概念

可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区同时，RDD还提供了一组丰富的操作来操作这些数据.在这些操作中，诸如map,flatMap,filter等转换操作实现了Monad模式，很好地契合了Scala
我像影子一样·2024-01-07 23:20

2024 计划

工作争取有所突破学习brpc源码netty源码ace源码《Javascript高级程序设计》《Full-stackwebdevelopmentwithVue.jsandNodebuildscalableandpowerfulwebappswithmodernwebstack
kgduu·2024-01-07 23:50

Hive元数据迁移及升级方案

之上的数仓，便于用户可以基于SQL（HiveQL）进行数据分析，其架构图如下:从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射，以及把SQL语句转换为MapReduce（tez或spark
云原生大数据·2024-01-07 22:49

理解机器学习中的术语

文章目录标量向量矩阵张量求导，梯度代码实现pytorch实现标量向量矩阵张量标量(scalar)，也可以叫做常量，例如x=5向量(vector),它是一个一维数组，例如x=[1,3,4]矩阵(matrix
少年的小俊·2024-01-07 22:13

开源SparkShop小程序商城系统源码 /支持多端+分销功能 /可商用/小程序系统源码

源码介绍：SparkShop（星火商城）是一个基于ThinkPHP6+ElementUI的开源免费高性能商城系统，可用于商业用途。
sqll567·2024-01-07 19:00

网络安全笔记

网络安全学习笔记（杂记）基础知识点url大小写判断windows（不敏感）和linux（敏感）服务器bugscanner.com、云悉等cms识别awvs,nessus,appscan,netsparker
夜雨清城丶·2024-01-07 19:09

java8--函数式编程

其实在java8就已经有java的函数式编程写法，只是难度较大，大家都习惯了对象式用法，但在其它语言中都有函数式的用法，如js,scala，函数式其实是抽象到极致的思想。
老鼠AI大米_Java全栈·2024-01-07 17:17

惊心动魄的Hadoop-6小时350T数据恢复

上周五在调试Spark数据的时候发现了一个问题，就是一直显示Nolease的问题，我们的实时处理程序升级之后，处理的数据量在一个小时内暴增1T。
胖琪的升级之路·2024-01-07 17:17

关于HTML(十三)---------meta viewport原理

当然maximum-scale=1.0,user-scalable=0不是必需的，是否允许用户手动播放根据网站的需求来定，但把width设为width-device基本是必须的，这样能保证不会出现横向滚动条
黄小二哥·2024-01-07 16:41

Spark Web UI详解

sparkWebUI的各tab页分别进行介绍：Jobs在提交spark任务运行后，日志中会输出trackingURL即任务的日志链接。在浏览器中打开trackingURL后，默认进入Jobs页。
达微·2024-01-07 14:18

学习笔记-日志采集和实时分析简单实例

一个出口直接写到ElasticSearch，提供Kibana进行日志分析可视化处理；一个出口直接写到HDFS,提供后期离线统计分析处理；一个出口写入Kafka中，提供SparkStreaming进行近实时日志统计分析处理
人生偌只如初见·2024-01-07 13:27

linux下spark的python编辑_如何在Linux下构建Spark Python编程环境

火花编程环境Spark可以独立安装或与Hadoop一起使用.在安装Spark之前linux的python编程环境，首先请确保您的计算机上已安装Java8或更高版本.火花安装访问Spark下载页面，然后选择最新版本的
weixin_39543478·2024-01-07 13:10

linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法

Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。
weixin_39752800·2024-01-07 13:10
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他