spark（scala）第90页

大连理工大学存储技术复习总结

RAIDArray->SAN/NAS->IPSAN(可远程访问)数据中心：应用、主机、网络、DBMS、存储管理七要素：DataIntegrity,availability,security,performance,scalability

可可烫烫烫·2023-11-21 07:43

Spark版wordCount

importorg.apache.spark.{SparkContext,SparkConf}/***CreatedbyAdministratoron2016/7/240024.

夜空最亮的9星·2023-11-21 07:13

map(func)

作用：返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成//需求：创建一个1-10数组的RDD，将所有元素*2形成新的RDDvalconf:SparkConf=newSparkConf

比格肖·2023-11-21 07:26

【论文阅读】SPARK：针对视觉跟踪的空间感知在线增量攻击

SPARK:Spatial-AwareOnlineIncrementalAttackAgainstVisualTrackingintroduction在本文中，我们确定了视觉跟踪对抗性攻击的一个新任务：

prinTao·2023-11-21 07:40

spark执行过程

启动SparkSubmit（driver）（通过一个脚本启动：bini\spark-submit--master--executor--memory2g--exector-cores10------>指定启动需要每台

茶还是咖啡·2023-11-21 05:57

前端处理大文件/视频分片上传，断点续传

1、html部分，项目使用的是ant-design-vue组件库；spark-md5进行加密上传image2、使用变量：（通过上传成功的分片数与总分片数对比判断上传是否完成）image3、主要方法：1、

ikerboy·2023-11-21 05:32

Spark 从零到开发（六）HiveContext

SparkSQL执行引擎的一个实例，它与存储在Hive中的数据集成在一起。从类路径上的hive-site.xml读取Hive的配置。

FantJ·2023-11-21 03:06

可视化之用matplotlib.pyplot画图

,[fmt],*,data=None,**kwargs)plt.plot([x],y,[fmt],[x2],y2,[fmt2],...,**kwargs)1.1参数解释x,y:array-likeorscalar

米法··2023-11-21 02:14

Scala学习笔记

大数据开发中常用Scala进行功能开发，而且大数据处理和计算框架Flink和Spark都是基于Scala开发的，学习Scala不仅是进行业务开发的前提，而且是深入研究大数据前言技术的基础。

火影启源·2023-11-21 02:02

使用scala做二元分类模型的评价

fitvaltvsFitted=tvs.fit(trainData)2、模型训练结束后，使用summary来获取评价指标//bestmodelsummary获取训练时最优模型的评价指标importorg.apache.spark.ml.PipelineModel

Just Jump·2023-11-21 00:58

Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？

最着名的例子是ApacheHadoop，还有较新的框架，如ApacheSpark、ApacheDrill、ApacheFlink。

zhisheng_blog·2023-11-20 23:03

Flink源码分析（一）RPC通信和JobManager启动

写在前面1.FlinkRPC详解Flink使用Akka+Netty框架实现RPC通信，之前在spark框架源码剖析过程中已经对Akka实现RPC通信过程有所介绍，这里不做过多描述。

星星点灯1996·2023-11-20 23:03

IDEA连接HIVE，踩坑日志-Failed initialising database.

今天使用idea本地连接Linux的hive数据库遇到了问题，代码如下：defmain(args:Array[String]):Unit={valsparkConf=newSparkConf().setAppName

辅猪之王·2023-11-20 23:49

linux离线安装jemalloc,jemalloc在linux上从安装到使用

我们看看作者自己的介绍：jemallocisageneralpurposemalloc(3)implementationthatemphasizesfragmentationavoidanceandscalableconcurrencys

仙夜子·2023-11-20 23:12

azkaban二次开发

springboot封装azkaban的api，提供可调用azkaban任务流的接口流程如下：springboot接口->azkabanapi->azkabanproject(flowtasks)->shell脚本->sparktasksApi

都教授2000·2023-11-20 23:03

kafka_consumer不消费数据的问题排查

背景：初始的时候，在cdh中部署了kafka集群后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看

都教授2000·2023-11-20 23:32

拉链表-spark版本

采用spark实现的拉链表拉链表初始化importorg.apache.spark.sql.SparkSessionimportorg.apache.spark.sql.functions.lit/**

都教授2000·2023-11-20 22:22

Spark 之 format

sparksql默认写的文件格式如果是hive表，走的是这里'defgetDefaultStorage(conf:SQLConf):CatalogStorageFormat={//Torespecthive-site.xml

zhixingheyi_tian·2023-11-20 21:08

Spark 平障录

利用好sparkUI和yarncontainerlog分析业务代码，对其计算代价进行预判建设基准，进行对比，比如applicationid进行对比，精确到jobDAG环节充分利用UIStage页面页头summary

zhixingheyi_tian·2023-11-20 20:32

Flink1.17 Scala/Java MySQL CDC案例

文章目录@[toc]数据表及依赖准备创建MySQL测试数据表开启binlog数据库测试语句导入CDCmaven依赖数据变更标识Java版CDCDataStreamAPI测试TableAPI的CDC代码测试Scala

小霖大爆屎·2023-11-20 20:27

CENTOS上的网络安全工具（二十六）SPARK+NetSA Security Tools容器化部署(2)

〇、抓包与批量转换cap文件1.NetworkMonitor抓包我们在CENTOOS上的网络安全工具（十七）搭建Cascade的Docker开发环境中捎带脚介绍了以下windows下的抓包软件。大意就是微软又一款不错的抓包分析软件，名曰nmcap，可在DownloadMicrosoftNetworkMonitor3.4(archive)fromOfficialMicrosoftDownloadCe

lhyzws·2023-11-20 20:21

你在使用大数据技术的时候，你知道大数据语言的工具与框架吗？

Python，Spark，Kafka随着大数据和对人工智能AL/机器学习ML的推动，Scala和Python语言以及ApacheSpark中越来越受欢迎。对OLAP数据仓库的迁移，如果用Python

yoku酱·2023-11-20 19:25

如何应对大数据分析工程师面试Spark考察，看这一篇就够了

作者丨斌迪、HappyMint来源丨大数据与人工智能（ID:ai-big-data）【导读】本篇文章为大家带来spark面试指南，文内会有两种题型，问答题和代码题，题目大部分来自于网络上，有小部分是来自于工作中的总结

AI科技大本营·2023-11-20 18:22

2019-09-06bigo面试

小小肖肖冲鸭·2023-11-20 17:06

OpenCv(C++)学习笔记三——图像属性与基本图像绘制

图像属性与基本图像绘制图像属性与基本图像绘制图像属性1、画点cv::point()2、定义颜色cv::Scalar()3、设置尺寸cv::Size()基本图形绘制绘制直线cv::line()绘制矩形绘制圆形图像属性与基本图像绘制图像属性

一枕春风不思君·2023-11-20 16:30

一文学会Scala

整体介绍Scala是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。

weixin_30546189·2023-11-20 13:18

一文学会使用Scala

IntroduceScala上一门纯面向对象的函数式编程语言，其主要贡献以及备受欢迎大概是因为其是Spark的开发语言（个人观点）。

算法小白_gyl·2023-11-20 13:47

【Scala】一小时学会基础语法

改编自https://learnxinyminutes.com/docs/zh-cn/scala-cn/Scala可以进行面向对象的声明式编程，也可以进行函数式编程；可以进行业务代码的编制，也可以进行元程序的编制

pierre94·2023-11-20 13:47

大数据教程，Scala学习教程，教你轻松学会scala

大数据属于多语言开发应用，其中就包含Scala，想学习大家，Scala学习是必不可少的，那么如何学习Scala呢？今天就为大家推荐一套免费的Scala学习教程！

qq_1456507655·2023-11-20 13:45

Scala编程实战 —— 一文学会编码大数据基础案例wordcount

SSM专栏（更新中…）本期文章：Scala编程实战——一文学会编码大数据基础案例wordcount如果对您有帮助还请三连支持，定会一一回访！‍

it春和·2023-11-20 13:43

Scala的一等公民和至简原则

1.Scala中，函数是一等公民具体体现在哪里Scala混合了面向对象特性和函数式的特性函数可以作为值传递：函数可以作为参数传递给其他函数，也可以作为返回值返回给其他函数函数可以赋值给变量：和其他数据类型

地球魔·2023-11-20 12:11

十二步学会Scala-2

在上一篇《十二步学会Scala-1》介绍了Scala的变量定义和方法定义，这一篇将介绍循环和数组第五步：运行脚本Scala是一个动态性很强的语言，所以它也像Ruby那样，能够写脚本运行。

benewu·2023-11-20 12:40

Scala阶乘计算

大数据怎么能不会Scala呢，一些简单的练习，代码给大家奉上。ps：小白一个，轻点喷，欢迎指正。

小皮白·2023-11-20 12:07

三十分钟学会SCALA

SCALAScala是一种运行在JVM上的函数式的面向对象语言。

地球魔·2023-11-20 12:04

AIGC创作系统ChatGPT源码，支持最新GPT-4-Turbo模型，支持DALL-E3文生图

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-11-20 12:37

07-Hive优化---高级部分3

一、Hive优化大数据的学习：1、学习工具及其原理（50%~70%）2、学习重要的（java、scala、python、sql[mysql\hivesql\sparksql\flinksql]）(30%

YuPangZa·2023-11-20 12:24

大数据流处理框架：Spark Streaming与Storm

Hadoop之后，Spark和Storm在流处理上成为对手。今天的大数据入门分享，我们就主要来讲讲，流处理框架SparkStreaming与Storm。

成都加米谷大数据·2023-11-20 12:20

LLM模型-讯飞星火与百度文心api调用

spark-wenxin1-讯飞星火1_1-SparkApi.py1_2-Chat_spark.py1_3-调用api2-百度文心2_1.code3-两者之间比较与openai1-讯飞星火进入讯飞官网进行创建应用

Elvis_hui·2023-11-20 10:39

关于linux安装mpich/openmpi+lapack+scalapack实现并行计算安装过程以及遇到的一些坑

最近需要用到scalapack库做并行计算，要安装mpi和lapack，遇到一些问题，弄明白了分享一下给后来人避坑我是用fortran编程计算的，这里主要涉及fortran编译器的一些问题一.安装mpich

呆小黑·2023-11-20 09:12

怎么理解函数式编程思维？

函数式编程聚焦于简洁的高阶函数，高阶函数注重封装底层运作原理来解决复杂的业务场景，比如Scala、Groovy、Clojure语言：静态类型必须先指定变量和函数的类型，而动态类型则允许推迟指定类型。

bboyzqh·2023-11-20 08:50

函数式编程框架 functionaljava 简介

所以函数式编程语言（Scala、Groovy、Clojure、Haskell等）中引入了一些数学上抽象的知识，需要借助于相关

bboyzqh·2023-11-20 07:09

机器学习模型开发必读：开源数据库最全盘点

类似于TensorFlow、Torch和Spark这样的开源工具，在AI开发者群体中已是无处不在。

isuccess88·2023-11-20 07:57

大数据学习（22）-spark

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Spark是一个基于内存计算的大数据并行计算框架，具有快速、易用

viperrrrrrr·2023-11-20 07:23

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark

kikiki2·2023-11-20 06:12

Spark系列之SparkSubmit提交任务到YARN

title:Spark系列第十三章SparkSubmit提交任务到YARN13.1SparkSubmit提交的一些参数解释local本地单线程local[K]本地多线程（指定K个内核）local[*]本地多线程

落叶飘雪2014·2023-11-20 04:28

Scala中如何自定义命令行参数

在实际的大数据项目中，有很多应用场景是运行某些jar包需要外部传参的，今天就学习一下如何在Scala代码中实现命令行传参的功能。

臭臭粑粑·2023-11-20 04:25

scala解析args参数

2021年第一次发表文章,总结下过去一年中的自己。2020年,是以后史书中色彩低沉的一年,想必是以黑白和鲜衣怒马组成的画面,这一年,抗疫从未停止,和新冠有直接联系的哭泣过,无助过,绝望过,携手共同度疫情的人也哭泣过,恐惧过,同情过。萧瑟的街道,身披战甲的医护人员,视频中不断播放的各种信息,火神山,雷神山的建立,救护车不断闪烁的身影,冬天的风低声呜咽着，各界人士捐献各种物资,各种鼓励的画面无不催人泪

向往太空的鱼·2023-11-20 04:25

scala 命令行参数解析

scala命令行参数解析https://www.baeldung.com/scala/read-command-line-arguments

迷途无归·2023-11-20 04:24

实验七状态机及键盘输入 chisel

chiselmain.scalaimportchisel3._importchisel3.util._classFSMextendsModule{valio=IO(newBu

计科小学生233·2023-11-20 04:53

Scala_scopt 解析命令行参数

一、说明1、在做spark项目时，在命令行提交任务时，可以利用--参数名：参数进行动态传参；2、操作步骤(1)首先写个表示配置的caseclass类，里面为每一个参数指定默认值；(2)Config配置对象作为参数传递给

郝少·2023-11-20 04:53

推荐频道

spark（scala）