spark（scala）

【SpinalHDL】1. Getting Started

开发环境的搭建开发环境的搭建参考SpinalHDL开发环境搭建一步到位（图文版）-极术社区-连接开发者与智能计算生态就可以了，sodetail.重点在于sbt切换为国内源，可以参考如下链接Windows上安装java8、scala2.11.12
sinply6·2024-02-07 10:36

RDD任务切分之Stage任务划分(图解和源码)

RDD任务切分中间分为：Application、Job、Stage和Task（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action
大数据左右手·2024-02-07 09:34

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

Hive Sql优化记录

日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveonspark要快70%，与正常的认知正好相反，所以对该sql进行了详细分析。
风筝flying·2024-02-07 07:40

SparkJDBC读写数据库实战

默认的操作代码valdf=spark.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers·2024-02-07 07:41

scala 继承java_Scala学习(八)---Scala继承

Scala继承摘要:在本篇中，你将了解到Scala的继承与Java和C++最显著的不同。
吴人奔越·2024-02-07 06:12

IDEA 本地运行Spark

IDEA本地运行Spark1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读Spark源码，
fir_dameng·2024-02-07 06:41

scala语言的底层是java实现的_一文看懂scala和java的区别

Scala简介Scala是一种有趣的语言。
weixin_39542608·2024-02-07 06:41

java 与 scala_Scala 相比于 Java 的优势在哪里？

个人觉得比较运行速度其实没啥意义,因为两种语言都是生成JVM的字节码,依赖JVM这个虚拟平台来跑代码.除非Scalac(scala的编译器)有重大bug,生成的字节码执行让人无法接受,否则基本上不会相差太多
weixin_39802814·2024-02-07 06:41

scala和java的区别

Scala简介Scala是一种有趣的语言。
世之巅の幸福·2024-02-07 06:11

Spark Scala大数据编程实例

一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。
一直de不完的bug·2024-02-07 06:38

Java和Scala的动态绑定机制

本文用java来概述动态绑定机制,Scala与java的动态绑定机制是相同的.先看下面的小例子:packagezhang.shao;publicclassDemo1{publicstaticvoidmain
你携秋水揽星河·2024-02-07 06:37

Scala 继承和特质

一、继承1.1Scala中的继承结构Scala中继承关系如下图：Any是整个继承关系的根节点；AnyRef包含ScalaClasses和JavaClasses，等价于Java中的java.lang.Object
Cynicism_Kevin·2024-02-07 06:37

Scala——（继承，特质，模式匹配和样例类）

文章目录继承的概念特质模式匹配和样例类继承的概念Scala中继承类的方式和Java一样，也是使用extends关键字，和Java一样，可在定义中给出子类需要而父类没有的字段和方法，或者重写父类的方法。
想做CTO的任同学...·2024-02-07 06:37

Java和Scala的区别

1、什么是ScalaScala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。
moose_killer·2024-02-07 06:36

win10 spark scala 本地运行wordcount

hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin，特别注意，hadoopcommon的版本要和spark
疯琴·2024-02-07 06:06

java和scala的区别和联系

scala语言来源于java,scala以java的虚拟机（JVM）为运行环境，scala源码(.scala)会编译成.class文件。
catydidd·2024-02-07 06:36

Scala与java

目录Scala简介Scala和java的区别Spark选择Scala的原因Scala：Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob·2024-02-07 06:05

scala继承、单例对象与特质

继承Scala中属性和方法都是动态绑定，而Java中只有方法为动态绑定。重写非抽象方法需要用override修饰，重写抽象方法则可以不用加override。
cluse_ld·2024-02-07 06:35

Scala 和 Java在继承机制方面的区别

Scala和Java都是面向对象编程语言，都支持类的继承机制。然而，尽管两者在基础概念上有很多相似之处，但在具体的实现和语法上，Scala的继承机制有其独特之处。
大数据ＳＱＬｂｏｙ·2024-02-07 06:04

Spark scala如何本地运行

Sparkscala如何本地运行Spark任务调试太费时间啦SparkScala本地运行Spark任务调试太费时间啦ApacheSpark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算
HanhahnaH·2024-02-07 06:03

Kafka下载（kafka和jdk、zookeeper、SpringBoot的版本对应关系）

二、下载一、准备工作1、必须环境kafka本身的开发语言是Scala，而Scala是基于jdk开发的，所以要先安装jdkkafka版本jdk版本kafka使用jdk版本官网说明1.0建议使用1.8https
kimi-001·2024-02-07 06:46

Zeppelin结合Flink查询hudi数据

关于ZeppelinZeppelin是基于Web的notebook，是支持使用SQL、Scala、Python、R等进行数据驱动的交互式数据分析和协作的Notebook。
BigDataToAI·2024-02-07 05:38

Apache Zeppelin 整合 Spark 和 Hudi

一环境信息1.1组件版本组件版本Spark3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合Spark参考：ApacheZeppelin一文打尽
大数据AI·2024-02-07 05:03

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

成功解决ValueError: only one element tensors can be converted to Python scalars

成功解决ValueError:onlyoneelementtensorscanbeconvertedtoPythonscalars文章目录引言问题初探：为什么会出现这个错误？
高斯小哥·2024-02-07 05:49

Kuberntes DNS

kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319dsparkthrift-headless172.17.0.12
zhixingheyi_tian·2024-02-07 03:02

Spark RDD的学习(JAVA)

注：本文是跟着《Spark快速大数据分析》一书学习的笔记式总结，不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是Spark对数据的核心抽象。
啊其11·2024-02-07 02:47

scala 系列之 19scala 的 actor 并发编程

我们现在学的ScalaActor是Scala2.10.x版本及以前版本的Actor；Scala在2.11.x版本中将Akka加入其中，作为默认的Actor，老版本的Actor已经废弃；我们学习Actor
海牛大数据_青牛老师·2024-02-07 01:05

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪，后来者居上
想你依然心痛·2024-02-07 01:53

StarRocks入门

目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.Sparkload2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼·2024-02-06 22:42

java-java8新特性

很多JVM平台上的语言（Groovy、Scala等）从诞生之日就支持Lambda表达式，但是J
一个喜欢烧砖的人·2024-02-06 18:14

spark的数据倾斜和解决方案

#数据倾斜##4.1.什么是数据倾斜，现象是什么？所谓数据倾斜(dataskew)，其实说白了，由于数据分布不均匀造成计算时间差异很大，产生了一些列异常现象。常见的现象有两种：1.个别task作业运行缓慢大多数的task运行都很快速，但是极个别的task运行非常缓慢，甚至是正常task运行时间好多倍。莫名其妙的OOM异常这是一种相对比较少见的现象，正常运行的task作业，突发发生了一个OOM异常。
XLMN·2024-02-06 18:32

Spark简介

Spark作为第二代大数据处理工具，跟hadoop对比，它是基于内存的，所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99·2024-02-06 18:07

Opencv之点线面（c++版）

;usingnamespacestd;intmain(){//圆心Pointcenter=Point(255,255);//半径intr=100;Matpicture(500,500,CV_8UC3,Scalar
Axia_zy·2024-02-06 17:45

五.cala语言的高级特性

在Scala中，使用方括号来定义类型参数/***需求：定义一个类，来操作整数*/classGenericClassInt{privatevarcontent:Int=10defset(value:Int
临时_01e2·2024-02-06 17:06

Spark编程实现简例

对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。
哲子带你学编程·2024-02-06 16:34

集成开发环境 IntelliJ IDEA的基本使用

集成开发环境IntelliJIDEA是由JetBrains开发的一个强大的JavaIDE，它也被广泛用于其他编程语言的开发，如Kotlin、Scala和Groovy等。
人生万事须自为，跬步江山即寥廓。·2024-02-06 13:19

13.scala高阶函数定义及使用

目录概述实践mapflattenreducefoldzipgroupBymapValues排序单词统计结束概述高阶算子实践mapobjectHigherFunctionDemo{defmain(args:Array[String]):Unit={testMap}privatedeftestMap={vallist=List(1,2,3,4,5,6)list.map(_*2).foreach(pri
流月up·2024-02-06 13:48

14.scala隐式转换

目录概述实践代码执行结果结束概述隐式转换：偷偷的(隐式)对现有功能进行增强(转换)实践代码packagecom.fun.scalaimportjava.io.Fileimportscala.io.SourceobjectImplicitApp
流月up·2024-02-06 13:47

【kafka】使用kafka client连接 kerberos认证的 kafka，scala版

注意keytab路径中不要使用\\，都使用/作为分隔符使用kerberos需要配置jaas如下日志打印，两个配置至少设置一个：[DEBUG]org.apache.kafka.common.security.JaasContext:106---Systemproperty'java.security.auth.login.config'andKafkaSASLproperty'sasl.jaas.c
lisacumt·2024-02-06 12:11

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）...

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
weixin_30273931·2024-02-06 09:08

Spark视频第5期：Spark SQL架构和案例深入实战

SparkSQL架构和案例深入实战视频下载：http://pan.baidu.com/share/link?
Rocky_wangjialin·2024-02-06 09:35

RDD 依赖关系

packagecom.atguigu.bigdata.spark.core.rdd.depimportorg.apache.spark.
zmx_messi·2024-02-06 09:08

转换算子小案例

2)需求描述统计出每一个省份每个广告被点击数量排行的Top33)需求分析4)功能实现整体思路代码实现packagecom.atguigu.bigdata.spark.core.rdd.operator.transformimportorg.apache.spark
zmx_messi·2024-02-06 09:37

Spark SQL调优实战

1、新添参数说明//Driver和Executor内存和CPU资源相关配置--是否开启executor动态分配，开启时spark.executor.instances不生效spark.dynamicAllocation.enabled
sighting_info·2024-02-06 09:06

Python学习路线 - Python高阶技巧 - PySpark案例实战

Python学习路线-Python高阶技巧-PySpark案例实战前言介绍Spark是什么PythonOnSparkPySparkWhyPySpark基础准备PySpark库的安装构建PySpark执行环境入口对象
mry6·2024-02-06 09:34

FlinkCDC-Hudi:Mysql数据实时入湖全攻略五：FlinkSQL同时输出到kafka与hudi的几种实现

前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案
大数据点灯人·2024-02-06 08:25

【Flink入门修炼】1-1 为什么要学习 Flink？

一、批处理和流处理早些年，大数据处理还主要为批处理，一般按天或小时定时处理数据，代表性的框架为MapReduce、Hive、Spark等。
大数据王小皮·2024-02-06 07:29
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他