java调用spark

Spark on Yarn 安装配置实验（3.1.1）

子任务二：SparkonYarn安装配置本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：1、从宿主机/opt目录下将文件spark-3.1.1-bin-hadoop3.2
芝士小熊饼干·2023-12-15 07:44

【Spark精讲】Spark Shuffle详解

目录Shuffle概述Shuffle执行流程总体流程中间文件ShuffledRDD生成Stage划分Task划分Map端写入(ShuffleWrite)Reduce端读取(ShuffleRead)SparkShuffle
话数Science·2023-12-15 07:14

Spark 单机搭建实战指南

摘要：本文将详细介绍如何在单台机器上搭建Spark分布式计算框架，涵盖环境准备、安装配置、运行测试等多个方面，帮助读者轻松上手Spark开发。
wcuuchina·2023-12-15 07:13

《PySpark大数据分析实战》-03.了解Hive

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 06:42

每日一读 11.27

spark2：SparkSession思考与总结1http:/
Vicor·2023-12-15 06:12

Scala教程

1.1.4Scala语言特点1.2Scala环境搭建1.3IDEA中Scala插件安装1.4HelloWorld案例1.4.1创建IDEA项目工程第一章Scala入门1.1概述1.1.1为什么学习ScalaSpark
Tanzhiyong97·2023-12-15 05:34

Java调用第三方API指南：实现对外部服务的调用

引言：随着互联网的发展，许多应用程序需要与外部服务进行交互，以实现更多的功能和增强用户体验。而Java作为一种广泛应用于企业级应用开发的编程语言，具备强大的能力来调用第三方API。本文将为大家介绍如何使用Java来调用第三方API，以实现对外部服务的调用。一、了解第三方API在开始调用第三方API之前，我们首先需要了解所要调用的API的基本信息。通常，第三方API提供者会提供相应的文档，其中包含了
C红毛丹·2023-12-15 04:13

Hive增强的聚合、多维数据集、分组和汇总

大家注意防寒保暖进入正题，本文主要对照Hive介绍Hive、Spark、Presto查询
对许·2023-12-15 04:17

Spark读写Hive

Spark读写Hive文章目录Spark读写Hive（一）配置本地域名映射（二）创建Hive表（三）IDEA中编写Spark代码读取Hive数据（四）IDEA中编写Spark代码写入数据到Hive（一）
叶子上的考拉·2023-12-15 02:25

spark 内核源码剖析五：Master主备切换机制原理

Spark高可用HA，是可以配置两个Master的，一个AcitveMaster，一个StandByMaster，当ActiveMaster节点挂掉的时候，可以将StandByMaster切换为ActiveMaster
雪飘千里·2023-12-14 23:08

Spark spark-submit提交Job流程 解读

Spark-spark-submit提交Job流程解读spark-submitspark-classload-spark-env.shorg.apache.spark.launcher.MainSparkSubmitCommandBuilderclass
姜上清风·2023-12-14 22:38

Spark config配置项 一览

Sparkconfig配置项一览env配置序列化配置Rpc.Nettyyarnlib中的jar和用户自己的高版本jar处理加载先后顺序（spark程序jar与sparklibjar冲突，加载顺序）广播内存划分
姜上清风·2023-12-14 22:07

Spark-BlockManager、BlockManagerSlaveEndpoint、DiskStore、MemoryStore、BlockInfoManager、BlockInfo 源码解析

Spark-BlockManager、DiskStore、MemoryStore、BlockInfoManager、BlockInfo源码解析classBlockInfo&ObjectBlockInfoclassBlockInfoManagerclassMemoryStore
姜上清风·2023-12-14 22:07

Spark-SparkSession.Builder 源码解析

Spark-SparkSession.Builder源码解析classBuilderSparkSessionExtensionsclassBuilder这个类主要用来builderSparkSession
姜上清风·2023-12-14 22:36

修改jvm对象的属性值(私有)

修改jvm对象的属性值(私有)这个想法的来源一个sparkjob在启动之后，就会确定executor的数量。
姜上清风·2023-12-14 22:59

spark 参数配置及内存模型

1spark提交主要参数1.1num-executors此数量代表spark的executors数量，所有的task在executor中运行。
peidezhi·2023-12-14 20:38

Pyspark中的滞后移位函数

在PySpark中，没有您预期的shift函数，并且您在使用lag时的方向是正确的。但是这里有一个小技巧，当你必须在lag_1的基础上进行lag_2等等。
小赵要加油·2023-12-14 19:24

汽车火花塞行业分析：全球市场需求量约为26.3亿个

火花塞(sparkplug)，俗称火咀，它的作用是把高压导线(火嘴线)送来的脉冲高压电放电，击穿火花塞两电极间空气，产生电火花以此引燃气缸内的混合气体。
QY调研所·2023-12-14 19:20

Spark Structured Streaming使用教程

文章目录1、输入数据源2、输出模式3、sink输出结果4、时间窗口4.1、时间窗口4.2、时间水印（Watermarking）5、使用例子StructuredStreaming是一个基于SparkSQL
penngo·2023-12-14 19:17

Spark SQL（八）：UDF和UDAF

用户自定义函数，其实更多的是针对单行输入，返回一个输出；UDAF：UserDefinedAggregateFunction，用户自定义聚合函数，可以针对多行输入，进行聚合计算，返回一个输出，功能更加强大；是从Spark1.5
雪飘千里·2023-12-14 19:09

Spark环境搭建和使用方法

目录一、安装Spark（一）基础环境（二）安装Python3版本（三）下载安装Spark（四）配置相关文件二、在pyspark中运行代码（一）pyspark命令（二）启动pyspark三、开发Spark
Francek Chen·2023-12-14 19:08

【python】多任务编程

多任务编程有哪些编程提速的方法单线程串行：不加改造的程序多线程并发：利用CPU和IO可以同时执行的原理，让CPU不会干巴巴等待IO完成多CPU并行/多进程：利用多核CPU的能力，真正的并行执行任务多机器并行：hadoop/hive/spark
小赵要加油·2023-12-14 19:33

openEuler JDK21 部署 Zookeeper 集群

zookeeper-jdk21操作系统：openEulerJDK：21主机名IP地址spark01192.168.171.101spark02192.168.171.102spark03192.168.171.103
李昊哲小课·2023-12-14 19:14

【Python百宝箱】数据巨轮启航：Python大数据处理库全攻略，引领数据科学新浪潮

往期相关链接：【Python百宝箱】构建强大分布式系统：探索PythonDask、Ray、Dask-ML、PySpark和
friklogff·2023-12-14 18:22

用fabric-sdk-java调用Fabcar链码

一、启动fabcar1、设置go代理goenv-wGOPROXY=https://goproxy.io,directgoenv-wGO111MODULE=on2、启动fabcar测试网络cdhyperleger/fabric-2.3.0/scripts/fabric-samples/fabcar./startFabric.sh出现如下则成功3、利用SDK与fabric网络交互可以选择javascr
小青蛙呱呱跳·2023-12-14 16:13

AI创作系统ChatGPT网站源码，AI绘画，支持GPT联网提问/即将支持TSS语音对话功能

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-14 15:11

【Spark精讲】Spark内存管理

目录前言Java内存管理Java运行时数据区Java堆垃圾回收机制Executor内存管理内存类型堆内内存堆外内存内存管理模式静态内存管理统一内存管理编辑执行内存管理多任务间内存分配Shuffle的内存占用MemoryOverHead详解任务内存调节错误类型及调整方案1.ExecutorOOM类错误（错误代码137、143等）方式一：增加单个task的内存使用量方式二：降低单个Task的内存消耗量
话数Science·2023-12-14 13:52

Spark读写MySQL数据库

Spark读写MySQL数据库文章目录Spark读写MySQL数据库一、读取数据库（一）通过RDD的方式读取MySQL数据库（二）通过DataFrame的方式读取MySQL数据库二、添加数据到MySQL
叶子上的考拉·2023-12-14 13:45

Spark Dataset的实用操作笔记

最近的项目用spark做离线计算，所以有用到一些操作，简单笔记一下1.Dataset纵向复制数据当一个dataset中数据量太少，不能有效的随机联查别的dataset时，需要将数据纵向复制，把数据量撑起来
容若只如初见·2023-12-14 13:12

spark rdd和dataframe的区别，结合底层逻辑

在ApacheSpark中，RDD（ResilientDistributedDataset）和DataFrame是处理数据的两种不同的抽象。
三水青一人尤·2023-12-14 12:29

理解 Spark 写入 API 的数据处理能力

这张图解释了ApacheSparkDataFrame写入API的流程。它始于对写入数据的API调用，支持的格式包括CSV、JSON或Parquet。
小技术君·2023-12-14 12:23

Spark分布式内存计算框架

目录一、Spark简介（一）定义（二）Spark和MapReduce区别（三）Spark历史（四）Spark特点二、Spark生态系统三、Spark运行架构（一）基本概念（二）架构设计（三）Spark运行基本流程四
Francek Chen·2023-12-14 12:43

sparklyr: R interface for Apache Spark

关于sparklyr的一个简单的教程下载Sparklyrinstall.packages("sparklyr")下载sparklibrary(sparklyr)spark_install(version
Liam_ml·2023-12-06 23:16

SparkSQL运行流程浅析

写了有相当长一段时间的SparkSQL了，所以结合网上其他大神的分析，写一篇文章，谈谈我对SparkSQL整个运行流程的一个简单的理解。哈哈，毕竟程序员要做到知其然，还要知其所以然不是。
淡定一生2333·2023-12-06 21:08

Spark常见算子汇总

创建RDD在Spark中创建RDD的方式分为三种:从外部存储创建RDD从集合中创建RDD从其他RDD创建textfile调用SparkContext.textFile()方法，从外部存储中读取数据来创建
话数Science·2023-12-06 21:05

Spark面试题汇总

问题汇总SparkSQL调优：场景是怎样的？怎么发现的？怎么定位的？怎么解决的？达到了一个怎样的效果？引申下还有哪些更好的优化方案？UDF怎么管理的，如何避免重复的UDF的提交？
话数Science·2023-12-06 21:04

Spark宽依赖窄依赖的区别

定义：一般观点：窄依赖是子RDD的一个分区只依赖于父RDD的一个分区，即每个父RDD的分区最多被子RDD的一个分区使用；宽依赖是子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。而实际上：窄依赖是父RDD的一个或多个分区的数据全部流入到子RDD的一个或多个分区；宽依赖是父RDD的每个分区的不同部分，分别流入到子RDD的不同分区。算子：窄依赖算子：m
话数Science·2023-12-06 21:04

如何设置和读取Spark配置

设置在SaprkConf中设置，如valconf=newSparkConf().setMaster("local").setAppName("Myapplication").set("spark.executor.memory
话数Science·2023-12-06 21:04

Spark自定义分区器

spark目前支持两个分区器,分别是HashPartitioner和RangePartitioner.均继承自Partitioner,有共同方法-defnumPartitions--分区器的分区数量-defgetPartition
鸭梨山大哎·2023-12-06 21:02

快手数仓面试题附答案

2你在工作中都负责哪一部分3spark提交一个程序的整体执行流程4spark常用算子列几个，6到8个吧5transformation跟action算子的区别6map和flatmap算子的区别7自定义udf
话数Science·2023-12-06 21:59

大数据实战项目_电商推荐系统

一、项目介绍Hadoop+Spark+(Python)Scala+SparkSQL+SparkStreaming+MongoDB+Redis+Kafka+Flume+(SpringMVC+vue)1项目介绍
Guff_hys·2023-12-06 20:28

java调用微服务传文件_使用Feign实现微服务间文件传输

在很多时候我们会遇到微服务之间文件传输，很多时候我们可以通过序列化等方式解决(如图片等)。最近项目中有个excel上传，以及多媒体文件上传，直接报错。也试了2种解决方式，都不可行。1.写一个文件Encoder解析器，会出现其他的rest请求出现encoder错误2.springcloudfeign有一个规范，不可以传输2个对象，可以是一个对象带几个参数方式。那么我们现在需要一种方式，不配置全局的解
国观智库·2023-12-06 19:48

解决安装pyspark所遇到的所有问题

一开始安装Hadoop，hive，hbase，spark很顺利。但是到了pyspark时候已
天亮说晚安ii·2023-12-06 17:33

机器学习---pySpark代码开发

1、eclipse开发pySpark程序在eclipse中开发pySpark程序，需要安装pydev插件。1).eclipse安装python插件,安装完成后重启。
30岁老阿姨·2023-12-06 17:23

机器学习---环境准备

一、pySpark环境准备1、window配置python环境变量window安装python，配置python环境变量。
30岁老阿姨·2023-12-06 17:53

机器学习---pySpark案例

1、统计PV，UV1.if__name__=='__main__':2.conf=SparkConf()3.conf.setMaster("local")4.conf.setAppName("test"
30岁老阿姨·2023-12-06 17:53

前后端分离vue+springboot家庭理财账单财务管理系统

技术栈：后端：SpringBoot，Sa-Token，MyBatis-Plus，MyBatisGenerator，MySQL，Nginx，Spark，Fastjson前端：Vue，Vue-router，
说书客啊·2023-12-06 15:12

ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException：无效的 Spark URL：

在idea中用scala编写spark的WordCount的案例时，老是报错，scala能运行其他程序scala没有问题，依赖按照视频教程也成功下载，Maven仓库也下载的巴巴适适，报的错误太多了，我节选有价值的错误信息
Guff_hys·2023-12-06 11:40

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 11:16

Spark由浅到深(1)--安装,测试,问题排错

安装部署//选择需要的版本.官网下载:http://spark.apache.org/downloads.html//部署tar-zxfspark-1.4.0-bin-hadoop2.6.tgzcdspark
GeezKe·2023-12-06 10:04
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他