python使用spark

Java 与大数据：Hadoop 和 Spark 的完美集成

今天我们要一起探索Java世界里的大数据处理技术，特别是Hadoop和Spark如何集成在一起。无论你是初学者还是有经验的大数据开发者，这篇充满趣味和知识的文章都会让你收获满满！
墨瑾轩·2025-05-08 20:23

Spark 之 YarnCoarseGrainedExecutorBackend

YarnCoarseGrainedExecutorBackendexecutorID，在日志里也有体现。25/05/0612:41:58INFOYarnCoarseGrainedExecutorBackend:Successfullyregisteredwithdriver25/05
zhixingheyi_tian·2025-05-08 20:53

Spark和Hadoop之间的区别

1、HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem，HDFS）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroug
lucky_syq·2025-05-08 20:52

Spark和Hadoop之间的联系

（一）Spark概述ApacheSpark是一个快速、通用、可扩展的大数据处理分析引擎。它最初由加州大学伯克利分校AMPLab开发，后成为Apache软件基金会的顶级项目。
古拉拉明亮之神·2025-05-08 19:48

flask+ highcharts实现报表转换成趋势图(3)----python使用csv像sql一样

上面两篇继续http://blog.csdn.net/xx123er/article/details/77945591http://blog.csdn.net/xx123er/article/details/779457744.把csv数据当数据库使用http://www.jianshu.com/p/7d1d91ac7df3可以像sql语句来查csv#!/usr/bin/envpython#cod
会飞的蚂蚁_·2025-05-08 16:27

Spark 之 metrics

//sql/core/src/main/scala/org/apache/spark/sql/execution/aggregate/HashAggregateExec.scala:“peakMemory
zhixingheyi_tian·2025-05-08 14:13

Spark 之 printSchema

printSchemaspark/sql/core/src/main/scala/org/apache/spark/sql/Dataset.scala/***Printstheschematotheconsoleinanicetreeformat
zhixingheyi_tian·2025-05-08 14:42

Spark external shuffle service

yarnexternalshuffleservice参考链接：https://mp.weixin.qq.com/s/ZggMnX2r4uj8TrzUPTMLhQhttps://mp.weixin.qq.com/s/jY9KawiTLTV7jiO9DJOAZQ?poc_token=HF3gGmijj7mldjK-AIVa1TcjYrdbHRDLTBiju00Dshuffle过程包括shufflere
zhixingheyi_tian·2025-05-08 14:42

【Spark】【第三章】 Spark运行环境

Spark作为一个分布式数据处理框架和计算引擎，被设计在所有常见的集群环境中运行:1.本地模式所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境1.1本地模式的安装配置将
败给你的黑色幽默丶·2025-05-08 14:41

大数据技术全景解析：Spark、Hadoop、Hive与SQL的协作与实战

本文将通过通俗类比+场景化拆解，带你深入理解四大关键技术：Hadoop、Hive、Spark和SQL，揭秘它们如何像“仓储-物流-管理”系统一样协同工作。
V文宝·2025-05-08 12:32

RDD有哪几种创建方式

-**Python示例**：```pythonfrompysparkimportSparkContext#创建SparkContext对象sc=SparkCon
痕517·2025-05-08 10:52

scala连接mongodb_Spark教程（二）Spark连接MongoDB

如何导入数据数据可能有各种格式，虽然常见的是HDFS，但是因为在Python爬虫中数据库用的比较多的是MongoDB，所以这里会重点说说如何用spark导入MongoDB中的数据。
weixin_39688035·2025-05-08 09:13

spark读取mongodb数据配置

原文出处：http://blog.csdn.net/omrapollo/article/details/66968147引入依赖创建方法见上一篇博客：Spark+IntelliJIDEA创建项目引入如下依赖
Maximilian_M·2025-05-08 09:41

数据分析项目中的关键技术与工具

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-05-08 03:12

大数据毕业设计PySpark+Hadoop航班延误预测系统 航班可视化

1.选题背景和意义（1）选题背景在旅行规划中，机票价格一直是旅客关注的重点。机票价格的波动不仅受季节、航线、航空公司等因素的影响，还受到市场供求关系、经济形势等因素的影响。因此，通过对机票价格进行预测分析，可以帮助旅客选择更合适的出行时间和机票购买策略，从而节省旅行成本。（2）意义提高乘客购票决策：基于Hadoop的飞机票价格预测能够提供乘客准确的价格预测信息，帮助他们选择合适的购票时间和最优的价
QQ21503882·2025-05-08 01:24

《大数据： Spark Standalone 模式配置历史服务器》

一、配置历史服务器1.上一篇说到Standalone集群模式时候客户端看不到信息，driver:8081虽然能看到日志和结果，但是体验非常差2.spark-shell本身就是客户端模式，这个是改不了为cluster
HarkerYX·2025-05-08 00:52

Spark 配置历史服务器

类似Hadoop，Spark也有自己的historyserver，这里我们就来配置下：修改spark-defaults.conf.template文件名为spark-defaults.confmvspark-defaults.conf.templatespark-defaults.conf
涵sir·2025-05-08 00:51

spark配置历史服务

1：配置spark-default.conf文件,开启Logcpspark-defaults.conf.templatespark-defaults.conf在spark-defaults.conf文件中
都教授2000·2025-05-08 00:51

Spark集群搭建之Yarn模式

什么是SparkONYarn模式SparkonYARN（YetAnotherResourceNegotiator）是Spark框架在Hadoop集群中运行的一种部署模式，它借助HadoopYARN来管理资源和调度任务
lix的小鱼·2025-05-07 23:46

深入探索 Spark RDD 行动算子：功能解析与实战应用

在大数据处理领域，ApacheSpark以其高效的分布式计算能力脱颖而出，而RDD（弹性分布式数据集）作为Spark的核心概念，为数据处理提供了强大的抽象。
麻芝汤圆·2025-05-07 23:16

在 Sheel 中运行 Spark：开启高效数据处理之旅

在大数据处理领域，ApacheSpark凭借其强大的分布式计算能力，成为了众多开发者和企业处理海量数据的首选工具之一。
麻芝汤圆·2025-05-07 23:45

Spark应用部署模式实例

Local模式新启动一个终端SparkSubmit#pyspark命令启动的进程，实际上就是启动了一个Spark应用程序SparkStandalone模式讲解：6321SecondaryNameNode
qrh_yogurt·2025-05-07 14:43

Spark读取HDFS加密区数据乱码问题解决

因为项目需求，需要启用hdfs加密区，为了验证对现有程序的影响，我在自己的集群上配置了加密区，并测试spark和java程序读取数据。
蹩脚法师·2025-05-07 11:58

虚拟机启动hdfs、spark命令

说明：用的案例是一个master，两个worker，开启三台虚拟机的情况，已配置好hadoop和spark。
一只菜鸟A·2025-05-07 11:28

Spark Shuffle参数调优的原理与建议

文章目录Shuffle对性能消耗的原理详解SparkShuffle过程中影响性能的操作：Spark压缩算法的比较如何调优Spark配置参数的源码详解(Spark2.3)spark.shuffle.managerspark.reducer.maxReqsInFlight
聆听金生·2025-05-07 08:36

Spark 中 Join 操作的实现原理与源码分析

在ApacheSpark中，Join操作是用于合并两个数据集（DataFrame或RDD）的常见操作。它允许我们通过某一共同字段或键，将两个不同的数据集组合起来。
goTsHgo·2025-05-07 07:34

Spark 系列——Spark的Shuffle原理

目录一、基本介绍1.1Lineage1.2窄依赖1.3宽依赖二、SparkShuffle的原理2.1ShuffleManager2.2ShuffleWriter2.2.1BypassMergeSortShuffleWriter
fseast·2025-05-07 07:34

Spark，所用几个网页地址

hadoop的三大组成：1.HDFS：存储。文件上传，下载2.MapReduce：计算。词频统计，流量统计3.YARN：调度HistoryServer网址：192.168.56.100:18080HDFS的NameNode网址：http://hadoop100:9870YARN的ResourceManager网址：http://hadoop101:8088
Amu_Yalo·2025-05-07 07:33

Spark 的 Shuffle 机制：原理与源码详解

ApacheSpark是一个分布式数据处理框架，专为大规模数据分析设计。其核心操作之一是Shuffle，这是一个关键但复杂的机制，用于在某些操作期间在集群中重新分配数据。
goTsHgo·2025-05-07 07:33

大数据领域分布式存储的分布式社交数据处理

从分布式存储架构设计、数据分片策略、一致性协议等核心概念出发，结合MapReduce/Spark分布式计算框架，解析社交数据处理中的高并发、低延迟、高可用技术挑战。通过Python代码实现数
大数据洞察·2025-05-07 07:30

python使用HTTP方法

这篇文章主要介绍了使用Python创建简单的HTTP服务器的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧.以下是使用Python发送HTTP请求的示例代码：1.发送GET请求```pythonimportrequestsresponse=requests.get('ExampleDomain')print(response.
华科℡云·2025-05-07 03:09

python使用pywebview打造一个现代化的可视化GUI界面

所属专栏：【python】✨作者主页：Mr.Zwq✔️个人简介：一个正在努力学技术的Python领域创作者，擅长爬虫，逆向，全栈方向，专注基础和实战分享，欢迎咨询！您的点赞、关注、收藏、评论，是对我最大的激励和支持！！！目录一、核心功能二、使用场景三、安装与使用四、总结pywebview是一个轻量级的Python库，它让你可以使用HTML、CSS和JavaScript来创建漂亮的桌面应用程序界面，
Mr.Zwq·2025-05-06 17:42

如何在idea中写spark程序

在IntelliJIDEA中编写Spark程序，可按以下步骤进行：1.创建新项目打开IntelliJIDEA，选择File->New->Project。
计算机人哪有不疯的·2025-05-06 16:32

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
Ajekseg·2025-05-06 14:52

VUE3大文件分片+worker优化分片速度+node.js示例

from'vue'constCHUNK_SIZE=2*1024*1024//每片2MBconstTHREAD_COUNT=navigator.hardwareConcurrency||4//线程数importSparkMD5from'spark-md5
上上签6155·2025-05-06 10:58

精品Python的美食推荐系统

技术路线：软件开发环境及开发工具：开发语言：python使用框架：Django前端技术：JavaScript、VUE.js（2.X）、c
IT实战课堂@白老师·2025-05-06 04:46

基于Hive + Spark离线数仓大数据实战项目（视频+课件+代码+资料+笔记）

精品推荐：基于Hive+Spark离线数仓大数据实战项目，共23节课，供学习参考。
AI方案2025·2025-05-05 16:32

长难句笔记

试译：我的英语说得很好：IsparkEnglishwell.沙坪坝到了;Wearearrivingatspbstation英语必须具备主谓结构，并且主语是谓语发出者，如果有宾语主语是谓语的承受者。
李佳星·2025-05-05 16:27

Hadoop 1.x设计理念解析

Hadoop1.x虽然是二十年前的，但hadoop生态系统中的一些组件如今还在广泛使用，如hdfs和yarn，当今流行spark和flink都依赖这些组件通过学习它们的历史设计，首先可以让我们对它们的了解更加深刻
逆袭的小学生·2025-05-05 15:49

spark local模式

SparkLocal模式是一种在单台机器上运行Spark应用程序的模式，无需搭建分布式集群，适合开发调试、学习以及运行小规模数据处理任务。
Aaaa小嫒同学·2025-05-05 11:54

Spark中常见的数据倾斜现象及解决方案

Spark中常见的数据倾斜现象及解决方案在Spark中，数据倾斜（DataSkew）是一个常见的问题，它会导致某些任务处理的数据量远大于其他任务，从而引发性能瓶颈，降低整个作业的执行效率。
MadeInSQL·2025-05-05 09:13

spark 自定义数据源

土豆的资源驿站:http://kkwp.zzzyp.online/#/lx/softList1、创建hbase数据源表node1>bin/hbaseshellcreate'spark_hbase_sql
cherish-zp·2025-05-05 09:40

python使用requests模拟multipart/form-data请求

python使用requests模拟multipart/form-data请求模拟multipart/form-data请求，会遇到：Content-Type:multipart/form-data;boundary
WMSmile·2025-05-05 05:44

如何在idea中写spark程序

要在IDEA中编写Spark程序，可按以下步骤操作：1.创建Maven或Gradle项目：打开IDEA，选择创建新项目，根据需求选择Maven或Gradle项目，配置好项目的基本信息，如项目名称、存储位置等
晴空下小雨.·2025-05-05 01:51

spark–sql项目

数据读取与格式转换读取JSON数据：使用Spark提供的读取接口（如spark.read.json()，在不同编程语言接口下使用方式类似）将给定的JSON格式数据读入Spark中，形成DataFrame
神奇的黄豆·2025-05-04 20:18

非凸科技受邀出席AI SPARK活动，共探生成式AI驱动金融新生态

4月19日，由AISPARK社区主办的“生成式AI创新与应用构建”主题沙龙在北京举行。活动聚焦生成式AI的技术突破与产业融合，围绕大模型优化、多模态应用、存内计算等前沿议题展开深度探讨。
非凸科技·2025-05-04 16:47

配置集群-日志聚集操作

在Hadoop和Spark集群中，日志聚集是一项重要的功能，下面分别介绍如何在这两个集群中配置日志聚集操作。
Aaaa小嫒同学·2025-05-04 08:59

spark和hadoop之间的关系对比

Spark：Spark基于内存进行计算，能将数据缓存在内存中，避免了频繁的磁盘I/O。这使得Spark在处理大规模数据的迭代计算、交互式查询等场景时，速度比Hadoop快很多倍。例
锅包肉的九珍·2025-05-04 07:52

如何在idea中写spark程序

2.安装Scala插件（如果尚未安装）因为Spark主要使用Scala语言开发，所以需要在IDEA中安装Scala插件。
锅包肉的九珍·2025-05-04 07:22

Spark(19)Yarn-tool接口

（一）需求让自己编写的程序也可以支持动态参数。编写Yarn的Tool接口。（二）Tool接口定义org.apache.hadoop.util.Tool是ApacheHadoop框架里的一个接口，其用途是协助开发可通过命令行运行的Hadoop应用程序。该接口能够让程序解析命令行参数，并且以一致的方式和Hadoop配置系统交互。接口定义如下：importorg.apache.hadoop.conf.C
北随琛烬入·2025-05-04 00:40
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他