mapreduce

三种大数据应用架构介绍

本文主要介绍大数据的三类应用架构MapReduce、Hadoop、Spark，进行数据处理。
梯度科技·2023-10-22 17:14

大数据 MapReduce 的执行机制

MapReduce是一种用于处理大规模数据集的编程模型和执行框架。它将任务分解为两个主要阶段：Map阶段和Reduce阶段，并通过并行化的方式在分布式系统中执行。
雨中徜徉的思绪漫溢·2023-10-22 15:50

[源码解析] 深度学习分布式训练框架 Horovod — (1) 基础知识

分布式并行训练1.1分布式并行训练的必要1.2分布式训练1.3训练并行机制1.3.1三种机制1.3.2如何使用1.4数据并行训练0x02通信&架构2.1方法和架构2.2异步vs同步0x03具体架构3.1MapReduce3.2
罗西的思考·2023-10-22 14:45

Hadoop3教程（三十四）：（生产调优篇）MapReduce生产经验汇总

文章目录（164）MR跑得慢的原因（165）MR常用调优参数Map阶段Reduce阶段（166）MR数据倾斜问题参考文献（164）MR跑得慢的原因MR程序执行效率的瓶颈，或者说当你觉得你的MR程序跑的比较慢的时候，可以从以下两点来分析：计算机性能节点的CPU、内存、磁盘、网络等，这种属于硬件上的检查；IO操作上的检查是否发生了数据倾斜？即单一reduce处理了绝大部分数据Map运行时间过长，导致R
经年藏殊·2023-10-22 05:05

初识Hive

其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，Hive可以理解为一个将SQL转换为MapReduce任务的工具，甚至更进一步可以说Hive就是一个MapReduce
康俊1024·2023-10-22 01:27

10学习大数据-切片、MapReduce工作流程、Shuffle、排序

1.FileInputFormat切片源码切片源码解析程序先找到你数据存储的目录。开始遍历处理(规划切片)录下的每个文件遍历第一个文件ss.txt获取文件大小fs.sizeOf(ss.txt)计算切片大小computeSplitSize(Math.max(minSize,Math.min(maxSize.blocksize))=blocksize=128M默认情况下，切大小=blocksize开始
ZuckD·2023-10-22 00:28

大数据基础总结---MapReduce和YARN技术原理

MapReduce和YARN技术原理学习目标熟悉MapReduce和YARN是什么掌握MapReduce使用的场景及其原理掌握MapReduce和YARN功能与架构熟悉YARN的新特性MapReduce
weixin_30394333·2023-10-22 00:27

大数据第七天---MapReduce详解

1.CombinerCombiner的出现：为什么需要进行Map规约操作在上述过程中，我们看到至少两个性能瓶颈：（1）如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值，那么很明显的Mapper只需要输出它所知道的最大值即可。这样做不仅可以减轻网络压力，同样也可以大幅度提高程序效率。总结：网络带宽严重被占降低程序效率；（2）假设使用美国专利数据集
hl199612·2023-10-22 00:56

-大数据入门-2-Hadoo-MapReduce详解

mapreduce是hadoop的计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output
吾..二..二·2023-10-22 00:55

MapReduce NativeTask优化详解

基本介绍NativeTask是HadoopMapReduce的高性能C++API和运行时。
shining_yyds·2023-10-22 00:25

大数据学习(17)-mapreduce task详解

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦MapReduceLocalTask和提交到YARN上运行的MapReduce
viperrrrrrr·2023-10-22 00:54

大数据总结

知识点文章目录知识点0.介绍1.HDFS1.1读数据1.2写数据1.3块大小1.4Yarn调度1.4.1Job提交流程1.4.2调度器2.MapReduce、Hive2.1运行过程2.1切片大小2.2CombineTextInputFormat2.3
美美的大猪蹄子·2023-10-21 12:38

【MapReduce】Mapreduce基础知识整理 (三) shuffle机制、MapJoin、ReduceJoin、倒排序索引

目录1.Mapreduce的Shuffle机制1.1概述1.2shuffle分析1.2.1主要工作流程1.2.2环形缓冲区1.2.3详细工作流程2.MapJoin和ReduceJoin2.1表关联2.2ReduceJoin2.3MapJoin2.4
时间的美景·2023-10-21 08:26

ubuntu20安装Spark和pyspark的简单使用

Hadoop存在如下一些缺点：表达能力有限、磁盘IO开销大、延迟高、任务之间的衔接涉及IO开销、在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务Spark在借鉴HadoopMapReduce
断线纸鸢张·2023-10-21 06:07

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
数据萌新·2023-10-21 05:14

4-MapReduce+Spark(分布式计算框架)

MapReduce一、简介MapReduce起源，在介绍大数据编年史时有提到Google最早在04年发表论文MapReduce，之后DougCutting基于这篇论文通过Java做了开源实现，Mapredce
小帅明3号·2023-10-21 01:00

MapReduce学习部分——Hadoop序列化

1序列化概述1.1.什么是序列化1.2.为什么要序列化1.3.为什么不使用java序列化2.自定义bean对象实现序列化接口（Writable）在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。（1）必须实现Writable接口（2）反序列化时，需要反射调用空参构造函数，所以
但行益事莫问前程·2023-10-20 23:38

【底层服务/编程功底系列】「大数据算法体系」带你深入分析MapReduce算法 — Shuffle的执行过程

【底层服务/编程功底系列】「大数据算法体系」带你深入分析MapReduce算法—Shuffle的执行过程Shuffle是什么Shuffle的流程处理map任务的执行流程reduce任务的执行流程Shuffle
洛神灬殇·2023-10-20 20:44

MapReducer之Partitioner与Sort

排序大概分为以下几类MapReducer自带排序就可以满足自定义sort规则，只设置1个ReducerTask自定义Partition实现区内有序启用多个ReducerTask并实现全局有序，MapReducer
末央酒·2023-10-20 19:28

大数据学习笔记-MapReduce（二） 深度

深度了解MapReduce运行流程，通过案例全面了解MR运行过程、涉及的组件、设计的思想。
天码村·2023-10-20 18:11

Hadoop--MapReduce详解（Map、Shuffle、Reduce）

目录1、MapReduce概述1.1MapReduce是什么1.2MapReduce核心思想和简单过程1.3MapReduce的优缺点2、MapReduce工作机制2.1MapReduce常用数据序列化类型
words8·2023-10-20 18:11

大数据学习（五）Mapreduce详解

一、什么是mapreduce简单明了来讲，Mapreduce就是一个分布式运算程序的编程框架二、mapreduce组成MapReduce包含四个组成部分，分别为Client，JobTracker，TaskTracker
阿齐（努力打工版）·2023-10-20 18:40

【大数据技术原理】MapReduce详解

本文主要针对MapReduce1.0相关概念进行介绍，主要参考厦大林子雨教授的mooc，结合自己理解总结成文。
YoHu人家·2023-10-20 18:10

【大数据学习】hadoop-mapReduce阶段

mapperReduce阶段大概流程图MapReduce编程规范用户编写的程序分成三个部分：Mapper、Reducer和Driver。
重生之我在异世界打工·2023-10-20 18:10

大数据学习——MapReduce

目录1MapReduce概述1.1MapReduce定义1.2MapReduce优缺点1.3MapReduce核心思想1.4WordCount1.4.1计算流程1.4.2环境准备创建maven工程，添加如下依赖配置
daybreak98·2023-10-20 18:39

数分-理论-大数据5-MapReduce

数分-理论-大数据5-MapReduce（分布式并行编程模型）(数据分析系列)文章目录数分-理论-大数据5-MapReduce（分布式并行编程模型）1知识点2具体内容2.1分布式并行编程2.2简介2.3MapReduce
yxyibb·2023-10-20 18:08

大数据-mapreduce-内存角度介绍Map的输出到Reduce的输入过程-详解

map输出数据到环形缓冲区（默认内存大小问100M，阈值为0.8，都可修改），当数据达到阈值就flash（在flash的同时也有数据输入到环形缓冲区的空余空间中），当flash的次数达到默认的4次时就进行merge合并成一个大的数据reduce主动发起拷贝请求到map端读取数据到环形缓冲区，当数据达到阈值就flash，当flash的数量达到默认次数时就进行merge合并成一个大的数据，传给redu
进阶的橙汁糖·2023-10-20 18:36

大数据知识专栏 - MapReduce工作机制详解

1,MapTask工作机制详细步骤读取数据组件InputFormat(默认TextInputFormat)会通过getSplits方法对输入目录中文件进行逻辑切片规划得到block,有多少个block就对应启动多少个MapTask.将输入文件切分为block之后,由RecordReader对象(默认是LineRecordReader)进行读取,以\n作为分隔符,读取一行数据,返回.Key表示每行首
能力工场小马哥·2023-10-20 18:35

大数据-MapReduce工作原理详解

导语  之前的分享中，介绍了有关MapReduce计算框的内容，这里来介绍一下MapReduce工作原理详解Map端的流程1、从上图可以看出，一个输入分片就会有一个Map的任务来进行处理，并且Map输出的结果会暂时存放到一个缓冲区中
nihui123·2023-10-20 18:35

大数据-MapReduce

大数据-MapReduce1.分布式并行编程传统的并行计算，共享型方案刀片服务器，适用于实时的细粒度计算，尤其是计算密集的应用。
chenbengang·2023-10-20 18:32

大数据计算引擎MapReduce框架详解

今天来介绍下大数据计算引擎MapReduce，MapReduce主要用于离线计算，电商公司的离线计算任务大多数是用Hive将sql转化为MR程序来运行，可见MapReduce的重要性。
码农高飞·2023-10-20 18:32

大数据学习(16)-mapreduce详解

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦在MapReduce中，Map阶段和Reduce阶段分别执行以下任务
viperrrrrrr·2023-10-20 18:00

Flink实战之Kafka To Hive

背景传统的入库任务一般借助于MapReduce或者Spark来写hive表，一般都是天级别最多小时级别的任务。随着实时性要求越来越高，传统的入库不太能满足需求。
〇白衣卿相〇·2023-10-20 17:45

大数据之MapReduce——一个分布式的离线并行计算框架

前言对于没有接触过大数据技术的人来说，听到大数据这个名词可能会感到很陌生，会很疑惑大数据是个什么东西。当年刚毕业的我就是这样。几年前刚毕业的时候，浏览各种招聘网站，难免会看到职位类型为大数据招聘信息，年轻的我就把它当作了某种高级程序员，也曾经对它有过憧憬，想着自己能不能成为一个大数据工程师呢。但是点进去看到各种不认识的编程语言后，当时只学过C,C#,Java,Python的我就望而却步了。后来在工
微亮之海·2023-10-20 15:37

azkaban_note

一azkaban的简介1.1调度系统背景1.一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、hive脚本、spark程序等。
xiaoxiao______·2023-10-20 09:19

10.azkaban知识点

一azkaban的简介1.1调度系统背景1.一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、hive脚本、spark程序等。
当贝壳离开了海�·2023-10-20 09:46

大数据开发平台(Data Platform)在有赞的最佳实践

前言随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/ElasticSearch等之间的离线同步)、离线计算(Hive/MapReduce
李旭me·2023-10-20 08:43

大数据之Hadoop-MapReduce（1）

第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
jackyan163·2023-10-20 08:58

大数据开发实战教程目录

大数据系统的架构设计及功能目标设计（3）大数据系统程序开发、企业大数据案例分析的内容利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力；本课程重点让学生掌握五个方面的内容：（1）HDFS使用操作；（2）MapReduce
AI_Bao·2023-10-20 08:51

【大数据开发技术】实验06-SequenceFile、元数据操作与MapReduce单词计数

文章目录SequenceFile、元数据操作与MapReduce单词计数一、实验目标二、实验要求三、实验内容四、实验步骤附：系列文章SequenceFile、元数据操作与MapReduce单词计数一、实验目标熟练掌握
Want595·2023-10-20 08:48

Hadoop分布式存储和计算MapReduce的使用以及Hive数据仓库等内容精讲

一，zookeeper环境搭建ZooKeeper致力于为分布式应用提供一个高性能、高可用，且具有严格顺序访问控制能力的分布式协调服务服务器IP主机名myid的值192.168.186.133vmone1192.168.186.134vmtwo2192.168.186.135vmthree3myid的值越高，被选举的几率越大！先把这三台机器分别重置主机名为vmone，vmtwo，vmthree，具体
刻苦的樊同学·2023-10-20 07:32

Hive编程指南

第1章基础知识前言Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL语言，来查询存储在Hadoop集群中的数据；Hive可以将大多数的查询转换为MapReduce任务；Hive
weixin_43177696·2023-10-20 06:04

hive数据仓库安装与使用

hive的元数据存放在mysql（或者derby）中，真正的数据存放在dfs分布式文件系统内，hive底层封装了很多mapreduce的任务，通过sql语句调度相应的任务。
rose and war·2023-10-20 01:24

map和reduce

map和reduce在整个的MapReduce任务过程中，可以分为两个阶段：map阶段和reduce阶段。并map阶段和reduce阶段通过shuffle来进行连接。
鲵扣·2023-10-20 01:23

MapReduce面试题+详解

MapReduce篇面试题1.“MapReduce”程序的主要配置参数是什么？
Young_IT·2023-10-19 22:13

hadoop 集群

标签：Hadoop搭建分布式集群环境MapReduceYARNHDFS分布式环境搭建之环境介绍之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境，而在实际情况中，肯定都是多机器多节点的分布式集群环境
大诗兄_zl·2023-10-19 21:12

hadoop之旅6-windows本地MapReducer离线单词统计

今天带大家在本地执行Mapreduce，进行单词个数的统计，一般用于调试。线上模式也很简单，只需要打好jar包，在线上服务通过hadoopjarxxxx.jar包名+类命令执行即可，
尔以凡·2023-10-19 20:30

hive往es映射表写数据报错

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
jiedaodezhuti·2023-10-19 16:59

Hive知识梳理(好文)

可以将SQL查询转换为MapReduce的job在Hadoop集群上执行。元数据Hive元数据信息存储在HiveMetaStore中，或者mysql中。
英雄111888·2023-10-19 13:20

分布式计算模式：Stream

总结前言分布式计算模式中的MapReduce模式的核心思想是，将大任务拆分成多个小任务，针对这些小任务分别计算后，再合并各小任务的结果以得到大任务的计算结果。
海陆云·2023-10-19 05:16
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他