Mapreduce

从源码角度分析MapReduce运作_一.准备阶段

一.目录本系列文章对Hadoop知识进行复盘。分为两个阶段，建立连接阶段，提交job阶段。waitForCompletion()submit();//1建立连接connect();//1）创建提交Job的代理newCluster(getConfiguration());//（1）判断是本地yarn还是远程initialize(jobTrackAddr,conf);//2提交jobsubmitter
scott_alpha·2023-02-02 00:09

Hive基础总结

Hadoop是一个面向批处理的系统，而MapReduce任务的启动过程需要消耗较长的时间，所以Hive查询延时比较严重。Hive不支持事务，不支持OL
w未然·2023-02-01 21:37

DDIA Ch10

MapReduceMapReduce就是分布式的unixtools，如果他是在一台机器上跑，那就是unixpipeHadoopimplementationofMapReduce,thatfilesystemiscalledHDFS
Wilbur_·2023-02-01 14:57

hadoop集群搭建

那mapreduce是什么呢？它其实是一个分布式运
·2023-02-01 12:51

MapReduce架构原理、执行过程详解

MapReduce架构组成Hadoop1.x版本架构组成的JobTracker/TaskTracker机制需要大规模的调整来修复它在可扩展性，内存消耗严重，可靠性和性能上都有缺陷。
胖滚猪学编程·2023-02-01 12:47

Hadoop学习笔记

数据量大，计算量大，单个机器无法完成可将数据分布在多个机器上由多个机器共同完成计算大数据计算需要各个机器相互协调工作，大数据算法有共同点，可将其做成框架，Hadoop就是这样的框架MapReduce，Google
柴柴总·2023-02-01 06:03

Storm 入门

顶级项目，免费开源分布式实时流处理计算系统，能实现高频数据和大规模数据的实时处理storm官网stormgithubStormvsHadoop数据源/处理领域：实时vs离线处理过程：SpoutBoltvsMapReduce
cjxll·2023-01-31 22:46

HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)

问题描述ApacheHive在2.3版本后宣布放弃维护MapReduce作为底层执行引擎，并转而使用Tez作为默认的查询引擎。
田同学·2023-01-31 22:19

整体认识Hadoop

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
云顶天宫写代码·2023-01-31 20:51

spark和RDD的知识梳理与总结

Spark特点快：Spark计算速度是MapReduce计算速度的10-100倍易用：（算法多）MR支持1种计算模型，Spsark支持更多的计算模型。
大数据狂人·2023-01-31 14:21

Spark系列之Spark的RDD详解

Hadoop的MapReduce是一种基于数据集的工作模式，面向数据，这种工作模式一般是从存储上加载数据集，然后操作数据集，最后写入物理存储设备。数据更多面临的是一次性处理。
落叶飘雪2014·2023-01-31 14:44

Spark核心RDD详解（设计与运行原理，分区，创建，转换，行动与持久化）

但是，目前的MapReduce框架都是把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。虽然，类似Pregel等图计算框架也是将结果保存在内存当中，但是，这些框架只能支持一些特
_小许_·2023-01-31 14:10

大数据学习之Hadoop——11MapReduce相关练习02(共同好友)

欢迎关注我的CSDN:https://blog.csdn.net/bingque65351.问题:求数据集中任意两人之间的共同好友2.数据集A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J,K
Jiang锋时刻·2023-01-31 13:24

查看并使用hadoop自带的示例程序（以wordcount为例）

查看并使用hadoop自带的示例程序（以wordcount为例）1.查看hadoop自带的示例程序hadoopjarhadoop安装路径+/share/hadoop/mapreduce/hadoop-mapreduce-examples
Mocode·2023-01-31 13:16

ERROR tool.ExportTool: Error during export:Export job failed! 解决方法记录

atorg.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445)atorg.apache.sqoop.manager.SqlManager.exportTable
灰色的杰·2023-01-31 12:08

大数据(spark+hadoop)之topN

我们根据数据类型可以简单分为重复键和不重复键的topNMapReduce对于MR来说，topN代码比较多一些，在这里我只讲讲思路。
机器不能学习·2023-01-31 05:51

Presto初体验

但Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。F
mysia·2023-01-31 03:18

基于物品的协同过滤mysql_离线商品推荐系统(基于物品的协同过滤算法+MapReduce)...

数据采集部分用户浏览物品的信息记录用户Id商品Id商品类型添加时间userIditemIditemTypetime用户收藏物品的信息记录用户Id收藏商品的Id收藏时间userIdcollerctIdcollectTime用户添加物品至购物车的信息记录用户Id添加至购物车的商品Id添加时间userIdcartIdcartTime用户购买物品的信息记录用户Id购买的商品Id添加时间userIdcons
善音·2023-01-31 02:14

部署 Hadoop 高性能集群

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
workey·2023-01-30 15:55

Mapreduce环境详细搭建和案例实现

二、countword案例实现1.任务要求2.MapReduce程序编写方法报错解决软件资源网盘地址mapreduce配置相关软件链接：https://pan.baidu.com/s/1My
为java献身·2023-01-30 15:54

hadoop整体

大数据框架目录大数据框架一、Hodoop四大组件：HDFS/MapReduce/YARN/Common二、Zookeeper三、Hive四、Spark五、ETL六、ngnix七、Redis八、Oracle
原来是阿付·2023-01-30 15:51

hadoop安装配置

Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
su_use·2023-01-30 15:20

hadoop3.x学习教程(一)

高效性：在MapReduce的思想下，Hadoop是并行工作的，加快任务处理速度高容错性：能够自动将失败的任务重新分配1.2、Hadoop3.x组成Hadoop3.x组成和2.x没有区别，内置组件分别
90后的包子·2023-01-30 15:19

02、Hadoop（入门）

**1.3Hadoop三大发行版本（了解）****1.4Hadoop优势（4高）**1.5Hadoop组成（面试重点）**1.5.1HDFS架构概述****1.5.2YARN架构概述****1.5.3MapReduce
Yu洁·2023-01-30 15:48

在Amazon EMR上运行Hadoop MapReduce作业

您可以运行该项目中的主类来启动EMR集群并执行我在本文中创建的MapReduce作业：packagenet.pascal
dnc8371·2023-01-30 14:12

【Hadoop】Hadoop3基础

要点一、概念1.1Hadoop是什么1.2Hadoop发展历史1.3Hadoop的三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.5.1HDFS架构概述1.5.2Yarn架构概述1.5.3MapReduce
搬金砖的小白·2023-01-30 14:42

学完了Hadoop，我总结了这些重点

文章目录一、Hadoop组成Hadoop1.x、2.x、3.x的区别HDFS架构概述MapReduce架构概述YARN架构概述二、常用端口号三、常用的配置文件四、HDFSHDFS文件块大小HDFS的Shell
苍夜月明·2023-01-30 14:10

大数据之Hadoop3简单入门（一）（通俗易懂）

2.2.4Value（低价值密度）二.hadoop入门概述2.1什么是hadoop2.1.1概念2.1.2hadoop优势2.1.3hadoop不同版本区别2.2HDFS架构概述2.3Yarn架构概述2.4MapReduce
爪哇斗罗·2023-01-30 14:10

[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②

本期更新内容：安装Hadoop、配置Hadoop配置文件②下篇文章预告：安装Hadoop、配置Hadoop配置文件③目录一、配置core-site.xml文件参数二、配置mapred-site.xml（Mapreduce
发量不足·2023-01-30 14:09

【Python学习笔记】 Python练习题mapreduce

1#!/usr/python23defnameConvert(name):#格式化名字4returnname[0:1].upper()+name[1:].lower()5printmap(nameConvert,['adam','LISA','brT'])678defprod(x,y):#reduce算乘机9returnx*y1011numList=[1,2,3,4,5,6]12printredu
DishChickenC·2023-01-30 10:07

YARN工作原理 YARN调度器

Mapreduce1.0旧的MapReduce架构旧的MapReduce架构、MapReduce架构基本概念JobTracker:负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度
流浪山人·2023-01-30 04:01

大数据技术发展史

2004年，整个互联网界还处于懵懂时代，Google发布了三篇论文，分别是分布式文件系统GFS，大数据分布式计算框架MapReduce，分布式存储系统bigTable。
ks宁·2023-01-30 00:17

数据倾斜问题与解决

长尾问题(数据倾斜)发生长尾问题的原因在MapReduce中，Map阶段和Reduce阶段都有可能由多个节点进行分布式计算，而如果在分布式计算时，每个节点分配的任务不均衡，比如绝大多数操作分配在极少数的节点上
眼君·2023-01-29 14:02

第2章 关于MapReduce

2.3.2JavaMapReduceMapper类Mapper类是一个泛型类型，有四个形参类型，分别指定map函数的输入键、输入值、输出键、输出值的类型publicclassMapperHadoop本身提供一套可优化网络序列化传输的基本类型
刘小树树树树·2023-01-29 00:27

Hadoop3.x组件YARN入门

二、为什么需要YARN在Hadoop1.x时代，资源管理和任务的调度工作是MapReduce承担的，到了Hadoop2.x，这两个功能才被从
文景大大·2023-01-28 23:56

Mongo mapReduce统计

在Mongo库中的数据如下字段含义Kpa压力temperature温度ts时间戳{Kpa:0.7161temperature:20ts:1626685796539}{Kpa:0.774temperature:80ts:1626685797027}{Kpa:0.8319temperature:60ts:1626685798025}需求求出平均值最大值最小值最大值时间点最小值时间点或者其它字段解如果只
Morgan7·2023-01-28 20:44

MapReduce中使用Avro

那么通过这篇文章我们一起来实践一下Avro在MapReduce中的使用。前提条件一个maven项目Hadoop集群，如果你还没有安装的话，请戳这里，查看之前的文章。
名字想好没·2023-01-28 19:18

【数据库】HIVE SQL与SQL的区别

总体一致：Hive-sql与SQL基本上一样，因为当初的设计目的，就是让会SQL不会编程MapReduce的也能使用Hadoop进行处理数据。因此，大胆使用SQL的，如果遇到不对的，再查。
MichalLiu·2023-01-28 18:06

Hive整合hbase及导入数据测试

1，Hive与Hbase的区别1.1Hive(数据仓库)Hive是由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，底层依赖于HDFS存储数据，利用MapReduce进行计算，可以将结构化的数据映射为一张数据库表
一曲逍遥游·2023-01-28 16:58

Hive整合Hbase

目录简介实验步骤1.配置文件2.复制jar包3.创建映射表4.导入数据5.注意事项总结1.优点2.缺点简介Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统
香草冰淇淋OcO·2023-01-28 16:56

Hive整合HBase，操作HBase表

值得商榷的是，使用Hive操作HBase中的表，只是提供了便捷性，对于性能上，较MapReduce并不会提升太多，请大家酌情使用。
ws的大数据田地·2023-01-28 16:25

java基础巩固-宇宙第一AiYWM：为了维持生计，大数据Hadoop之yarn【MapReduce的基本概念、Yarn的架构（中的角色、各角色的工作流程）MapTask与ReduceTask】~整起

Hadoop之HDFS目录一、HADOOP之MapReduce1.MapReduce基本概念2.MapReduce的数量约定3.MapReduce的迭代器模式4.mapreduce的架构、架构中的角色（
AIminminHu·2023-01-28 14:20

hadoop之旅7-centerOS7 : Hive环境搭建

之前的文章带大家一起从hadoop最开始的搭建，到最终写一个MapReduce结尾，相信大家也基本了解什么是hadoop。
尔以凡·2023-01-28 07:49

Flink 详解与分析一

Flink详解与分析Flink是构建在数据流之上的一款有状态的流计算框架，通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎
迈希杰·2023-01-27 11:25

flink keyby指定key方式详解

这种操作在各种大数据计算引擎中都非常常见，比如最早的mapreduce，从map阶段到reduce阶段，就是通过shuffle操作将具有相同key的数据分配到同一个reduce端进行处理。
bitcarmanlee·2023-01-27 11:43

hive多表查询

多表连接时，hive总是按照从左到右的顺序执行的，当3个表连接时，如表abc，ab的输出mapreducejob,和c进行连接。
一个幸福的胖子·2023-01-27 07:30

MapReduce

wangzhiwubigdata/God-Of-BigData/blob/master/%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%A1%86%E6%9E%B6%E5%AD%A6%E4%B9%A0/Hadoop-MapReduce.mdMapReduce
ZzzZBbbB·2023-01-26 14:16

基于Hadoop的产品大数据分布式存储优化

基于MapReduce并行架构模型，提出多副本一致性Hash数据存储算法，算法充分考虑了数据的相关性和时空属性，并优化了Hadoop平台的数据划分策
人工智能技术与咨询·2023-01-26 10:05

Haddop：Mapreduce

Hadoop的核心思想之一是mapreduce（分布式计算框架）Compute：计算层（处理层）HDFS：分治一、What?
惊不意外·2023-01-26 05:22

Spark Shuffle原理及相关调优

通过文章“SparkScheduler内部原理剖析”我们知道，Spark在DAG调度阶段会将一个Job划分为多个Stage，上游Stage做map工作，下游Stage做reduce工作，其本质上还是MapReduce
Victor_bigdata·2023-01-25 22:06
上一页 57 58 59 60 61 62 63 64 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他