Mapreduce

完全解析大数据中MapReduce的运行流程

为什么要学习MapReduce2004年，谷歌发表了一篇名为《MapReduce》的论文，主要介绍了如何在分布式的存储系统上对数据进行高效率的计算。
好程序员IT教育·2023-03-24 06:56

Hive 设置

beeline方式设置mapreduce,tez参数出现错误0:jdbc:hive2://10.5.xxx.xxx:10000>setmapreduce.job.max.split.locations=
alaya_c09d·2023-03-24 02:39

Hadoop入门

主要模块包括:分布式文件系统：HDFS实现将文件分布式存储在很多的服务器上分布式计算框架：MapReduce实现在很多机器上分布式并行计算分布式资源调度框架：YARN实现集群资源管理以及作业的调度HDFS
NealLemon·2023-03-24 01:08

hive部署的3种模式，及应用差异

1、hive的技术原理hive是基于Hadoop的数据仓库系统，可以查询、分析和存储在HDFS分布式文件系统中的数据，将结构化的数据文件映射为一张数据库表，转换SQL语句为MapReduce任务运行，对外提供完整的
沉思的雨季·2023-03-23 22:15

162.Hadoop（一）：Hadoop基本概念，基本环境安装，单机运行，各虚拟机数据同步

目录一、Hadoop基本概念1.什么是Hadoop2.Hadoop的优势3.Hadoop组成4.HDFS概述5.YARN概述6.MapReduce概述7大数据整体的技术栈学历路径二、基本环境搭建1.配置虚拟机
鹏哥哥啊Aaaa·2023-03-23 21:57

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks
阿里云云栖号·2023-03-23 21:58

大数据开发必读书目（持续更新）

在这里插入图片描述1.HadoopHadoop大数据开发案例教程与项目实战.pdfHadoop技术内幕深入解析YARN架构设计与实现原理.pdfHadoop技术内幕深入理解MapReduce架构设计与实现原理
鄙人王道长·2023-03-23 21:00

Hive架构

每个执行计划对应若干MapReduce作业，Hive会将所有的MapReduce作业都一一提交到YARN中，由YARN去负责创建MapReduce作业对应的子任务，并协调它们的运行。
zhuhaiqin·2023-03-23 19:05

hive架构初步梳理

hive由Facebook开源用于解决海量结构化日志的数据统计工具，或者说是数据仓库的工具，其最大的作用就是将HQL转化成MapReduce程序，然后对数据进行处理，如下是其实现的流程。
@anSon_·2023-03-23 19:50

hive架构详解

hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL到MapReduce的转换。
张凯生·2023-03-23 19:50

hive的体系架构

（*）Hive是基于HDFS之上的一个数据仓库HiveHDFS表目录数据文件分区目录桶文件（*）Hive是一个翻译器，默认，把SQL---->MapReduce（*）Hive支持SQL的一个子集。
枣泥馅·2023-03-23 18:59

Hive架构图

hive数据仓库工具能将将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
秃头小宝贝儿i·2023-03-23 18:24

Hive架构简述及工作原理

本质是将SQL转换为MapReduce程序（默认）。  
思屿`·2023-03-23 18:20

Hive 技术体系结构

语义分析从Metastore获取模式信息，验证SQL语句中列表，列名以及数据类型检查和隐式转换，以及hive提供的函数和用户自定义函数(udf/udaf)(3).逻辑计划生成生成逻辑计划-算子树(MR对应的MapReduce
dymkkj·2023-03-23 18:15

Yarn基本介绍（一）

如果把分布式计算和单个计算机对应的话，HDFS就相当于计算机的文件系统，Yarn就是计算机的操作系统，MapReduce就是计算机上的应用程序。
Ant Brother·2023-03-23 17:24

第6章 MapReduce应用开发-Configuration详解

1、API解读Resources配置通过资源指定，资源以XML形式包含一组name/value对，每个资源通过String或Path指定，假如使用String指定资源，将检查classpath下是否有该名称对应的文件，若使用Path，则直接在本地文件系统查找。除非显示关闭[newConfiguration(false)]，否则Hadoop默认从classpath下加载如下两个资源：core-def
主君_05c4·2023-03-23 04:46

MapReduce Shuffle过程1 - Map结果本地存储

MapReduceShuffle过程1-Map结果本地存储流程概览Map结果由Collector进行收集写入内存，在内存buf使用达到一定阀值后，进行内存排序，结果（有combiner可以先做本地聚合）
万昆·2023-03-22 22:20

大数据基础之Hive（三）—— 分区表和分桶表

更多文章参看github知识库：https://github.com/duktig666/knowledge背景学习完Hadoop，有没有感到编写一个MapReduce程序非常复杂，想要进行一次分析和统计需要很大的开发成本
Duktig丶·2023-03-22 11:52

九、大数据技术之Hive

2）Hive本质：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Ya
@我不是大鹏·2023-03-22 11:20

大数据面试之Hive常见题目

生成的逻辑执行计划存储在HDFS中，并随后由MapReduce调用执行Hive的核心是驱动引擎，驱动引擎
落叶飘雪2014·2023-03-22 11:18

Hive与HBase的区别及应用场景

一、定义Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，默认情况下可以将sql语句转换为MapReduce任务进行运行。
6个日的梦想·2023-03-22 10:30

Java8 Stream 入门

思想是函数式编程（functionalprogramming）的一种Java实现强调将计算过程分解成可复用的函数，主要使用map方法和reduce方法组合而成的MapReduce算法，最好的实现ApacheHadoop
ZeralZhang·2023-03-22 10:51

大数据学习之Hadoop——01Hadoop简介

Velocity:高速Variety:多样Value:低价值密度2.Hadoop的优势(4高):高可靠性:Hadoop底层维护多个数据副本高扩展性:在集群间分配任务数据,可方便扩展数以千计的节点.高效性:在MapReduce
Jiang锋时刻·2023-03-22 09:51

MapReduce 论文读书笔记

[MapReduce:SimplifiedDataProcessingonLargeClusters](https://static.googleusercontent.com/media/research.google.com
svenke·2023-03-22 06:32

java大数据之spark

Spark基于mapreduce算法模式实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于HadoopMapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写
这一刻_776b·2023-03-22 02:17

大数据综合笔记

mapreduce分析参考文章Hadoop-2.4.1源码分析--MapReduce作业(job)提交源码跟踪Hadoop-2.4.1源码分析--MapReduce作业切片(Split)过程hadoop
等酒香醇V·2023-03-21 19:53

从产品的角度看数仓

技术的角度:很热的词：用Hadoop做底层，MapReduce来做存储，还有一些很技术的词数据抽取工具：kafka、flume、syn
泛舟垂钓·2023-03-20 11:21

大数据技术之Hadoop（Yarn）

第1章Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
DK_521·2023-03-20 08:13

大数据技术之Hive

第1章Hive基本概念1.1Hive1.1.1Hive的产生背景在那一年的大数据开源社区，我们有了HDFS来存储海量数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度
DK_521·2023-03-20 08:43

观向数据：想从事大数据行业？大数据行业最令人垂涎的大数据职位

大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreducehdfsyarn等。第二个数据存储层，比如
智海观向·2023-03-20 05:27

Hadoop分布式计算架构流程分析-Hadoop商业环境实战

1.Hadoop分布式计算架构流程分析1）在MapReduce程序读取文件的输入目录上存放相应的文件。2）客户端程序在submit()方法执行前，获取待处理的数据信息，然后根据集群中参数的配置形成一
开心技术社区·2023-03-20 03:29

从源码角度分析MapReduce运作_三.Reduce阶段

一.目录本系列文章对Hadoop知识进行复盘。分为四个阶段，Copy阶段，Merge阶段，Sort阶段，Reduce阶段。如下为ReduceTask类的runNewReducer方法privatevoidrunNewReducer(JobConfjob,finalTaskUmbilicalProtocolumbilical,finalTaskReporterreporter,RawKeyValue
scott_alpha·2023-03-19 15:37

笔记presto、Druid、kylin和flink的应用场景

基于内存，不使用mapreduce，能够连接多个数据源，跨数据源表查询适合场景：适合如count，avg聚合运算，边计算边清内存，支持GB到PB,主要用来处理秒级场景。
ask_baidu·2023-03-19 11:13

hadoop

高效性：在MapReduce的思想下，Hadoop的并行工作的，比加快任务处理速度。高容错性：能够自动将失败的任务重新分配。Hadoop组成image.pngHDFS架构概述NameNode（nn）：
Demons_LLL·2023-03-19 08:05

hadoop的YARN、MapReduce组件伪分布式搭建

1、YARN配置$cd/opt/software/hadoop-2.8.1/etc/hadoop$viyarn-site.xml2、MapReduce配置$cpmapred-site.xml.templatemapred-site.xml
刘子栋·2023-03-18 23:30

浅谈Hadoop

Hadoop生态系统是指以大数据分布式存储(HDFS)，分布式计算(MapReduce)和资源调度(YARN)为基础联合其他各种组件在内的一整套软件。Hadoop生态
夜丨雨·2023-03-18 21:10

Spark Shuffle

1HadoopShuffle过程在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段需要跨节点去拉取其它节点上的
博弈史密斯·2023-03-18 16:42

MapReduce提交job处理过程及yarn框架机制

处理过程：1.mp程序产生RunJar进程向resourcemanager申请执行一个job2.resourcemanager返回job相关资源提交的路径staging-dir和为本job生成的jobID3.mp程序向HDFS提交资源到对于的staging-dir路径下4.mp程序向resourcemanager反馈提交结果5.resourcemanager将job加入任务队列中，并指定此job分
MOOJ·2023-03-18 14:43

Hadoop3.x集群安装教程

HadoopMapReduce，分布式计算
文景大大·2023-03-18 10:11

大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）

一、Hadoop概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（HadoopDistributedFileSystem）、MapReduce（Hadoop2.0加入了YARN
大数据老司机·2023-03-17 20:38

大数据学习之Hadoop——08Mapreduce执行过程详解

://blog.csdn.net/bingque6535本文转载于:https://blog.csdn.net/yangshaojun1992/article/details/85003668一、分析MapReduce
Jiang锋时刻·2023-03-17 09:42

hadoop开发应用

文件夹下#hadoopfs-putdat0102.dat/input/二、查询指定字符串出现次数1.编写代码如果忘记了，可以查看：$HADOOP_HOME/share/doc/hadoop/hadoop-mapreduce-client
hello高world·2023-03-17 06:37

Java 海量数据处理方法总结

Java程序员面试宝典笔记Hash法Bit-map法Bloomfilter法数据库优化法倒排索引法外排序法Trie树堆双层桶法MapReduce法Hash法散列hash函数尽可能简单函数的值域必须在散列表的范围内尽可能减少冲突
bananafish·2023-03-17 02:50

MIT 6.824 Day2

w1MapReduceMapReduceLab1Part1:Map/Reduceinputandoutput1.完成sequentialimplementation1.1functionthatdividesuptheoutputofamaptask
非典型IT·2023-03-16 22:35

spark-shuffle原理&调优

spark-shuffleShuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过
LancerLin_LX·2023-03-16 21:25

Hadoop介绍——HA与联邦

Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题：–HDFS存在的问题•NameNode单点故障，难以应用于在线场景HA•NameNode压力过大，且内存受限，影扩展性F–MapReduce
南宫萧言·2023-03-16 20:45

【读书笔记】《大数据技术体系详解：原理、架构与实践》01～02.概述和数据收集

资源管理与服务协调、计算引擎、数据分析和数据可视化大数据架构的6层Hadoop与Spark开源大数据技术栈：Hadoop与Spark开源大数据技术栈大数据架构：LambdaArchitectureHadoopMapReduce
粥一样温柔·2023-03-16 16:05

[转]Java Fork/Join 框架

这种思想和MapReduce很像（input-->split-->map-->reduce-->output）主要有两步：第一、任务切分；第二、结果合并它的模型大致是这样的：线程池中的每个线程都有自己的工作队列
fansys·2023-03-16 10:23

Spark 从零到开发（一）初识

Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。1.特性参考：http://spa
FantJ·2023-03-16 10:04

声明式编程和命令式编程

declarative(声明式的)imperative(命令式的)描述的是一种编程理念声明式倾向于描述结论命令式倾向于描述过程声明式的更加结构化一些，尽量写声明式的代码声明式主要需要的函数mapreduce
lixiaoshuai·2023-03-16 06:36
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他