MapReduce

Hadoop中MapReduce和Yarn相关内容详解

接上一章写的HDFS说，Hadoop是一个适合海量数据的分布式存储和分布式计算的一个平台，上一章介绍了分布式存储，这一章介绍一下分布式计算——MapReduce。
·2025-07-28 06:47

阿里云MaxCompute SQL与Apache Hive区别面面观

Hadoop到Serverless的进化之路Hive的架构：老派但经典MaxCompute的架构：云原生新贵3.SQL语法的微妙差异：90%相似，10%决定胜负建表语句分区与分桶函数与UDF4.执行引擎的较量：MapReducevs
大模型大数据攻城狮·2025-07-28 04:34

一文说清楚Hive

目前支持的主流引擎及其特点如下：计算引擎核心原理优点缺点适用场景MapReduce基于“Map→Shuffle→R
·2025-07-28 04:58

解锁Hive：高效数据查找的秘密武器

其内部机制是将SQL语句巧妙地转变成MapReduce任务来执行，大大降低了开发的难度和复杂性。例如，在面对海量的用户行为日志数据时，Hive就能
YangRyeon·2025-07-26 10:54

Yarn 3.x版本容器内存控制功能失效排查

问题背景Yarn集群中一部分节点的内存被打爆，排查发现作业使用内存超出了NodeManager的最大内存限制找出故障时间点运行的作业，发现作业内存设置不合理，用户只设置了mapreduce.map.java.opts
极伪·2025-07-25 01:23

【大数据学习 | Spark-Core】RDD的概念与Spark任务的执行流程

但是，目前的MapReduce框架都是把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。显然，如果能将结果保存在内存当中，就可以大量减少IO。
Vez'nan的幸福生活·2025-07-24 07:35

数据库和数据仓库区别

HIve与Mysql对比HiveMysql数据存储位置HDFS本地磁盘数据格式用户定义系统决定数据更新不支持（不支持修改和删除）支持（支持增删改查）索引有，但较弱，一般很少用有，经常使用的执行MapReduceExecutor
hhhecker·2025-07-23 14:42

深入解析Hadoop中的Region分裂与合并机制

其架构核心由HDFS（HadoopDistributedFileSystem）和MapReduce组成，前者负责数据的分布式存储，后者实现分布式计算。
码字的字节·2025-07-23 00:45

深入探索Hadoop技术：全面学习指南

本文旨在为初学者和进阶者提供一份详尽的Hadoop技术学习指南，涵盖HDFS、MapReduce、YARN等核心组件，以及Hive、Pig、HBase等生态系统工具，助您踏上H
·2025-07-23 00:09

hive的sql优化思路-明白底层运行逻辑

数据文件在内存与存储之中是怎么演变的，因为hive的性能瓶颈基本在内存，具体参考以下他人优秀文章：1.HiveSQL底层执行过程详细剖析2.HiveJOIN性能调优二是要明白hive对应的sql它底层的mapreduce
ycllycll·2025-07-21 18:50

Hadoop与云原生集成：弹性扩缩容与OSS存储分离架构深度解析

Hadoop与云原生集成的必要性Hadoop在大数据领域的基石地位作为大数据处理领域的奠基性技术，Hadoop自2006年诞生以来已形成包含HDFS、YARN、MapReduce三大核心组件的完整生态体系
·2025-07-19 16:49

AI Agent开发学习系列 - langchain之Chains的使用(7)：用四种处理文档的预制链轻松实现文档对话

在LangChain中，四种文档处理预制链（stuff、refine、mapreduce、mapre-rank）是实现文档问答、摘要等任务的常用高阶工具。
alex100·2025-07-12 15:12

Hive简介

实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在HDFS上6、Hive的本质是将SQL语句转换为MapReduce
·2025-07-12 05:29

MapReduce学习笔记

1.MapReduce做什么Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”来处理。Reducer负责对map阶段的结果进行汇总。
·2025-07-09 07:23

MapReduce 学习

MapReduce的过程：mapshufflereduce其中，程序员需要实现的内容是：程序员手动实现Map任务的具体逻辑，将数据根据Map代码进行分割，返回(key,value)键值对然后这些（Key
chuanauc·2025-07-09 07:22

Hadoop-Mapreduce入门

Hadoop-Mapreduce入门MapReduce介绍mapreduce设计MapReduce编程规范入门案例WordCountMapReduce介绍MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景
·2025-07-08 06:33

Hadoop MapReduce入门

入门简介计算过程分为两个阶段Map和ReduceMap阶段并行处理输入数据Reduce阶段对Map结果进行汇总针对python语言来说：map函数或者reduce函数来说，输出的数据格式为元组tuple一个简单的MapReduce
且行且安~·2025-07-08 06:02

Hadoop MapReduce 入门

一、Hadoop3.0.4环境准备1.环境要求Java8（Hadoop3.0.4不支持Java11+）单节点或多节点Linux系统（推荐Ubuntu18.04+）至少4GB内存（建议8GB+）50GB以上磁盘空间2.安装Java#安装Java8sudoapt-getinstallopenjdk-8-jdk#验证安装java-version3.下载与安装Hadoop3.0.4#下载Hadoop3.0
·2025-07-08 06:29

MapReduce数据处理过程2万字保姆级教程

目录1.MapReduce的核心思想：分而治之的艺术2.HadoopMapReduce的架构：从宏观到微观3.WordCount实例：从代码到执行的完整旅程4.源码剖析：Job.submit的魔法5.Map
大模型大数据攻城狮·2025-07-07 15:44

Hadoop核心组件最全介绍

文章目录一、Hadoop核心组件1.HDFS(HadoopDistributedFileSystem)2.YARN(YetAnotherResourceNegotiator)3.MapReduce二、数据存储与管理
Cachel wood·2025-07-07 12:54

数据仓库技术及应用（Hive 产生背景与架构设计，存储模型与数据类型）

1.Hive产生背景传统Hadoop架构存在的一些问题：MapReduce编程必须掌握Java，门槛较高传统数据库开发、DBA、运维人员学习门槛高HDFS上没有Schema的概念，仅仅是一个纯文本文件Hive
娟恋无暇·2025-07-07 12:49

缺少关键的 MapReduce 框架文件

计算圆周率时提醒Hadoop集群缺少关键的MapReduce框架文件mr-framework.tar.gz在http://master:7180/cmf/services/4/status里直接安装再次运行代码
·2025-07-06 20:30

大数据 ETL 工具 Sqoop 深度解析与实战指南

一、Sqoop核心理论与应用场景1.1设计思想与技术定位Sqoop是Apache旗下的开源数据传输工具，核心设计基于MapReduce分布式计算框架，通过并行化的Map任务实现高效的数据批量迁移。
·2025-07-06 12:18

大数据开发高频面试题：Spark与MapReduce解析

被招网约司机的盯上了好几天实习了六个月，到期被通知不能转正。外包裁员让我去友商我该去吗？offer比较华为状态码浏览器插件嵌入式项目推荐2019秋招总结+云从语音算法面经+银行群面面经科大讯飞语音算法面经语音算法美团一面已挂科大讯飞智能语音方向值得去吗？语音算法oc科大讯飞语音算法二面荣耀一面语音算法面经，已挂荣耀_语音算法工程一面科大讯飞语音一面凉经8.18携程机器学习（语音方向）一面【vivo
·2025-07-05 20:26

大数据基础知识-Hadoop、HBase、Hive一篇搞定

HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构，其核心设计包括分布式文件系统（HDFS）和MapReduce编程模型；Hadoop是一个开源的分布式计算框架，旨在帮助用户在不了解分布式底层细节的情况下
原来是猪猪呀·2025-07-04 13:28

Hadoop入门案例WordCount

wordcount可以说是hadoop的入门案例，也是基础案例主要体现思想就是mapreduce核心思想原始文件为hadoop.txt，内容如下：hello,javahello,java,linux,hadoophadoop
码喵喵·2025-07-04 01:42

Hadoop入门案例

Hadoop的运行流程：客户端向HDFS请求文件存储或使用MapReduce计算。NameNode负责管理整个HDFS系统中的所有数据块和元数据信息；DataNode则实际存储和管理数据块。
'Wu'·2025-07-04 01:12

MapReduce分布式计算框架：从原理到实战

今天我们来聊聊大数据处理领域的一个重要框架——MapReduce。作为Google提出的经典分布式计算模型，MapReduce极大地简化了海量数据的处理流程。
AI妈妈手把手·2025-07-03 19:02

【字节跳动】数据挖掘面试题0003：有一个文件，每一行是一个数字，如何用 MapReduce 进行排序和求每个用户每个页面停留时间

MapReduce是一种适合处理大规模数据的分布式计算框架，其核心思想是将计算任务分解为Map（映射）和Reduce（归约）两个阶段。对文件中的数字进行排序，可以利用MapReduce的特性来实现。
·2025-07-03 19:30

头歌 当HBase遇上MapReduce

头歌当HBase遇上MapReduce第1关：HBase的MapReduce快速入门代码行：packagecom.processdata;importjava.io.IOException;importjava.util.List
敲代码的苦13·2025-07-03 11:00

MapReduce01：基本原理和wordCount代码实现

本篇文章中，笔者记录了自己对于MapReduce的肤浅理解，参考资料主要包括《大数据Hadoop3.X分布式处理实战》和网络视频课程。
冬至喵喵·2025-07-03 08:35

Hadoop、Spark、Flink 三大大数据处理框架的能力与应用场景

一、技术能力与应用场景对比产品能力特点应用场景Hadoop-基于MapReduce的批处理框架-HDFS分布式存储-容错性强、适合离线分析-作业调度使用YARN-日志离线分析-数据仓库存储-T+1报表分析
·2025-07-02 13:45

MapReduce概述

1、MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“Hadoop的数据分析应用”的核心框架。
Tate小白·2025-06-29 14:08

【头歌】MapReduce基础实战 答案

本专栏已收集大数据所有答案第1关：成绩统计编程要求使用MapReduce计算班级每个学生的最好成绩，输入文件路径为/user/test/input，请将计算后的结果输出到/user/test/output
Seven_Two2·2025-06-29 14:07

解锁阿里云E-MapReduce：大数据处理的超能力秘籍

在这片充满机遇与挑战的大数据领域中，阿里云E-MapReduce宛如一颗璀璨的明星，占据着举足轻重的地位。它凭借强大的大数据处理能力、卓越的性能表现以及丰富的功能特性，为企业和
云资源服务商·2025-06-28 20:28

MapReduce原理详解：大数据处理的基石与实战应用

MapReduce原理详解：大数据处理的基石与实战应用关键词：MapReduce、大数据处理、原理、算法、实战应用摘要：本文深入探讨了MapReduce这一在大数据处理领域具有基石地位的技术。
AI天才研究院·2025-06-27 05:35

Hadoop的部分用法

Hadoop的核心是HDFS（HadoopDistributedFileSystem）和MapReduce编程模型。1.Hadoop环境搭建在开始使用Hadoop之前，你需要搭建Hadoop环境。
覃炳文20230322027·2025-06-26 16:30

Hadoop 发展过程是怎样的？

由于该文件系统设计得足够简单，可以适应大规模数据集存储需求，在此基础上演化出多种应用，包括MapReduce、BigTable、PageRank等，并成为当时互联网公司的标配技术之一。
AI天才研究院·2025-06-26 11:06

Hadoop 版本进化论：从 1.0 到 2.0，架构革命全解析

Hadoop版本hadoop1.x版本由三部分组成Common(辅助工具)HDFS(数据存储)MapReduce(计算和资源调度)存在的问题JobTracker同时具备了资源管理和作业控制两个功能，成为了系统的最大瓶颈采用了
拾光师·2025-06-25 18:02

头歌 MapReduce的编程开发-排序

任务描述本关任务：根据用户行为数据，编写MapReduce程序来统计出商品点击量排行。
敲代码的苦13·2025-06-25 10:03

Hadoop等大数据处理框架的Java API

Hadoop主要有两个核心组件：HDFS（HadoopDistributedFileSystem）和MapReduce。
扬子鳄008·2025-06-23 05:00

从 0 到 Offer！大数据核心面试题全解析，答案精准拿捏面试官(hadoop篇)

它主要包含HDFS（HadoopDistributedFileSystem）分布式文件系统、MapReduce分布式计算框架以及YARN（YetAnotherResourceNegotiator）资源管理器
浅谈星痕·2025-06-22 00:23

MapReduce

MapReduce原理与组成一、MapReduce组件及任务Mapper（映射器）任务：处理输入数据并生成键值对。每个输入记录被转换成一个或多个键值对。
2401_8554978·2025-06-21 05:50

什么是MapReduce

MapReduce：大数据处理的经典范式什么是MapReduce？MapReduce是一种编程模型和软件框架，用于大规模数据集（通常大于1TB）的并行处理。
ThisIsClark·2025-06-20 23:10

Spark 学习【一】

Spark基本概念MapReduce存在的缺陷编写难度大不能很好充分利用系统内存一个作业多个MR任务嵌套不友好（每一个task都是jvm进程级别创建销毁开销都很大、每一次都要涉及磁盘或dfs或db和网络的
·2025-06-20 23:39

Hadoop MapReduce作业提交流程源码精讲：主线方法、设计模式与调试实战

HadoopMapReduce作业提交流程源码精讲：主线方法、设计模式与调试实战一、前言HadoopMapReduce是大数据计算生态的基础。
北漂老男人·2025-06-19 22:16

深入理解 Hadoop MapReduce 调度原理与 YARN 架构

深入理解HadoopMapReduce调度原理与YARN架构作者：标签：大数据、Hadoop、YARN、MapReduce、调度器一、前言在大数据领域，Hadoop是最重要的分布式计算平台之一。
北漂老男人·2025-06-19 22:13

什么是Hadoop Yarn

YARN（YetAnotherResourceNegotiator）是ApacheHadoop生态系统中的资源管理和作业调度系统，最初在Hadoop2.0中引入，取代了Hadoop1.0的MapReduce1
ThisIsClark·2025-06-18 19:35

全面解析Hadoop配置文件：架构、调整与最佳实践

同时，介绍了针对HDFS、MapReduce和YARN的主要配置文件，并通过实例说明如何细化设置以满足性能和资源管理的需求。最后，文章分享了一些最
秦道衍·2025-06-17 21:35

大数据基础——大数据处理架构Hadoop

Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中（3）Hadoop的核心是分布式文件系统HDFS（HadoopDistributedFileSystem）和MapReduce
皮皮大卫·2025-06-16 12:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他