Mapreduce

2020-04-13

基本概念1.什么是HiveHive是Facebook开源用于处理海量结构化日志的数据统计Hive是基于Hadoop的一个数据仓库工具,将结构化数据文件映射成一张表，并提供类SQL语句本质是HQL转换为MapReduce
叛逆与成功·2023-03-09 06:28

python 包多熟悉一个干活就轻松点

在这篇文章中：包管理文本处理自然语言处理图像处理HTTP数据库Web框架CMS电子商务网络站点爬取网页内容提取表单图形用户界面游戏开发ScienceandDataAnalysis数据可视化计算机视觉机器学习MapReduce
weixin_30824599·2023-03-09 00:22

大数据技术之Hadoop之MapReduce（3）——自定义InputFormat案例实操

3.1.9自定义InputFormat案例实操无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。
张反水·2023-02-28 08:00

大数据框架之Hadoop：MapReduce（三）MapReduce框架原理——InputFormat数据输入

3.1.1切片与MapTask并行度决定机制1、问题引出MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了MapTask并行度？2、MapTask并行度决定机制**数据块：**Blo
yiluohan0307·2023-02-28 08:29

大数据框架之Hadoop：MapReduce（三）MapReduce框架原理——Join多种应用

3.7.1ReduceJoin1、工作原理Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在Map阶段已经达标）分开，最后进行合并就ok了。3.7.2
yiluohan0307·2023-02-28 08:29

大数据框架之Hadoop：MapReduce（三）MapReduce框架原理——计数器应用

Hadoop为每个作业维护若干内置计数器，以描述多项指标。例如，某些计数器记录已处理的字节数和记录数，使用户可监控已处理的输入数据量和已产生的输出数据量。1、计数器API（1）采用枚举的方式统计计数enum.MyCounter(MALFORORMED,NORMAL)//对枚举定义的自定义计数器加1context.getCounter(MyCounter.MALFORORMED).increment
yiluohan0307·2023-02-28 08:29

大数据框架之Hadoop：MapReduce（三）MapReduce框架原理——数据清洗（ETL）

在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。
yiluohan0307·2023-02-28 08:29

mapreduce

文章目录什么是mapreduce为什么会有mapreducemapreduce的优缺点优点缺点mapreduce的核心思想核心思想总结mapreduce的阶段分类第一阶段（map）第二阶段（reduce
xiaoxiao______·2023-02-28 08:28

【大数据实验】06：MapReduce操作

MapReduce操作OVERVIEWMapReduce操作实验环境一、WordCount单词计数1.实验内容2.实验原理3.实验步骤（1）启动Hadoop集群（2）准备数据文件（3）创建Map/Reduce
hello world 999·2023-02-28 08:27

Hadoop框架之——Mapreduce OutputFormat数据输出

TextOutputFormat2.SequenceFileOutputFormat3.自定义OutputFormat4.使用场景5.自定义OutputFormat步骤自定义OutputFormat案例实操OutputFormat是MapReduce
Alienware^·2023-02-28 08:56

大数据之Hadoop(MapReduce)：OutputFormat数据输出

目录1.OutputFormat接口实现类2.自定义OutputFormat2.1:使用场景2.2:自定义OutputFormat步骤：1.OutputFormat接口实现类outputFormat是MapReduce
浊酒南街·2023-02-28 08:25

MapReduce的核心思想与编程模型原理详解（含wordcount单词统计案例实现）

目录一、MapReduce的定义二、MapReduce的核心思想.三、MapReduce编程模型1.Map阶段2.Reduce阶段3.Map&Reduce四、MapReduce编程指导思想（天龙八步）1
皮哥四月红·2023-02-28 08:24

大数据技术之Hadoop-MapReduce教程

大数据技术之Hadoop-MapReduce教程目的前提要求概览输入和输出示例：WordCountv1.0源码用法实战演练MapReduce-用户接口核心Mapper有多少个Map？
只要学不死就往死里学-致自己·2023-02-28 08:54

七、大数据技术之Hadoop（MapReduce）

一、MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
@我不是大鹏·2023-02-28 08:49

大数据框架Hadoop：第二章 计算框架MapReduce（一）

系列文章目录大数据框架Hadoop：第一章HDFS分布式文件系统(一)大数据框架Hadoop：第一章HDFS分布式文件系统(二)大数据框架Hadoop：第二章计算框架MapReduce（一）文章目录系列文章目录前言一
BB侠的大数据之旅·2023-02-28 08:49

大数据技术之Hadoop（MapReduce）框架原理、数据压缩

文章目录1MapReduce框架原理1.1InputFormat数据输入1.1.1切片与MapTask并行度决定机制1.1.2Job提交流程源码和切片源码详解1.1.3FileInputFormat切片机制
@从一到无穷大·2023-02-28 08:43

大数据之 Hadoop （MapReduce）

MapReduce概述MapReduce：一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
Felix-Li·2023-02-28 08:12

Hadoop：MapReduce框架处理数据的流程

一：Map阶段第一步：InputForMat读取数据第二步：Split进行逻辑切分（默认128M切一次）第三步：RR数据切分一行一行的key，value形式，key是行首字符的偏移量，【key1，value1】value是行首字符偏移量对应的一行数据第四步：根据实际需求编写map代码实现效果，、map的输入是：key，value的list【key2，value2】map的输出是：keyvalue的
BigData攻城狮·2023-02-28 07:09

Hadoop中的MapReduce框架原理、OutputFormat数据输出，接口实现类、 自定义OutputFormat案例实操

文章目录13.MapReduce框架原理13.4OutputFormat数据输出13.4.1OutputFormat接口实现类13.4.2自定义OutputFormat案例实操13.4.2.1需求13.4.2.1.1
Redamancy_06·2023-02-28 07:36

大数据技术之Hadoop（MapReduce）

大数据技术之Hadoop（MapReduce）(作者：大数据研发部)版本：V1.4第1章MapReduce入门map计算reduce规约1.1MapReduce定义Mapreduce是一个分布式运算程序的编程框架
DHRJFH·2023-02-28 07:34

大数据框架之Hadoop：MapReduce（三）MapReduce框架原理——OutputFormat数据输出

3.6.1OutputFormat接口实现类OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口。
yiluohan0307·2023-02-28 07:33

大数据开发学习之Spark系统架构解读

Spark性能优势的原因Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用并行框
加米谷大数据张老师·2023-02-26 07:18

Spark ---------- 大数据框架，spark简介及架构图示

Spark是什么Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。
isOllie·2023-02-26 07:47

Hadoop-3.3.4完全分布式安装（包含VMware16和Ubuntu22的下载安装及配置）、搭建、配置教程，以及Hadoop基础简介

一、Hadoop简介1、Hadoop项目基础结构注：本篇文章主要涉及到：HDFS（分布式文件系统）、YARN（资源管理和调度框架）、以及MapReduce（离线计算）。以下就是本篇文章所采用的的架构。
wake D·2023-02-25 07:39

详解：大数据分析的学习之路

详解：大数据分析的学习之路以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境一
SunWuKong_Hadoop·2023-02-25 07:27

初识Hadoop，走进大数据世界

后续文章中会继续分享Hadoop的组件、MapReduce、HDFS、HBase、Flume、Pig、Spark、Hadoop集群管理系统以及案例项目等。
叫我二蛋·2023-02-24 03:34

hadoop

Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。称为社区版Hadoop。
小杰子哥_19a0·2023-02-24 00:45

Flink 三：Flink 流处理 API

主要内容结构：1.流处理相关概念数据的时效性对网站的实时监控对异常日志的监控流式计算和批量计算BatchAnalytics批量计算：统一收集数据-》存储到DB-》对数据进行批量处理，就是传统意义上使用类似于MapReduce
章鱼哥TuNan&Z·2023-02-23 16:05

Hadoop概述

MapReduce架构概述MapReduce将计算过程分为两个阶段：Map和Reduce1)Map阶段并行处理输入数据2)Redu
无聊大侠hello world·2023-02-23 06:41

Hive 核心知识点灵魂 16 问

No3.Hive的HSQL转换为MapReduce的过程？No4.Hive的两张表关联，使用MapReduce怎么实现？
jane9872·2023-02-19 20:30

Hadoop项目/生态

大数据生态Theprojectincludesthesemodules:HadoopCommonHadoopDistributedFileSystem(HDFS™)HadoopYARNHadoopMapReduceOtherHadoop-relatedprojectsatApacheinclude
心無旁騖丶·2023-02-19 01:09

MapReduce

MapReduce1.WhyMapReduce？
须臾之北·2023-02-18 18:31

hive sql 基本语法@2019-02-12

Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce
dataHunter·2023-02-18 17:31

写一个 Mapreduce 小程序玩玩？

最近搭好了Hadoop的环境，赶快整一个小程序试验一下（过两天再写怎么搭的环境吧）。想法很简单就是想做一个单词种类的统计，首先是Map部分：(开始使用Maven，真的是神器，几个代码jar包就配好了)我是用的是免费版的idea，可以使用Maven功能，毕竟能不用盗版就不用盗版软件，不管是使用idea还是eclipse都可以新建一个MarvenProject。然后配置pom.xml，可以登陆http
Vector_Wan·2023-02-18 15:15

好玩的大数据之17：Hive安装（Hive-3.1.2）

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
张文斌_2020·2023-02-18 08:54

“could only be replicated to 0 nodes, instead of 1″ during copying data to HDFS

SometimescopyfilestoHDFSorrunningaMapReducejobsyoumightreceiveanerrorasbelow:DuringfilecopytoHDFStheerrorandcallstacklooklikeasbelow
weixin_33794672·2023-02-18 07:58

《十小时入门大数据》学习笔记之Hadoop核心组件YARN

概述3.YARN架构（面试考点，务必要了解整个架构）4.YARN执行流程（面试考点，务必要了解整个执行流程）5.YARN环境搭建6.提交作业到YARN上执行1、YARN产生背景在Hadoop1.X时，MapReduce
腊月的梅花·2023-02-17 21:45

大数据开发面试题目

Hadoop介绍MapReduce的运行过程，shuffle过程如果在现场，我可以手绘MapReduce从InputFormat到OutputFormat的流程，一边画图一边说。
QLchuan·2023-02-17 18:06

Day 1314：架构师训练营作业（w12）

分析如下HiveQL，生成的MapReduce执行程序，map函数输入是什么？输出是什么，reduce函数输入是什么？输出是什么？
kafkaliu·2023-02-17 16:16

Hadoop从入门到精通33：MapReduce核心原理之Shuffle过程分析

在安装Hadoop集群的时候，我们在yarn-site.xml文件中配置了MapReduce的运行方式为yarn.nodemanager.aux-services=mapreduce_shuffle。
金字塔下的小蜗牛·2023-02-17 08:58

spark mr on yarn查看日志

要通过web页面查看运行日志,需要启动两个东西hadoop启动jobhistoryserver和spark的history-server.etc/hadoop/mapred-site.xmlmapreduce.jobhistory.addressspark-master
tracy_668·2023-02-17 00:20

Hive详细教案

一．什么是hivehive是基于Hadoop的一个[数据仓库]工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
zianL·2023-02-16 23:41

架构师训练营第12周作业 大数据 MapReduce

在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？我目前在影视后期行业，公司日常的生产中暂时还没有使用到大数据技术，但是整个影视行业对大数据的应用其实是充满着需求和机会的。在前期创作阶段，大数据可以用于统计、分析过往影视作品的市场反响、评价、成本、周期、风险等等，辅助出品方制定更符合市场规律、更满足观众胃口的影视作品创作方向和生产方案。借助机器学习、文本分析、图像生
浩哥有料·2023-02-07 00:53

数组有哪些方法? 哪些会改变原数组?

不会改变原数组的方法concatjoinslicetoStringtoLocalStringindexOflastIndexOfincludes数组的遍历迭代方法forEacheverysomefiltermapreducereduceRightentriesfindfindInd
风雅欢乐·2023-02-06 17:25

自己理解的各大数据库应用场景，不一定对

Hive：理解：构建在基于静态批处理的Hadoop之上，基于MapReduce任务实现大数据集的批处理作业。用
诗意_面包·2023-02-06 04:08

Mapreduce分布式并行编程

目录1.什么是并行计算2.现在mapreduce能做什么？
·2023-02-06 03:39

Hbase工具介绍，安装，使用

与MapReduce的离线批处理计算框架不同，HBase是一个可以随机访问的存储和检索数据平台，弥补了HDFS不能随机访问数据
longlong1·2023-02-06 03:42

Hive(一)

Hive产生背景(1)从开发、测试、需求变更角度来看，MapReduce编程不方便(2)传统关系型数据库人员的需要希望使用sql一样的方式来处理分析大数据(3)如果数据在HDFS上，如果想要使用SQL来处理
436048bfc6a1·2023-02-06 00:15

大数据-实时推荐系统最主流推荐系统视频教程itemCF和userCF

大数据-实时推荐系统最主流推荐系统视频教程itemCF和userCF大数据，云计算，架构，数据分析师，Hadoop，Spark，Storm，Docker，Mapreduce，Kafka，Flume，OpenStack
平蝶与波澜·2023-02-05 23:29

Hive编程指南：基础知识

Hadoop是一个面向批处理的系统，而MapReduce任务(job)的启动过程需要消耗较长的时间，所以hive查询延时比较严重。hive不支持事务二、MapReduce介绍MapRed
luogps9·2023-02-05 19:02
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他