Mapreduce

MapReduce小文件问题

MapReduce小文件问题(1).小文件处理的弊端1.每个小文件都要执行一次map任务,增加map任务的开销.2.小文件太多,会耗费很多时间去寻址.3.需要记录小文件的元数据,造成namenode的内存浪费
炉子吗尅_那撸多·2023-02-05 13:52

在阿里云ECS服务器上搭建Hadoop集群

服务器上搭建Hadoop集群简介Hadoop是一个开源的分布式计算的基础框架，其中最主要的组成部分则包括了hadoop分布式文件系统（hadoopdistributedfilesystem,简称hdfs）以及mapreduce
AmadeusChan·2023-02-05 13:23

练习

3大核心组件：HDFS、MapReduce、Yarn。核心功能是：1）提供海量数据的存储服务。2）提供分析海量数据框架及运行平台。
之古·2023-02-05 12:17

【Hive】hql语法转MR任务

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能.说白了，hive就是MapReduce客户端,将用户编写的HQL语法转换成MR程序进行执行。
CLOcean·2023-02-05 08:17

[LevelDB] LevelDB理论基础

了解这些有助于对LevelDB的理解，同时这些实现基本上都出自Sanjay和JeffDean(GoogleGFSMapReduceBigtable的缔造者)之手，其中的很多实现都非常不错，值得学习。
weixin_30649859·2023-02-05 03:25

03-Leveldb原理

01-简介谷歌曾经发布过三篇大名鼎鼎的论文，《GFS-GoogleFileSystem》、《BigTable》、《MapReduce》，其中BigTable中描述了分布式数据库的实现，而leveldb正是该论文中所描述的
anda0109·2023-02-05 03:04

大数据(10)：Spark

它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。Spark的一个主要特点是能够
小道萧兮·2023-02-05 02:52

面试题1

hadoop的namenode宕机,怎么解决6.namenode对元数据的管理7.元数据的checkpoint8.yarn资源调度流程9.hadoop中combiner和partition的作用10.用mapreduce
qydong·2023-02-04 20:21

云计算期末考试知识点

答:Google云计算技术包括:Goge分布式文件系统GFS，分布式计算编程模型MapReduce，分布式锁服务Chubby，分布式结构化数据表Bigtable，分布式存储系统Megastore，分布式监控系统
Suzie_Xie·2023-02-04 19:10

MapReduce详解(上)

reduce也是，其他的为框架帮我们完成，会把数据填充到内存，即bufferinmemory，默认为100M，阈值为80M，当数据溢出时，进行封闭，将数据从内存写入到磁盘中，而且中是按照key进行排序，概要MapReduce
贫僧洗头爱飘柔·2023-02-04 19:22

MapReduce之气象数据分析MapReduce之气象数据分析

MapReduce之气象数据分析问题描述通过获取的气象数据来分析气温最大值样例输入数据集地址：天气数据集样例输出表示1901年最大温度为239，可能是他们使用的温度单位和咱们不一样吧mapper阶段任务
wx1871428·2023-02-04 18:18

用Hadoop的MapReduce气象数据编程

一：数据格式分析1.数据（下载地址：ftp://ftp.ncdc.noaa.gov/pub/data/noaa）0067011990999991950051507004888888889999999N9+00001+99999999999999999999990067011990999991950051512004888888889999999N9+00221+999999999999999999
StriveFarrell·2023-02-04 18:48

Hadoop分析NCDC气象数据

*.gz，用zcat命令将其解压并上传到hdfszcat*.gz>1993.txtbin/hadoopfs-put1993.txt/feixu/input3.查看hdfs上的气象数据，总大小约1.2GMapReduce
spring8743·2023-02-04 18:48

MapReduce实验——分析年气象数据最高温度,最低温度

importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper
与宇宙对视·2023-02-04 18:48

【Hadoop笔记_3】MapReduce、案例分析、实例分析代码

第一部分：Hadoop介绍及安装第二部分：HDFS第四部分：项目案例实战5、MapReduce5.1_简介MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架
REDANDBLUE_OvO·2023-02-04 18:15

hadoop权威指南-MapReduce气象程序实现过程

hadoop权威指南-MapReduce气象程序实验准备工作数据准备整理数据代码部分编译程序运行程序准备工作数据准备下载本次实验的所需数据，数据量可跟实际需求下载。本例使用2018年部分数据。
qq_22112963·2023-02-04 18:44

Hadoop使用MapReduce求ncdc气象数据中的最低温度

一、下载、解压、合并与上传数据在进行数据处理前首先需要获得所需要的数据，首先下载数据cd/home/hadoopmkdirtemp#创建文件夹用于存放数据cdtempsudowgetftp://ftp.ncdc.noaa.gov/pub/data/gsod/2016/gsod_2016.tarsudowgetftp://ftp.ncdc.noaa.gov/pub/data/gsod/2017/gs
柃歌·2023-02-04 18:12

使用Hadoop分析气象数据（附代码）

本文数据和方法均来自于大佬的使用Hadoop分析气象数据完整版（附带完整代码）（侵删）文章目录1.获取数据1.1下载数据1.2数据格式1.3合并数据2.MapReduce处理数据2.1环境配置，启动集群
Msss-·2023-02-04 18:11

《从0开始学大数据》之流式计算的代表

这些数据通常通过HDFS存储在磁盘上，使用MapReduce或者Spark这样的批处理大数据计算框架进行计算，一般完成一次计算需要花费几分钟到几小时的时间。
我叫CJJ·2023-02-04 17:21

《从0开始学大数据》之大数据基准测试

大数据作为一个生态体系，不但有各种直接进行大数据处理的平台和框架，比如HDFS、MapReduce、Spark，还有很多周边的支撑工具，而大数据基准测试工具就是其中一个大类。
我叫CJJ·2023-02-04 17:21

《从0开始学大数据》的启示

看产品思维模式思维大数据发展历史分布式计算的核心思想——移动计算而非移动数据大数据系统与大型网站系统设计思路的差异大型网站的思路大数据系统的思路从RAID到HDFS（存储）作为计算模型的MR为什么HDFS是系统，而MapReduce
N-Paradigm·2023-02-04 17:50

《大数据技术从零开始》自学知识库(2022年整理)

文章目录计算机组成原理操作系统数据结构与算法计算机网络Linux系统JavaScalaPythonMySQL分布式系统NettyHadoopHDFSMapReduceYarnZookeeperHiveSparkKafkaFlink
DataChat.Club·2023-02-04 17:50

从0开始学大数据（一）

预习01|大数据技术发展史：大数据的前世今生我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce
ziqiiii·2023-02-04 17:19

从0开始学大数据总结笔记：2、大数据生态体系主要产品原理与架构

上面所有这些技术在实际部署的时候，通常会部署在同一个集群中，某台服务器可能运行着HDFS的DataNode进程，负责HDFS的数据存储；同时也运行着Yarn的NodeManager，负责计算资源的调度管理；而MapReduce
qililong88·2023-02-04 17:49

《从0开始学大数据》之构建一个大数据平台

在分布式系统中分发执行代码并启动执行，这样的计算方式必然不会很快，即使在一个规模不太大的数据集上进行一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要数秒的时间。
我叫CJJ·2023-02-04 17:18

Hive Distinct的实现原理

numfromordergroupbydealid;当只有一个distinct字段时，如果不考虑Map阶段的HashGroupBy，只需要将GroupBy字段和Distinct字段组合为map输出key，利用mapreduce
麦子星星·2023-02-04 02:06

十七.Hadoop部分问题思考

1.关于切片的时候保证数据完整性的问题MapReduce在进行切片的时候有几个参数，一个是最小切片大小(mapred.min.split.size)，一个是最大切片大小(mapred.min.split.size
临时_01e2·2023-02-03 19:43

直播 | StarRocks 联合腾讯云分享 EMR-StarRocks 的降本增效之路

1月10日19:00，StarRocks社区将联合腾讯云大数据举办“数智话”技术沙龙，以“弹性MapReduceEMR
StarRocks_labs·2023-02-03 17:32

翻译：Coprocessor Introduction

原文Authors:TrendMicroHadoopGroup:MingjieLai,EugeneKoontz,AndrewPurtellHBase对MapReduce集成非常友好，可用于对其表中存储的数据进行分布式计算
掩流年·2023-02-03 15:02

sqoop介绍及使用

Sqoop工作机制Sqoop工作机制是将导入或导出命令翻译成mapreduce程
weixin_43814165·2023-02-03 12:02

SQL

5asint);解析json文件并处理换行符regexp_replace(get_json_object(json_content,'$.body'),'[\\n\\r]','')ascontent避免mapreducesethive.exce.mode.local.auto
渡猫·2023-02-03 06:19

Hive1

mysql,roacle,sqlserve,DB，MDB,...数据仓库：Hive,是MR的客户端，也就是说不必要每台机器都安装部署Hive-Hive的特性1）操作接口是采用SQL语法,HQL；2）避免乐写MapReduce
ZhangShiWen·2023-02-03 05:00

Mapreduce

一句话总结：Mapreduce的原理就是一个归并排序。Hadoop是一个实现了MapReduce模式的开源的分布式并行编程框架。
徐超Change·2023-02-03 01:35

MapReduce —— WordCount案例

一般情况下，一个MapReduce程序主要包含三个部分：Map、Reduce和Drive。
Manfestain·2023-02-02 20:37

聊一聊数组的map、reduce、foreach等方法

聊聊数组遍历方法JS数组的遍历方法有好几个：everysomefilterforeachmapreduce接下来我们来一个个地交流下。
Haozj·2023-02-02 19:14

HADOOP大数据技术栈简介

Hadoop三大组件：HDFS、YARN、MapReduce。
奋斗的韭菜汪·2023-02-02 15:54

Map Reduce执行过程

MapReduce执行过程是数仓hql调优所必须熟知的，也是初高级数仓工程师面试基本必问的一块内容，所以为了面包，巩固学习一下。
乌拉乌拉儿·2023-02-02 15:38

数据科学之路（8）不得不说的Tez

我们在《数据科学之路（5）数据仓库工具》中提到了Hive既可以运行在MapReduce上，也可以运行在Tez和Spark上，那么Tez到底是什么呢？
LiuShaodong·2023-02-02 14:39

HADOOP介绍

apache旗下的一套开源软件平台HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE
BoltBear·2023-02-02 14:00

hadoop集群部署

1、Hadoop的介绍狭义上来说，hadoop就是单独指代hadoop这个软件，HDFS：分布式文件系统MapReduce:分布式计算系统Yarn：分布式集群资源管理广义上来说，hadoop指代大数据的一个生态圈
keeper&·2023-02-02 14:29

Hadoop简介概述

谷歌发表的关于GFS和MapReduce相关的论文给了作者启发，最终让Nutch可以在多台计算机上稳定的运行;后来雅虎对这项技术产生了很大的兴趣，并组建了团队开发，从Nutch中剥离出分布式计算模块命
Trouble-Solver·2023-02-02 14:58

初识大数据（二. Hadoop是什么）

并且已经从HDFS、MapReduce、Hbase三大核心组件成长为一个具有60多个组件构成的庞大生态，可以满足大数据采集、存储、开发、分析、算法、建模等方方面面。
weixin_34205076·2023-02-02 14:58

hadoop介绍

目录大数据与HadoopHadoop模块：HadoopCommon：Hadoop分布式文件系统(HDFS)：HadoopYARN：HadoopMapReduce：Hadoop生态圈组件：Spark（分布式计算框架
昊昊该干饭了·2023-02-02 14:58

大数据基础之Hadoop（一）—— Hadoop概述

Hadoop系列大数据基础之Hadoop（一）——Hadoop概述大数据基础之Hadoop（二）——HDFS大数据基础之Hadoop（三）——MapReduce大数据基础之Hadoop（四）——YarnHadoop
Duktig丶·2023-02-02 14:57

大数据技术之Hadoop（入门）

框架讨论大数据生态1.1Hadoop是什么1.2Hadoop发展历史1.3Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop组成1.5.1HDFS架构概述1.5.2YARN架构概述1.5.3MapReduce
我是超级小白·2023-02-02 14:25

大数据入门知识总结

大数据部门及流程二、数据仓库1、数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS分布式存储系统1、Hadoop简介2、HDFS、Yarn、MapReduce3
长不大的大灰狼·2023-02-02 14:25

hadoop 4.0 知识整理

hadoop优势多副本机制保证系统可靠性，处理节点可以动态添加/删除保证系统的可扩展性，MapReduce并行工作保证系统的高效性，失败任务默认重新分配4次执行保证系统的容错性。
fenggfa·2023-02-02 14:24

大数据技术之Hadoop（入门）概述、运行环境搭建、运行模式

文章目录1Hadoop概述1.1Hadoop是什么1.2Hadoop优势1.3Hadoop组成（面试重点）1.3.1HDFS架构概述1.3.2YARN架构概述1.3.3MapReduce架构概述1.3.4HDFS
@从一到无穷大·2023-02-02 14:53

Neo4j 入门学习 1 基础知识模块

图数据库是依赖于关系构建的数据，相比传统的关系型数据库，表间的关系建立在外键或外处理上（MapReduce），图数据库是
Piteover·2023-02-02 13:17

Hadoop集群搭建-01前期准备

3076991整个搭建hadoop集群的流程，包括前期准备安装zookeeper并配置环境编译安装hadoop并启动安装HDFS管理namenode和dataname管理集群硬盘资源安装启动yarn建立MapReduce
叫我懒猫·2023-02-02 01:56
上一页 56 57 58 59 60 61 62 63 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他