Hadoop2 第13页

HDFS是如何设计架构的？

前言Hadoop到目前为止发展已经有10余年，版本经过无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0三个版本。

大数据老哥·2023-03-25 06:57

Hadoop中Block和Split的区别

系统也提供默认大小，其中Hadoop1.x中的默认大小为64M，而Hadoop2.x中的默认大小为128M。

星星之火在心中·2023-03-24 20:07

基于 Docker 搭建 Hadoop 平台

基于Docker搭建完全分布式Hadoop平台前言环境遇到的坑折腾实录一、构建镜像1.准备JDK和Hadoop2.构建centos-hadoop镜像二、启动容器三、集群搭建1.进入容器2.配置主机名与IP

不思故亡·2023-03-24 18:10

Spark-2.3安装配置

下载安装官网下载解压即可环境变量配置SPARK_HOMEPATH启动spark-shell匹配的环境hadoop2.7匹配scala-2.11.*

playman·2023-03-24 16:14

162.Hadoop（一）：Hadoop基本概念，基本环境安装，单机运行，各虚拟机数据同步

目录一、Hadoop基本概念1.什么是Hadoop2.Hadoop的优势3.Hadoop组成4.HDFS概述5.YARN概述6.MapReduce概述7大数据整体的技术栈学历路径二、基本环境搭建1.配置虚拟机

鹏哥哥啊Aaaa·2023-03-23 21:57

在Windows操作系统上编译Hadoop源码

一、操作系统和Hadoop版本Windows10专业版（64位），Hadoop2.7.2。

winfield821·2023-03-23 00:20

******题目

0、hadoop1.x和hadoop2.x区别1、概念理解HDFS组成：1)NameNode(Master):主管,管理者1.管理HDFS的命名空间;2.副本配置策略;3.管理数据块(block)的映射信息

shone_shawn·2023-03-21 16:26

解决集群部署Hadoop 启动后没有ResourceManager问题

jps命令没有看到ResourceManager2.查看ResourceManager日志出现java.lang.reflect.InaccessibleObjectException异常解决方法1.停止hadoop2

_DiMinisH·2023-03-20 08:42

【DataSphereStudio - 1.1.0 安装介绍】

1.DataSphereStudio介绍2.DataSphereStudio安装2.1基础软件安装2.1.1注意事项2.1.2软件版本2.1.3需要的命令工具2.1.4创建用户配置权限及免密2.1.5Hadoop2.7.2

yuhh_·2023-03-19 11:45

Flink部署之Yarn

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。三台服务器的具体设置如下：节点服务器1，IP地址为192.168.8

Joker_Jiang3·2023-03-19 11:39

3.Spark环境搭建-Spark完全分布式集群搭建

用户搭建集群(生产环境中root用户不是可以任意使用的)spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/我用的spark-2.2.0-bin-hadoop2.7

__元昊__·2023-03-18 08:26

大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）

一、Hadoop概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（HadoopDistributedFileSystem）、MapReduce（Hadoop2.0加入了YARN

大数据老司机·2023-03-17 20:38

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目

weare_b646·2023-03-17 08:55

Linux常用的九个高级命令

它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存使用和执行时间对任务进行排序；而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定.命令与显示结果[itshare@hadoop201

满山李子·2023-03-15 17:43

pycharm常用配置

software/anaconda3/envs/pyspark_env/lib/python3.8/site-packages/pyspark/jars3.yarn使用hdfs:///tmp/zzdb/hadoop27

kangwq2017·2023-03-15 12:34

pyspark--报错java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST解决

环境Python3.5.2Pyspark2.4.2hadoop-2.6.0spark-2.2.0-bin-hadoop2.6.tgz运行spark本地报错：解决安装对应版本pysparkpipintsallpyspark

我心依依旧·2023-03-15 12:33

PySpark完美安装

一、hadoop版本号确认1.hadoop==>2.7.2[root@dm46TDH-Client]#hadoopversionHadoop2.7.2-transwarp-6.2.0Subversionhttp

kangwq2017·2023-03-15 12:31

03_HADOOP_01_介绍

学习视频是基于hadoop2.6.5版本，看官网截止20190818已到3.2.0版本，但该版本官网说明尚未普遍GA或生产可用。

超级小小张·2023-03-15 11:26

cassandra本地连接失败,Spark-Cassandra Connector：无法打开到Cassandra的本地连接

IamnewtoSparkandCassandra.Ontryingtosubmitasparkjob,IamgettinganerrorwhileconnectingtoCassandra.Details:Versions:Spark:1.3.1(buildforhadoop2.6orlater

林桂鑫·2023-03-15 08:55

hadoop2.9.1+spark2.3字数统计java实例集群运行（idea）

一搭环境Hadoop2.9.2+spark2.3参考https://blog.csdn.net/qazwsxpcm/article/details/78937820二实例运行1打开idea,file-new-project

葡萄超好吃·2023-03-15 07:50

win10下配置hadoop2.9（使用python单机运行任务）

先期准备：java环境已安装着手开始：1、下载hadoop稳定版：http://hadoop.apache.org/->左边点Releases->点mirrorsite->http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->stable/->hadoop-2.9.0.tar.gz点击即可下载。2、解压并配置hadoop环境，新建HAD

Gospel元嘉·2023-03-15 00:12

Pinpoint部署实践（二）搭设Hbase集群

Hbase集群搭建安装Hbase下载http://hbase.apache.org/downloads.html这里我选择的1.4.9版本，和上篇文章的Hadoop2.9.2版本能够兼容。

哲人王·2023-03-14 12:27

Flink实战之Flink必须依赖Hadoop2.7+？

背景最近在用filesystemconnector来写hdfs，底层是通过StreamFileSink实现的。在看官方文档时，有几条注意事项，其中第一条如下：WhenusingHadoopsrc=env.addSource(newFlinkKafkaConsumer("UTF-8")).withRollingPolicy(DefaultRollingPolicy.builder().build()

〇白衣卿相〇·2023-03-14 03:58

hadoop学习之hadoop简易安装配置

学习环境清单ubuntu16.04windows7hadoop2.9.0jdk8一下载安装hadoop首先创建好目录，用于后续文件的归类存放，执行下述命令sudomkdir-p/data/software

你看见皮卡丘了吗·2023-03-12 18:18

《十小时入门大数据》学习笔记之Hadoop分布式集群环境搭建

hadoop000:192.168.111.185hadoop001:192.168.111.186hadoop002:192.168.111.1871、机器准备1）安装虚拟机:使用的是CentOS7，用户名为hadoop2

腊月的梅花·2023-03-12 07:44

从Windows-VM15-Ubuntu-Spark搭建全流程-（四）搭建Hadoop

（四）搭建Hadoop硬件条件：JDK1.8（本系列文章一有分享如何下载）Ubuntu18.04LTS目的是要搭建Hadoop（单机版）第一步：下载Hadoop2.7.7从以下地址下载后解压到dev文件夹

fifi说·2023-03-10 21:56

8-点击流数据分析项目-Hive分析

文章目录8-点击流数据分析项目-Hive分析一、环境准备与数据导入1.开启hadoop2.导入数据二、创建hive表创建原始数据表（clickstreamdata-pre）：创建点击流pageview表

IT从业者张某某·2023-03-10 09:21

idea 使用maven的archetype模板来创建Spark 项目

目录[toc]版本Scala版本：2.11.8spark版本：spark-2.4.4-bin-hadoop2.7.tgz一、创建Scala工程1.创建maven项目打开Intellij,File->newproject

袭明·2023-03-10 08:34

Linux初学

1.常见的端口：443：https21:ftp80:http22:ssh-1:默认端口3306:mysql8888:宝塔6379：redis9000：hadoop2.常用命令：ipa：查看当前主机ip号

Tomtutu·2023-03-10 04:44

Yarn知识

slot的概念，最直接的方法就是是让任务直接向调度器申请自己需要的资源（比如某个任务可申请1GB内存和1个CPU），而调度器则按照任务实际需求为其精细地分配对应的资源量，不再简单的将一个Slot分配给它，Hadoop2.0

Shawn999·2023-03-09 12:47

Carbondata1.3.1+Spark2.1.0+Hadoop2.7.3集成问题记录（持续更新）

一、版本问题目前官方虽说支持了spark2.2.1，下载git代码后编译完全是可以通过的，但是在使用过程会出现问题。按照目前所验证的结果是，spark2.1.0版本和carbondata1.3.1版本是可以正常使用的。二、java.lang.NoClassDefFoundError:com/sun/jersey/api/client/config/ClientConfigjava.lang.NoC

Jonathan丶Wei·2023-03-09 11:09

hadoop所需要的各个版本的jar包下载站点

https://nowjava.com/jar/search/hadoop-hdfs-2.7.7.jar**对于Hadoop1.x.x版本，只需要引入1个jar：hadoop-core对于Hadoop2

翟梁举·2023-03-09 10:38

Hadoop高可用(HA)集群搭建

通过zookeeper集群与Hadoop2.X中的两个NameNode节点之间的通信，保证集群中总有一个可用的NameNode（即ac

five小点心·2023-03-09 07:03

马士兵spark学习

文档地址http://mashibing.com/wiki/Spark上传文件解压#cdtraining#tar-xvfspark-2.1.0-bin-hadoop2.7.tgz#rm-rfspark-

lehuai·2023-02-19 00:58

windows本地开发Spark[不开虚拟机]

1.windows本地安装hadoophadoop官网下载hadoop2.9.1版本1.1解压缩至C:\XX\XX\hadoop-2.9.11.2下载动态链接库和工具库1.3将文件winutils.exe

CMCST·2023-02-18 21:49

Hadoop2.x分布式集群部署12

一、Hadoop2.x分布式集群部署-HDFS1.hadoop2.x版本下载及安装https://archive.apache.org/disthttp://archive.cloudera.com/cdh5

麻帅·2023-02-17 22:29

hadoop（一）CentOS7安装单机版Hadoop2.7.3

CentOS7安装单机版Hadoop2.7.3前期准备安装java，拷贝oracle官网下载的jdk-8u111-linux-x64.rpm到虚拟机内。

文子轩·2023-02-17 09:48

Spark单机环境搭建

1.版本system:centos6.5jdk:1.8.0_141spark:spark-2.0.2-bin-hadoop2.62.下载安装Sparkjdk基础环境省略下载地址:http://spark.apache.org

陪你一起debug·2023-02-07 12:26

【大数据】第二章：搭建Hadoop集群（送尚硅谷大数据笔记）

两个常见面试题：1，Hadoop集群中常见的端口Hadoop2.xNameNode内部端口：8020/9000NameNod

DragonZhuCn·2023-02-06 19:03

[hadoop2.7.1]I/O之一步一步解析Text（基础知识及与String比较）

hadoop中的Text类，跟java中的String类很相似，在其定义的方法上，也多有相近之处，当然，由于用途的不同，两者之间还是有很大的区别的，那么，在分析Text类之前，先来回顾下java.lang.String类。1、java中的String类：String类代表字符串。Java程序中的所有字符串字面值（如"abc"）都作为此类的实例实现。字符串是常量；它们的值在创建之后不能更改。字符串缓

海兰·2023-02-06 16:26

hbase与mapduce集成

：全部copy进去可能会引起jar包之间的冲突方法二：将需要的hbase的jar包放入Hadoop的运行环境变量中exportHBASE_HOME=/opt/moduels/hbase-0.98.6-hadoop2exportHADOOP_CLASSP

一花一叶异世界·2023-02-05 00:32

hadoop cdh离线安装

转至元数据起始PageViewStatisticsHelpClosehadoop集群安装总结准备环境192.168.249.3hadoop1192.168.249.4hadoop2192.168.249.5hadoop3192.168.249.6hadoop4

weixin_46157243·2023-02-02 14:29

Hadoop 学习笔记整理二

大纲：一.大数据启蒙认识二.HDFS三.Hadoop1.0的非HA模式（SecondaryNameNode）四.Hadoop2.0或者3.0的HA模式今天的笔记是关于第二点Hadoop1.0的非HA模式

jackli0855·2023-02-02 02:07

MapReduce架构原理、执行过程详解

所以引进了新的Hadoop2.x的架构--基于Yarn的架构image.png术语解读ResourceManager：Yarn的资源管理器，负责管理和分配集群的资源，如内存、cpu、磁盘等NodeManager

胖滚猪学编程·2023-02-01 12:47

windows10环境安装spark-3.0.3-bin-hadoop2.7

windows10环境安装spark-3.0.3-bin-hadoop2.7和遇到的问题前言星光不问赶路人，时光不负有心人。

TF666666·2023-01-31 15:51

019 Hadoop 2.6 多节点集群设置及 Hadoop 安装

019Hadoop2.6MultiNodeClusterSetupandHadoopInstallation1.Hadoop2.6MultiNodeClusterSetupTutorial–ObjectiveHadoop1.2.6

胡巴Lei特·2023-01-31 06:14

Centos7系统搭建Hadoop2.8.5

1.下载Hadoop下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz2.安装三台虚拟机，实现SSH免密登录2.1首先安装3台虚拟机安装3台虚拟机，分别取名为hserver1、hserver2、hserver3,或者修改三台虚拟机的hostname。以下给出hserver

王阿根·2023-01-30 15:55

Hadoop2.0安装之非HA版

主要步骤跟Hadoop1.0(1.0安装地址)一致，主要在配置这块有更改安装下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/hadoop安装目录创建./tmp目录，./dfs/name，./dfs/data修改./etc/hadoop/hadoop-env.sh#设置JAVA_HOMEexportJAVA_HOME="/us

weixin_30449453·2023-01-30 15:21

Hadoop3.3.3集群安装

一、虚拟机准备本机配置：主机hadoop0:4c8gip配置为192.168.147.155从机hadoop1:1c1gip配置为192.168.147.156从机hadoop2:1c1gip配置为192.168.147.157Vmware

七羽319·2023-01-30 15:17

hadoop3 集群搭建

1环境准备hadoop1192.168.38.150jdk1.8hadoop2192.168.38.151jdk1.8hadoop3192.168.38.152jdk1.82环境准备#3台yuminstallsshpdsh

响彻天堂丶·2023-01-30 15:46

推荐频道

Hadoop2