DataNode

(大数据)面试题汇总

HDFS中，NameNode与DataNode的作用？SecondaryNameNode的作用以及与NameNode的区别和联系?什么是集群安全模式？什么情况下会进入安全模式？以及安全模式的解决方法？
菜鸟也学大数据·2020-11-04 23:27

排坑--阿里云SparkSQL在本地IDEA中连接Hive时，连接不上NameNode时。

除了把hdfs-site.xml,core-site.xmk,hive-site.xml放进去之后，还有修改hdfs-site.xml中的文件dfs.client.use.datanode.hostnametrue
New灬soul·2020-11-04 10:21

HDFS中小文件的排查方式之分析fsimage

问题clouderamanager监控页面HDFS大部分机器出现类似告警"存在隐患:DataNode有xxxxxx个块。警告阈值：500,000块。"
qingzhongli·2020-10-28 16:43

大数据私房菜面试题

一.Hadoop1.hdfs写流程2.hdfs读流程3.hdfs的体系结构4.一个datanode宕机,怎么一个流程恢复5.hadoop的namenode宕机,怎么解决6.namenode对元数据的管理
Saiheihua·2020-10-24 22:00

HDFS读流程

HDFS采用主从结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。
nil_ddea·2020-10-19 00:47

大数据_06 【hadoop HDFS文件读写流程】

大数据_06【hadoopHDFS文件读写流程】01文件写入过程02文件读取过程03数据校验04DataNode节点丢失周期05DataNode的目录结构01文件写入过程详细步骤解析：1、client发起文件上传请求
扭转乾坤=·2020-10-12 17:03

hadoop环境搭建

、集群节点配置及服务主机名角色运行服务安装目录tinygao1MasterNameNodeResourceManager/data/program/hadoop-2.8.0/tinygao2SlaveDataNodeNodeManager
hello高world·2020-10-11 16:48

Hadoop大数据平台架构与实践-基础篇

MapReduce:并行计算二、HDFS基本概念block块：固定大小为64M的逻辑单元，HDFS的文件被分成块进行存储NameNode：是管理节点，存放文件元数据①文件与数据块的映射表②数据块与数据节点的映射表DataNode
Derrick_Xu·2020-10-11 12:24

Hadoop基础

2，Master上运行NameNode，SecondaryNameNode，TaskTrackerSlave上运行DataNode和JobTracker3，通常来说Master上运行唯一的NameNode
曦宝·2020-10-11 05:09

20180601早课记录23-Hadoop

按启动顺序说NameNode,DataNode,SecondaryNameNode3.一个文件180M，请问实际存储多少，多少块?多少maptask?
K_un·2020-10-11 02:26

HDFS的SecondaryNameNode相关问题

HDFSHDFS采用Master/Slave的架构来存储数据，该架构主要由四个部分组成HDFSClientNameNodeDataNodeSecondaryNameNodeHDFS体系结构HDFS体系结构
小小少年Boy·2020-10-10 12:30

Hadoop_HDFS之数据读取、写入详解，存放机制 周期

HDFS之数据读取、写入详解，存放机制HDFS全称HDFS组成部分HDFS存储数据的方式数据副本机制数据副本存放机制HDFS存储数据的方式什么是名字空间NameNode的作用DataNode的作用HDFS
qq_45798620·2020-10-09 15:36

Hadoop框架：HDFS读写机制与API详解

NameNode请求上传文件；NameNode检查目标文件和目录是否已经存在；NameNode响应客户端是否可以上传；客户端请求NameNode文件块Block01上传服务位置；NameNode响应返回3个DataNode
知了一笑·2020-10-09 13:07

Hadoop完全分布式集群搭建

集群规划HDFS:1个NameNode+n个DataNode+1个2NNYARN:1个ResourceManager+n个NodeManagerhadoop1hadoop2hadoop3DNDNDNNMNMNMNNRM2NN
WillLiaowh·2020-10-09 13:42

hadoop配置-配置伪分布无法启动datanode

在部署hadoop伪分布时,运行start-all.sh后,终端输入jps,发现datanode没有启动按照hadoop-3.2.1-libexec-logs-xxxdatanodexx.log这个路径找到日志文件
chain_xx_wdm·2020-10-09 12:25

ZooKeeper 数据结构

一个DataTree的每个节点是DataNode来表示。以上就是ZooKeeper中的znode的数据结构了。ZkDataBase读数据和写
老污的猫·2020-10-09 12:36

CDH新增计算节点，并对新增的计算节点，添加服务角色的详细具体步骤

准备好linux环境配置hadoop账号，ssh免密，关掉防火墙，磁盘挂载1：创建hadoop账号useraddhadoop２：ssh无密码登陆suhadoopssh-keygen-trsa#复制到所有datanode
阿啄debugIT·2020-10-07 22:39

重复格式化集群该怎么办

注意：如果只想解决这个问题可以跳过1,2直接看3和4的解决步骤一键启动集群查看datanode的日志在哪里shstart-all.sh进入日志查看用shift+g进入末行模式，在往上翻，看到第一个INFO
qian_peng·2020-10-07 20:22

Hadoop框架：HDFS读写机制与API详解

NameNode请求上传文件；NameNode检查目标文件和目录是否已经存在；NameNode响应客户端是否可以上传；客户端请求NameNode文件块Block01上传服务位置；NameNode响应返回3个DataNode
知了一笑·2020-09-30 10:43

Hadoop框架：HDFS读写机制与API详解

NameNode请求上传文件；NameNode检查目标文件和目录是否已经存在；NameNode响应客户端是否可以上传；客户端请求NameNode文件块Block01上传服务位置；NameNode响应返回3个DataNode
·2020-09-30 10:00

2020Java面试大数据常见面试题+参考答案总结

Hadoop=HDFS+Yarn+MapReduce+Hive+Hbase+…1).HDFS:分布式文件存储系统主：namenode,secondarynamenode从：datanode2).Yarn
XingXing_Java·2020-09-29 15:32

大数据平台Hadoop集群搭建

HDFS是一个分布式文件系统，类似mogilefs，但又不同于mogilefs，hdfs由存放文件元数据信息的namenode和存放数据的服务器datanode组成；hdfs它不同于mogilefs，hdfs
Linux-1874·2020-09-28 01:00

3. Hadoop分布式集群部署

配置方案如下：bigdata1bigdata2bigdata3HDFSNameNodeSecondaryNameNodeDataNodeDataNodeDataNodeYARNnodeManagerResourceMangerNodeManagernodeManager
易成·2020-09-27 07:34

Hadoop 完美解决start-all.sh不能启动resourcemanager的问题

一、集群描述主机：CentOS7.8jdk1.8hadoop、hive、hbase、zookeeper：CDH5.14.2namenodedatanode1datanode2NameNode✔（主）✔（
Pineapple_C·2020-09-26 17:32

MySQL中间件MyCat配置参数列表，schema.xml ,server.xml,rule.xml，MyCat配置参数详解，Mycat中的两个主要Buffer池，BufferPool的二级缓存

配置参数详解一、MyCat中常用的三个配置二、rule.xml1、tableRule标签2、function标签三、schema.xml1、schema标签2、table标签3、childTable标签4、dataNode
csdn-华仔·2020-09-17 23:59

MySQL中间件MyCat配置参数列表，schema.xml ,server.xml,rule.xml，MyCat配置参数详解，Mycat中的两个主要Buffer池，BufferPool的二级缓存

配置参数详解一、MyCat中常用的三个配置二、rule.xml1、tableRule标签2、function标签三、schema.xml1、schema标签2、table标签3、childTable标签4、dataNode
csdn-华仔·2020-09-17 23:59

Hadoop YARN 从节点NodeManager异常

重启服务后，有个从节点只运行了DataNode而没有NodeManager进程，查看日志报错如下。
vickeex·2020-09-17 15:59

Windows下mysql客户端访问Linux下mysql-cluster的SQL节点服务器

集群环境部署：55.133mgmnodeCentOS555.10datanode+sqlnodeCentOS555.9datanode+sqlnodeCe
gongmimi·2020-09-17 15:00

MapReduce运行到YARN的过程详解

提交作业job比如统计4G文件中每个单词出现的次数统计结果在hadoop环境下提交作业的语句：bin/yarnjarXXX.jarMainClassargs2、主节点ResourceManager在某个DataNode
liumeifang95·2020-09-17 13:33

Hadoop启动报错NoClassDefFoundError: javax/activation/DataSource解决方案

如果Hadoop完成正常启动后，我们用jps应该能看到以下5个进程：NameNode、SecondaryNameNode、DataNode、NodeManager、ResourceManager但是发现
Java高知社区·2020-09-17 13:11

启动namenode的时候没有启动secondarynamenode

blog.csdn.net/qq_37076742/article/details/83104395我出现的问题是在配置有namenode机器上输入start-dfs.sh命令的时候，过一会儿就会一直阻塞在那里，而其它的机器datanode
忙里逍遥·2020-09-17 12:22

HDFS知识点

DataNode包含了两部分内容：首先是存储的数据本身；然后是数据的元数据信息（元数据包括了数据块的长度、时间戳、块数据的校验和）！
weixin_37886463·2020-09-17 10:17

hadoop ubuntu 安装

集群包含三个节点：1个namenode，3个datanode，节点之间局域网连接，可以相互ping通。
xuhaipeng·2020-09-17 09:07

CDH Hadoop HDFS EOFException异常的问题

CDHhadoopHDFS系统中，看了下出现异常的DataNode节点日志018-09-0423:24:38,446WARNorg.apache.hadoop.hdfs.server.datanode.DataBlockScanner
大树叶·2020-09-17 06:10

【错误】The node /hbase is not in ZooKeeper，Hbase端口占用无法正常启动

Hbase的时候，发现JPS进程中不显示HMaster进程，如下：[hadoop@hadoop000bin]$jps3936NameNode4241SecondaryNameNode6561Jps4041DataNode3418QuorumPeerMain
疯兔子大叔·2020-09-17 06:17

hadoop的datanode无法启动

lreadybeenused.2020-07-2919:06:58,917INFOorg.apache.hadoop.hdfs.server.common.Storage:Storagedirectory[DISK]file:/opt/data2/hasalreadybeenused.2020-07-2919:06:58,948INFOorg.apache.hadoop.hdfs.server.c
落叶·2020-09-17 05:01

Hadoop错误1_Hadoop分布式及伪分布式下DataNode不能启动的问题

问题导读：1、hadoop完全分布式和伪分布式下datanode无法启动的原因？2、怎么解决？问题描述：在集群模式下更改节点后，启动集群发现datanode一直启动不起来。
Wang_Zhenwei·2020-09-17 05:00

Hadoop数据节点DataNode异常

CentOS7.664位Hadoop版本：Hadoop2.8.5JDK：1.8.0_2012、问题描述使用start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode
Eddie-Wang·2020-09-17 05:29

Hadoop没有datanode节点解决

jps23488NameNode23746SecondaryNameNode24100Jps23959ResourceManager24057NodeManager9068Bootstrap可以看到少了DataNode
漫天雪_昆仑巅·2020-09-17 05:57

DataNode: Exception in BPOfferService for Block pool BP解决方法

问题描述：hadoop启动hdfs的时候namenode和datanode进程都存在，但是感觉不到datanode的存在，也就是LiveNodes和DeadNodes都是0，异常信息：datanode.DataNode
小网客·2020-09-17 05:40

解决启动hadoop时datanode无法启动

http://jingyan.baidu.com/article/3c343ff7e75e9e0d36796347.html
范红康·2020-09-17 05:08

解决启动hadoop时datanode无法启动

hadoopnamenode-format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VERSION文件，记录clusterID，datanode
小蘑菇爱吃草·2020-09-17 05:25

【解决办法】Hadoop2.6.4 datanode 无法启动，错误：All specified directories are failed to load.

在部署hadoop2.6.4集群的时候碰到下面的错误FATALorg.apache.hadoop.hdfs.server.datanode.DataNode:InitializationfailedforBlockpool
明宇李·2020-09-17 05:19

hadoop 中datanode无法启动

今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoopdfsadmin-report查看系统状态admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/hadoopdfsadmin-reportConfiguredCapacity:0(0KB)PresentCapacity:0(0KB)DFSRem
lijun2087·2020-09-17 04:30

关于hadoop中datanode没启动的系列问题

最近学习了Hadoop的使用，而在运用HBase的之前，是要将Hadoop启动的，正常来说，我们都启动之后输入jps，会出现8行但是最开始经过配置之后，我的虚拟机是不显示datanode的，通过查看log
LeavetheMessage·2020-09-17 04:55

NameNode多次Format后DataNode无法启动的问题

1.NameNode格式化两次后，DataNode无法启动，查看日志，有如下错误：2014-07-0608:22:40,506FATALorg.apache.hadoop.hdfs.server.datanode.DataNode
陈振阳·2020-09-17 04:57

Cloudera集群在运行中常见的问题，及解决方案

1、某台datanode机器启动不起来某台datanode机器启动不起来，报错信息如下具体问题FailedtoanalyzestoragedirectoriesforblockpoolBP-177636967
阿啄debugIT·2020-09-17 04:41

[Hadoop]Cannot access storage directory.Failed to analyze storage directories for block pool.

DataNode启动不了vimhadoop-hadoop-datanode-slave.log关掉hadoop，删掉hadoop/data下的文件，重新启动Hadoop即可。
Balmunc·2020-09-17 04:58

DataNode无法启动，All specified directories are failed to load

Namenode节点因网络问题挂掉以后，整个集群的datanode等服务也相继挂了，待修复网络问题，并且启动集群后发现有两个datanode节点无法启动，查看日志发现其报错如下：017-12-2023:
weixin_33811961·2020-09-17 04:35

hadoop2 datanode启动异常解决步骤

1.datanode起不来2016-11-2509:46:43,685WARNorg.apache.hadoop.hdfs.server.datanode.DataNode:Invaliddfs.datanode.data.dir
weixin_30294021·2020-09-17 04:33
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他