DFSClient

hadoop上传数据问题

hadoop上传数据问题 2011-06-14 22:07 当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传 数据时，有时候会出现dfsclient 端发生socket 链接超时的报错
·2015-11-08 14:30

hadoop mapreduce学习 Client部分

nbsp;   Mapreduce framework 同hdfs架构有类似的部分，分为JobTracker(对应Namenode)，TaskTracker（对应Datanode），Job（对应DFSClient
·2015-10-31 11:29

HDFS pipeline写 -- 客户端

上一篇说了datanode端如何处理pipeline写请求的，这里主要看DFSClient。 这里以append为例, write差不多。
·2015-10-31 10:37

HDFS dfsclient读文件过程 源码分析

HDFS读取文件的重要概念 HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在读取一个block的时候，数据传输的基本单位是packet，每个
·2015-10-30 12:36

hadoop "File /user//input/conf/slaves could only be replicated to 0 nodes, instead of 1"问题及解决办

安装hadoop的官方文档安装后，在伪分布式模式下运行 bin/hadoop fs -put conf input 出现以下异常 11/10/20 08:18:22 WARN hdfs.DFSClient
·2015-10-21 13:34

HDFS dfsclient写文件过程 源码分析

HDFS写入文件的重要概念 HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。 在写入一个block的时候，数据传输的基本单位是packet，
·2015-10-21 12:38

Bad connect ack with firstBadLink20121106

link:http://www.hadoopor.com/archiver/tid-71.html 14：09/08/31 18:25:45 INFO hdfs.DFSClient: Exception
·2015-10-21 10:19

FileSystem closed 异常问题

在用Java来读取hdfs上的文件时遇到下面问题：java.io.IOException:Filesystemclosed    atorg.apache.hadoop.hdfs.DFSClient.checkOpen
lw305080·2015-10-20 17:00

missing blocks错误

Datanode的日志中看到:10/12/1420:10:31INFOhdfs.DFSClient:Couldnotobtainblockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYYfromanynode
oDaiLiDong·2015-06-09 23:00

HDFS文件创建流程

文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode
超人学院66·2015-05-26 17:21

HDFS文件创建流程

文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode
超人学院66·2015-05-26 17:21

HDFS文件创建流程

文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode
超人学院·2015-05-26 17:00

解决HBase在数据大量写入时导致RegionServer崩溃问题

日志报错信息如下：warn：hdfs.DFSClient:DFSOutputStreamResponseProcessorexceptionforblockblk_xxxxjava.net.SocketTimeoutException
youting·2015-05-08 21:00

Hadoop错误集锦

BadconnectackwithfirstBadLink15/04/3016:46:04INFOhdfs.DFSClient:ExceptionincreateBlockOutputStream java.io.IOException
hgd250·2015-04-30 16:00

详解HDFS Short Circuit Local Reads

这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“LocalReads”。
newlife111·2015-04-24 16:00

Exception in createBlockOutputStream java.net.SocketException: 打开的文件过多

执行MapReduce程序报如下错误：15/03/2922:35:13INFOhdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.net.SocketException
caiandyong·2015-03-29 22:00

could only be replicated to 0 nodes, instead of 1

用三台Linux搭建hadoop环境时出错，master主机部分信息日志如下：2015-03-2817:13:12,147WARNorg.apache.hadoop.hdfs.DFSClient:ErrorRecoveryfornullbaddatanode
宋建勇·2015-03-28 17:00

could only be replicated to 0 nodes, instead of 1

用三台Linux搭建hadoop环境时出错，master主机部分信息日志如下：2015-03-2817:13:12,147WARNorg.apache.hadoop.hdfs.DFSClient:ErrorRecoveryfornullbaddatanode
宋建勇·2015-03-28 17:00

hdfs 的集中式缓存

集中缓存有两层概念： 第一层是缓存，即为存储在HDFS中文件提供缓存的机制，从而可以加速DFSClient对文件的读操作； 第二层概念是集中式的管理，传统的HDFS缓存依赖了OS本身的缓存机制，但是这种缓存机制不能被管理员或中央节点进行管理
乡里伢崽·2015-03-05 10:00

hdfs 的集中式缓存

阅读更多集中缓存有两层概念：第一层是缓存，即为存储在HDFS中文件提供缓存的机制，从而可以加速DFSClient对文件的读操作；第二层概念是集中式的管理，传统的HDFS缓存依赖了OS本身的缓存机制，但是这种缓存机制不能被管理员或中央节点进行管理
乡里伢崽·2015-03-05 10:00

Hadoop2.2.0 中错误总结之（org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test._COPYING）

xiajie01sbin]#hadoopfs-put/root/20131210110122880.doc hdfs://192.168.30.169:9000/test15/01/2803:11:27WARNhdfs.DFSClient
ZuoAnYinXiang·2015-01-28 19:00

hadoop rpc客户端初始化和调用过程详解

本文主要记录hadooprpc的客户端部分的初始化和调用的过程，下面的介绍中主要通过DFSClient来说明，为什么用DFSClient呢？
彭苏云·2015-01-28 00:00

hadoop运维笔记1

mapreduce实例时,抛出错误java.io.IOException:Alldatanodesxxx.xxx.xxx.xxx:xxxarebad.Aborting…atorg.apache.hadoop.dfs.DFSClient
xiaowei2002·2015-01-20 15:00

hadoop运维笔记1

Aborting… at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSCl
xiaowei2002·2015-01-20 15:00

Hadoop 运维（1）NoRouteToHostException: No route to host

当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.net.NoRouteToHostException
徐龙平·2015-01-20 11:26

Hadoop 运维（1）NoRouteToHostException: No route to host

当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.net.NoRouteToHostException
徐龙平·2015-01-20 11:26

hadoop运维笔记1

mapreduce实例时,抛出错误java.io.IOException:Alldatanodesxxx.xxx.xxx.xxx:xxxarebad.Aborting…atorg.apache.hadoop.dfs.DFSClient
xiaowei2002·2015-01-20 07:00

实现hive proxy5-数据目录权限问题解决

创建目录时相关的几个hdfs中的类:org.apache.hadoop.hdfs.DistributedFileSystem，FileSystem 的具体实现类org.apache.hadoop.hdfs.DFSClient
菜菜光·2014-12-18 23:45

实现hive proxy5-数据目录权限问题解决

创建目录时相关的几个hdfs中的类:org.apache.hadoop.hdfs.DistributedFileSystem，FileSystem 的具体实现类 org.apache.hadoop.hdfs.DFSClient
菜菜光·2014-12-18 23:45

实现hive proxy5-数据目录权限问题解决

创建目录时相关的几个hdfs中的类:org.apache.hadoop.hdfs.DistributedFileSystem，FileSystem 的具体实现类 org.apache.hadoop.hdfs.DFSClient
菜菜光·2014-12-18 23:45

hadoop上传文件到hdfs出错

Hadoopfs-put/opt/program/userall20140828hdfs://localhost:9000/tmp/tvbox/上传文件到hdfs是出现错误14/12/1117:57:49WARNhdfs.DFSClient
u011698346·2014-12-12 17:00

hadoop2.x HA下DFSClient初始化流程

本文将从源码角度分析以下两个问题：1.DFSClient的初始化过程。2.在ActiveNN宕机的时候，如何做到自动切换。1.DFSClient的初始化：主要涉及的类有以
_hadooper·2014-11-21 16:00

Filesystem closed

java.io.IOException:Filesystemclosed atorg.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:232)
posa88·2014-11-11 20:00

解决HBase Replication在数据大量写入时导致RegionServer崩溃问题

异常日志如下：2014-10-2910:40:44,225WARNorg.apache.hadoop.hdfs.DFSClient:DFSOutputStreamResponseProcessorexceptionforblockblk
liangtee·2014-10-29 12:00

详解HDFS Short Circuit Local Reads

这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“LocalReads”。
jewes·2014-10-17 18:00

hadoop配置 - DFSClient Packet dfs.write.packet.size

HBase里面调用DFSOutputStream的方法常用的是：write、sync write会往当前Packet里面写数据，sync会强制生成一个Packet。在DFSClientPacket里面每次都会new一个bigbytearray，size是65557(morethan64K，data+checksum+head)，由于sync会强制生成Packet，对于小kv数据来说，实际的数据会比
Mrknowledge·2014-07-16 11:00

Hadoop报错：NoRouteToHostException: No route to host

当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.net.NoRouteToHostException
Mrknowledge·2014-06-17 16:00

问题(1)

错误信息：    14/04/1720:53:09ERRORhdfs.DFSClient:Failedtoclosefile/datas/_temporary/_attempt_local_0001_r
肖鋭·2014-05-31 23:00

FileSystem close Exception

的日志中查看错误信息（hadoop-hadoop-jobtracker-steven.log），发现：2014-05-0917:42:46,811ERRORorg.apache.hadoop.hdfs.DFSClient
jueshengtianya·2014-05-09 18:00

DFSClient Packet dfs.write.packet.size

在DFSClient Packet里面每次都会new 一个 big byte array，size 是65557(more than 64K，data+checksum+head)，由于sync会强制生成
zhaomengsen·2014-05-05 08:00

DFSClient Packet dfs.write.packet.size

在DFSClient Packet里面每次都会new 一个 big byte array，size 是65557(more than 64K，data+checksum+head)，由于sync会强制生成
zhaomengsen·2014-05-05 08:00

hadoop源码 - Client代码结构

Client核心代码有DistributedFileSystem和DFSClient。DistributedFileSystem扩展子FileSystem，在为客户端提供一个文件系统接口实现。
Mrknowledge·2014-04-30 15:00

hadoop源码 - HDFS write流程分析(Hadoop2.0)

通过DistributedFileSystem.create()方法创建文件，其实就是通过DistributedFileSystem内部wrapper的DFSClient向Name
Mrknowledge·2014-04-30 15:00

HDFS中的集中缓存(Centralized Cache Management in HDFS)

集中缓存有两层概念：第一层是缓存，即为存储在HDFS中文件提供缓存的机制，从而可以加速DFSClient对文件的读操作；第二层概念是集中式的管理，传统的HDFS缓存依赖了OS本身的缓存机制，但是这种缓存机制不能被管理员或中央节点进行管理
colzer·2014-04-30 13:16

HDFS中的集中缓存(Centralized Cache Management in HDFS)

集中缓存有两层概念：第一层是缓存，即为存储在HDFS中文件提供缓存的机制，从而可以加速DFSClient对文件的读操作；第二层概念是集中式的管理，传统的HDFS缓存依赖了OS本身的缓存机制，但是这种缓存机制不能被管理员或中央节点进行管理
ColZer·2014-04-30 13:00

Exception in createBlockOutputStream 04 java.io.IOException: Bad connect ack with firstBadLink

13/12/2521:29:46INFOhdfs.DFSClient:ExceptionincreateBlockOutputStream04java.io.IOException:BadconnectackwithfirstBadLinkas192.168.10.101
w13770269691·2014-04-18 22:00

HDFS dfsclient写文件过程

HDFS写入文件的重要概念HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在写入一个block的时候，数据传输的基本单位是packet，每个pa
Mrknowledge·2014-04-08 11:00

补：lease add/recovery补充说明

2.DFSClient主动close一个流的时候.3.LeaseManager中的moniter线程周期性的checkLease
Mrknowledge·2014-04-04 09:00

is dfsclient caches the data block to local disk before writing?

Question:Isstagingstillusedinhdfswhenwritingthedata?ThisdoubtarosewhenIwasgoingthroughthehdfsdocuments. ref:http://hadoop.apache.org/hdfs/docs/current/hdfs_design.html#Staging Ibelievedfsclientdoesno
Mrknowledge·2014-04-02 17:00

hadoop 2.2.0 cluster errors messages

HDFS using #hadoop fs -put in.txt  /test,  there is a error message:    hdfs.DFSClient
ylzhj02·2014-03-23 23:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他