dfs文件系统在哪里

 
hadoop使用笔记
下面提到的操作都是基于我的这个hadoop安装方法的:
http://blog.chinaunix.net/u3/99156/showart.php?id=2156593

按 照Hadoop官网中的Quick start操作
(这里 http://hadoop.apache.org/common/docs/current/quickstart.html )启动hadoop。

1.Hadoop默认创 建的dfs文件系统在哪里?
/tmp/hadoop-xxxxx/,每次重启系统之后,这个文件系统就不存在了,正在研究如何指定 dfs的目录。

2.Hadoop dfs文件操作。
具 体参数请看bin/hadoop dfs中的说明,这里只作简单的介绍:


- put localfile dst

上 传,上传之后文件名不在是本地的文件名,但是内容是没有变的,也就是内容没有经过压缩(我测试上传的文件很小,不排出在大文件的情况下会出现压缩或文件分 片的情况)。
这里
有人回答:当从本地向hdfs 复制文件时,且本地文件非常大,hdfs是如何 存储它的。从文件头开始均匀按块划分,各块均衡地分布存储到集群的各节点上,默认每块大小为64M,而且是完全地存储在DataNode节点上,以文件的 形式存在.
我测试的文件存储在/tmp/hadoop-xxxx/dfs/data /current/blk_xxxxxxxxxx

- get dfssrc localdst

下载

- ls

跟bash一样,这时列出的名字即是上传之前的localfile的名字,说明很可能在dfs存储中保存了一个本地文件名字到dfs 文件名字的映射

你可能感兴趣的:(dfs文件系统在哪里)