HDFS Java API的使用实例

  HDFS是Hadoop程序中主要使用的文件分布系统,HDFS集群主要由管理文件系统元数据的NameNode和实际存储数据的DataNode组成的

  HDFS架构图描述了NameNodeDataNode客户端之间的基本交互,客户端联系NameNode对文件和元数据进行修改。并直接使用DataNode执行实际的文件 I /O

 

Hadoop支持Xshell命令直接与HDFS进行操作,同时也支持Java API对HDFS进行文件的创建 修改 删除 下载 上传等操作。

 使用Java API操作 HDFS主要涉及到以下几个类:

Configuration  提供了我们对配置参数的访问
FileSystem     FileSystem基于Configuration创建FileSystem对象,为了调用FileSystem里面的相关方法对应具体的(上传 创建 删除 下载等一系列对HDFS文件系统的操作)
path            在FileSystem中提供文件的路径和命名文件
FSDataInputStream和FSDataOutputStream  这两个分别是HDFS中的输入和输出流
下列是 JAVA API具体操作HDFS过程
我们首先创建一个Maven项目,在Pom.xml中导入hadoop的jar包,笔者这里用的是2.7.6

HDFS Java API的使用实例_第1张图片

然后我们打开我们的远程文件,将linux中hadoop中的core-site.xml和hdfs-site.xml文件拿下来放入项目的 resource文件夹中,如下图是笔者的配置

HDFS Java API的使用实例_第2张图片

 

HDFS Java API的使用实例_第3张图片

 

HDFS Java API的使用实例_第4张图片

然后我们创建一个Java类,如下图,我们可以将写好的方法放入main中调用查看测试结果

HDFS Java API的使用实例_第5张图片

查看HDFS中所有的文件和内容,想看具体的话就在/后面累加文件的名字

HDFS Java API的使用实例_第6张图片

将HDFS中文件下载到我们本地

HDFS Java API的使用实例_第7张图片

将HDFS中文件名称进行修改

HDFS Java API的使用实例_第8张图片

在HDFS中创建文件的目录和文件(这也是对HDFS中进行具体操作的,所以也需要New URI)

HDFS Java API的使用实例_第9张图片

追加内容到HDFS文件中

HDFS Java API的使用实例_第10张图片

 

你可能感兴趣的:(HDFS)