hadoop hdfs 常用操作java代码

package hadoopTest;

import java.io.IOException;
import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;

public class MKdir {

    /**
     * @描述：创建文件
     * @作者：曹碧刚
     * @时间：2015年10月15日 上午11:32:24
     * @throws Exception
     */
    private static void mkdir() throws Exception{
        Configuration conf = new Configuration();
        FileSystem fileSystem =FileSystem.get(conf);
        Path path = new Path("hadoop_test");
        fileSystem.mkdirs(path);
    }
    
    /**
     * @描述：删除文件
     * @作者：曹碧刚
     * @时间：2015年10月15日 上午11:33:05
     * @throws IOException
     */
    private static void deletedir() throws IOException{
        Configuration conf = new Configuration();
        FileSystem fileSystem =FileSystem.get(conf);
        Path path = new Path("hadoop_test");
        fileSystem.delete(path,true);
    }
    
    /**
     * @描述：写文件
     * @作者：曹碧刚
     * @时间：2015年10月15日 上午11:37:46
     * @param args
     * @throws IOException
     * @throws Exception
     */
    private static void writerFile() throws IOException{
        Configuration conf = new Configuration();
        FileSystem fileSystem =FileSystem.get(conf);
        Path path = new Path("hadoop_test.txt");
        FSDataOutputStream dataOutputStream = fileSystem.create(path);
        dataOutputStream.writeUTF(" hello hadoop test");
    }
    
    /**
     * @throws IOException
     * @描述：读文件
     * @作者：曹碧刚
     * @时间：2015年10月15日 上午11:42:06
     */
    private static void readFile() throws IOException{
        Configuration conf = new Configuration();
        FileSystem fileSystem =FileSystem.get(conf);
        Path path = new Path("hadoop_test.txt");
        if(fileSystem.exists(path)){
            FSDataInputStream dataInputStream = fileSystem.open(path);
            FileStatus fileStatus = fileSystem.getFileStatus(path);
            byte b[] = new byte[Integer.parseInt(String.valueOf(fileStatus.getLen()))];
            dataInputStream.readFully(b);
        }
    }
    
    /**
     * @描述：遍历目录文件
     * @作者：曹碧刚
     * @时间：2015年10月15日 下午1:21:32
     * @throws IOException
     */
    private static void listDir() throws IOException{
        Configuration conf = new Configuration();
        FileSystem fileSystem =FileSystem.get(conf);
        Path path = new Path("/");
        
        FileStatus []fileStatus =  fileSystem.listStatus(path);
        print(fileStatus);
    }
    
    private static void print(FileStatus []fileStatus){
        for (int i = 0; i < fileStatus.length; i++) {
            FileStatus status = fileStatus[i];
            if(status.isDir()){
                
            }else{
                System.out.println(status.getPath().getName());
            }
        }
    }
    
    /**
     * @throws Exception
     * @描述：文件位置
     * @作者：曹碧刚
     * @时间：2015年10月15日 下午1:26:13
     */
    private static void fileLocal() throws Exception{
        Configuration conf = new Configuration();
        FileSystem fileSystem =FileSystem.get(conf);
        Path path = new Path("/user/centos");
        FileStatus fileStatus = fileSystem.getFileStatus(path);
        
        BlockLocation[] blockLocations = fileSystem.getFileBlockLocations(fileStatus, 0,fileStatus.getLen());
        
        for (int i = 0; i < blockLocations.length; i++) {
            String hosts[] = blockLocations[i].getHosts();
            for (int j = 0; j < hosts.length; j++) {
                System.out.println(hosts[j]+""+blockLocations[i].getLength());
            }
        }
    }
    
    /**
     * @throws IOException
     * @描述：节点信息
     * @作者：曹碧刚
     * @时间：2015年10月15日 下午1:31:30
     */
    private static void nodeDesc() throws IOException{
        Configuration conf = new Configuration();
        FileSystem fileSystem =FileSystem.get(conf);
        
        DistributedFileSystem distributedFileSystem =(DistributedFileSystem)fileSystem;
        DatanodeInfo datanodeInfo [] = distributedFileSystem.getDataNodeStats();
        for (int i = 0; i < datanodeInfo.length; i++) {
            System.out.println(datanodeInfo[i].getHostName() +"  "+datanodeInfo[i].getNonDfsUsed());
        }
    }
    
    /**
     * @描述：注意，不能这么运行
     * @作者：曹碧刚
     * @时间：2015年10月15日 下午2:01:54
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        String arg ="";
        Scanner scanner = new Scanner(System.in);
        
        System.out.println("1、创建文件");
        System.out.println("2、删除文件");
        System.out.println("3、文件位置");
        System.out.println("4、遍历目录文件");
        System.out.println("5、节点信息");
        System.out.println("6、读文件");
        System.out.println("7、写文件");
        
        boolean isconture = true;
        while(isconture){
            arg = scanner.next();
            if("1".equals(args)){
                mkdir();
            }else if("2".equals(args)){
                deletedir();
            }else if("3".equals(args)){
                fileLocal();
            }else if("4".equals(args)){
                listDir();
            }else if("5".equals(args)){
                nodeDesc();
            }else if("6".equals(args)){
                readFile();
            }else if("7".equals(args)){
                writerFile();
            }
            
            System.out.println("是否继续 y/n");
            if(scanner.next().equals("n")){
                isconture = false;
            }
        }
        scanner.close();
    }
}