Hadoop等大数据处理框架的Java API

Hadoop 是一个非常流行的大数据处理框架，主要用于存储和处理大规模数据集。Hadoop 主要有两个核心组件：HDFS（Hadoop Distributed File System）和 MapReduce。此外，还有许多其他组件，如 YARN（Yet Another Resource Negotiator）、HBase、Hive 等。下面详细介绍 Hadoop 及其相关组件的 Java API 及其使用方法。

Hadoop

Hadoop 的主要组件

1. HDFS：分布式文件系统，用于存储大规模数据。
2. MapReduce：分布式计算框架，用于处理大规模数据。
3. YARN：资源管理系统，用于调度和管理集群资源。
4. HBase：NoSQL 数据库，用于存储海量数据。
5. Hive：数据仓库工具，提供 SQL 接口用于查询 Hadoop 数据。

HDFS Java API

HDFS Java API 提供了对 HDFS 文件系统的操作支持，包括文件的创建、读取、写入等。

示例代码

1. 创建 HDFS 配置：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSDemo {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        FileSystem fs = FileSystem.get(conf);
    }
}

1. 上传文件到 HDFS：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;

public class UploadFileToHDFS {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        FileSystem fs = FileSystem.get(conf);
        Path localPath = new Path("/path/to/local/file.txt");
        Path hdfsPath = new Path("/hdfs/path/file.txt");

        fs.copyFromLocalFile(localPath, hdfsPath);
        System.out.println("File uploaded successfully.");
    }
}

1. 从 HDFS 下载文件：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class DownloadFileFromHDFS {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        FileSystem fs = FileSystem.get(conf);
        Path hdfsPath = new Path("/hdfs/path/file.txt");
        Path localPath = new Path("/path/to/local/file.txt");

        fs.copyToLocalFile(hdfsPath, localPath);
        System.out.println("File downloaded successfully.");
    }
}

1. 列出 HDFS 目录下的文件：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem