【Hadoop】Hadoop车辆数据存储

Hadoop车辆数据存储

      本作业旨在实现将车辆数据按天存储到Hadoop分布式文件系统(HDFS)中,并根据数据文件大小分割成多个文件进行存储。数据格式为JSON。


作业要求

  • 车辆数据按天存储,每天的数据存储在一个文件夹下。
  • 数据文件以JSON格式存储。
  • 如果数据文件大于100M,则另起一个文件存储。
  • 每天的数据总量不少于300M。

实现方法

1. 代码说明

以下是用Java编写的实现代码:
1.导入类

// 导入必要的类
import java.io.File;
import java.io.FileInputStream;
import java.net.URI;
import java.time.LocalDate;
import java.time.format.DateTimeFormatter;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.ha

你可能感兴趣的:(java,hadoop)