Spark编程实现简例
对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。
输入文件A的样例如下：
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 z
输入文件B的样例如下：
20170101 y
20170102 y
20170103 x
20170104 z
20170105 y
根据输入的文件A和B合并得到的输出文件C的样例如下：
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z
（1）已知数据文件A和B均在HDFS上。
（2）结果保存到MySql中，请设计结果表，并完整写出源码。
（3）将所有功能整合的一个客户端程序中。
环境说明
IDEA 2022.2.3
Vmware
Hadoop 2.7.7
Spark 3.1.3
源码
将数据文件上传至hdfs：
@Before
public void init() throws IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://master1:9000");
System.setProperty("HADOOP_USER_NAME", "root");
hdfs = FileSystem.get(conf);
}
@After
public void close() throws IOException {
if (hdfs != null) {
hdfs.close();
}
}
@Test
public void testUploadFileToHDFS() throws IOException {
final String localFilePath = "e:/HDFS/A.txt";
final String hdfsFilePath = "/RDD/output/A.txt";
try (FileSystem hdfs = FileSystem.get(new Configuration())) {
Path src = new Path(localFilePath);
Path dst = new Path(hdfsFilePath);
hdfs.copyFromLocalFile(src, dst);
System.out.println("上传成功");
} catch (IOException e) {
e.printStackTrace();
}
}}
合并：
import org.apache.spark.sql.SparkSession
object Main {
def main(args: Array[String]) {
val spark = SparkSession.builder.appName("MergeAndSaveToMySQL").getOrCreate()
// 读取输入文件A和B，并为每个字段指定别名
val inputA = spark.read.text("/user/your_username/RDD/output/A.txt")
.selectExpr("value as id", "substring(value, 11, 1) as name") // 指定日期和字母字段
val inputB = spark.read.text("/user/your_username/RDD/output/B.txt")
.selectExpr("value as id", "substring(value, 11, 1) as name") // 指定日期和字母字段
// 合并两个数据集
val mergedData = inputA.union(inputB)
// 将结果保存到MySQL中
mergedData.write.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/myBase")
.option("dbtable", "result")
.option("user", "root")
.option("password", "123456")
.save()
spark.stop()
}
}
object MainClient {
def main(args: Array[String]): Unit = {
MergeAndDeduplicate.main(Array())
}
}
运行结果
