IEDA编写的 java SparkAPI 读取CSV文件,用spark sql简单处理结果并保存到MySQL数据库的代码实现

实现的需求:
1. 读csv将Tiler中含有T的数据过滤出来。
2. 创建flag列,将201903>201902时flag值为up否则为down
3. 将结果插入到MySql数据库。
废话不多说,直接上代码:
--------------------------------------------------------------------------------
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;

import java.util.HashMap;
import java.util.Properties;

public class SparkCsvDemo {
    

    public static void main(String[] args) {

String hdfsInAddress = "D:\\DevTemp\\AWS\\";//"hdfs://192.168.209.129:9000/"; //server ip
String inputAddress = "";//"in/";
String csvFileName="emr-demo-data.csv";

你可能感兴趣的:(学习笔记)