SparkSQL数据提取和保存

在前面我们学习了RDD的算子还有分区器，今天我们来一起完成一个大一点的案例，通过案例来巩固学习内容。

下面来做一个综合案例：读入csv文件中的数据，并做简单的数据筛选，然后 写入数据到数据库。

准备工作：建立一个.csv文件，然后添加基本数据。

11,name,age
12,xiaoming,24
13,小花,19
 

import org.apache.spark.sql.SparkSession
 
import java.util.Properties
 
object SparkSQL03 {
  def main(args: Array[String]): Unit = {
    val spark =SparkSession.builder().appName("SparkSQL03").master("local[*]").getOrCreate()
 
    //创建一个properties对象，用来储存mysql的连接信息
    val prop = new Properties()
    prop.setProperty("user","root")
    prop.setProperty("password","000000")
    //读取数据
    val df = spark.read.csv("input/user.csv").toDF("id","name" ,"age")
    //过滤年龄<20的数据
    val df1 = df.filter(df("age")>20)
    //将数据写入到mysql的数据库中的user表中
    df1.show()
 
    df1.write.mode("append").jdbc("jdbc:mysql://hadoop100:3306/spark","user",prop)
//    spark.stop()
  }
 
}

完成后进入 

就结束了