SparkSql读取数据和插入数据

一、sparksql读写mysql数据

1.读取

val url = "jdbc:mysql://主机名:端口号"
val tableName = "db_name"
val properties = new java.util.Properties()
properties.put("user", "username")
properties.put("password", "password")
val tbDeptDF = sqlContext.
               read. // 获取数据读取对象
               jdbc(url, tableName, properties)

2.写入

val url = "jdbc:mysql://主机名:端口号"
val tableName = "db_name"
val properties = new java.util.Properties()
properties.put("user", "username")
properties.put("password", "password")
df.write.jdbc(url, tableName, properties)
// df.write.mode("append").jdbc(url, tableName, properties)//追加写入
//df.write.mode("overwrite").jdbc(url, tableName, properties)//重新写入
// df.write.mode("ignore").jdbc(url, tableName, properties)//忽略写入

二、sparksql读写parquet格式的数据

1.读取

val df1 = sqlContext.
          read. // 获取数据读取对象
          format("parquet"). // 指定格式
          load("/存储路径")
val df1 = sqlContext.
          read. // 获取数据读取对象
          format("parquet"). // 指定格式
          load("/存储路径")//可以是文件夹，也可以是指定文件

2.写入

df. write. // DF数据写出对象
              format("parquet"). // 指定文件格式
              mode("overwrite"). // 给定模式是覆盖
              save("/路径") // 给定保存路径，存在在hdfs
df.repartition(3). // 重置分区数量为3个
              write. // DF数据写出对象
              format("parquet"). // 指定文件格式
              mode("overwrite"). // 给定模式是覆盖
              save("/路径") // 给定保存路径，存在在hdfs