pyspark之DataFrame写hive表方式

最近用spark写hive的过程中，遇到了一些问题，故此把这一块整理整理，供使用参考

spark 语句

hive中静态分区和动态分区的区别在于，静态分区是指定分区值，动态区分是根据值进行自动添加到对应的分区。后者在效率上会比较低，需要启动与分区数相同的数量的reducer

静态分区

df.write.mode('overwrite')\ 
.partitionBy("channel","event_day","event_hour")\  # 分区字段逗号分割，跟建表顺序一致   
.saveAsTable("table_name")  # 如果首次执行不存在这个表，会自动创建分区表，不指定分区即创建不带分区的表

动态分区

# 可动态分区设置
spark.sql("set hive.exec.dynamic.partition.mode=nonstrict;")
# df 按照字段+分区的顺序对应hive顺序
df.write\ 
.insertInto("table_name")  # 如果执行不存在这个表，会报错

用动态分区的方式，mode(‘overwrite’) 无效，只会追加，新版本会会支持覆盖方式，使用时注意版本

另外通过saveAsTable的方式建起来的表格式默认为文本格式，可以通过format指定所需格式

spark SQL 处理

方法

spark sql 指用sql的方式把spark dataframe写入hive表，步骤如下

• df转为临时表或者临时视图
• 用spark.sql(""“插入数据的SQL语句”"")来执行

例子

# 创建spark session
spark = SparkSession.builder.appName(
     "test").enableHiveSupport().getOrCreate()
# df 转为临时表/临时视图
df.createOrReplaceTempView("df_tmp_view")
# spark.sql 插入hive
spark.sql(""insert overwrite table 
                    XXXXX  # 表名
                   partition(分区名称 =分区值)   # 多个分区按照逗号分开
                   select 
                   XXXXX  # 字段名称，跟hive字段顺序对应，不包含分区字段
                   from df_tmp_view""")