Spark开发_简单DataFrame判空赋值逻辑

val table1 = "实时转存数据"
val table2 = "历史存hdf数据"  

val dfin1 = inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame]
val dfin = if (!dfin1.isEmpty) dfin1 else inputRDD(table2).asInstanceOf[org.apache.spark.sql.DataFrame]

dfin.select("时间").show

你可能感兴趣的:(Spark开发_工作,spark,大数据,分布式)