Spark SQL数据源和表的Schema
-
case class
-
apply schema
-
parquet
-
json
JSON数据源
准备源数据
{"name":"Jack", "age": 12, "addr":{"city":"beijing", "zipcode":"111"}} {"name":"Todd", "age": 22, "addr":{"city":"shandong", "zipcode":"222"}} {"name":"Ted", "age": 32, "addr":{"city":"hebei", "zipcode":"333"}}
这是一个嵌套的person信息,每一行是一个完整的JSON数据串,Spark SQL在解析的时候,也是按照行进行读
在Spark Shell上执行如下操作,即可得到结果Jack和Ted。
///创建SQL对象,传入当前的SparkContext scala> val sqlContext= new org.apache.spark.sql.SQLContext(sc) ///从本地磁盘加载json数据,从本地磁盘读取必须显式的执行URL Scheme;不指定则默认使用hdfs scala> val jsonpeople = sqlContext.jsonFile("file:///home/hadoop/software/spark-1.2.0-bin-hadoop2.4/examples/src/main/resources/people2.json") ///注册临时表,所谓临时是指该表是跟当前的SQLContext绑定的,其它的Context看不到这个表 ///表共享如何做? scala> jsonpeople.registerTempTable("jsonTable") ///查询操作 scala> sqlContext.sql("SELECT name FROM jsonTable WHERE addr.zipcode = 111 or age >= 30").map(t => "Name: " + t(0)).collect().foreach(println)
可见,在Spark SQL操作JSON时,不需要因为RDD的隐式转换,因为这里没有RDD的隐式转换操作
val sqlContext= new org.apache.spark.sql.SQLContext(sc)
未完待续