Spark学习之使用Spark SQL读取数据库

本文主要介绍利用Spark中通过Spark中通过JDBC连接数据库以及连接Hive读写数据的方法。

1.通过JDBC连接mysql数据库

在Mysql Shell环境中，输入下面SQL语句完成数据库和表的创建；

 要想顺利连接MySQL数据库，还需要使用MySQL数据库驱动程序。请到MySQL官网下载MySQL官网下载MySQL的JDBC驱动程序，。把该jar包放在Spark的安装目录“/usr/local/spark/jars"下。

启动一个spark-shell。启动Spark Shell时，必须指定Mysql连接驱动jar包，命令如下：

2.读取Mysql数据库中的数据

spark.read.format("jdbc")操作可以实现对MySQL数据库的读取，如下所示

 

 

在通过JDBC连接MySQL数据库时，需要通过option()方法设置相关的连接参数，如下表所示:
 

参数名称	参数的值	含义
url	jdbc://mysql://localhost:3306/spark	数据库的连接地址
driver	com.mysql.jdbc.Driver	数据库的JDBC驱动程序
dbtable	student	所要访问的表
user	root	用户名
password	123456	用户密码

向mysql中数据库中写入数据

如下所示:

 

 

插入前后表的对比。