spark连接mysql数据库（python语言）

1、将mysql-connector-java-5.1.22-bin.jar文件放入/opt/spark/lib/文件夹内（放到别的文件夹也可）

2、修改spark-env.sh文件

加入：

export SPARK_CLASSPATH=/opt/spark/lib/mysql-connector-java-5.1.22-bin.jar:$SPARK_CLASSPATH

3、spark程序实例

from pyspark import SparkContext
from pyspark.sql import SQLContext
import sys

#solve the UnicodeEncodeError
reload(sys)
sys.setdefaultencoding('utf8') 

if __name__ == "__main__":
	sc = SparkContext(appName="mysqltest")
	sqlContext = SQLContext(sc)
	df = sqlContext.read.format("jdbc").options(url="jdbc:mysql://202.117.16.203\
	 	:3306/logstat?user=shelly&password=123456",dbtable="lms_levels").load()
	df.show()
	sc.stop()