厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）（踩坑记录）

厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）（踩坑记录）

项目地址http://dblab.xmu.edu.cn/blog/2307/

踩坑:

• Spark分析文件rent_analyse.py

• 改变Spark读取csv文件的写法

      sparkContext = SparkContext("local","rent_analyse")
      sqlContext = SQLContext(sparkContext)
      df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load(filename)
  

• 原写法会报连接错误，同时在读取csv文件时需要添加format参数，否则又会报错

• 在读取csv文件时文件路径需要加上file:///，如：

  "file:///develop/sparkSpace/rent.csv"
  

• 如果文件参数默认为文件名，则Spark会到Hadoop的文件系统里读取数据，路径为：

  "hdfs://localhost:9000/user