SparkSQL-数据提取和保存

1.建立一个.csv文件,然后添加基本数据。

2.在mysql端建立一个数据表

  1. 准备user.csv文件。
  2. 在mysql中创建数据表,特别注意字符编码的问题
  3. 编写spark代码:
    • 读入csv文件到 dataFrame
    • dataFrame做数据筛选
    • dataFrame做数据写入到mysql
    • 核心步骤
    • 1. 在mysql中创建数据表

你可能感兴趣的:(spark中的问题分析,大数据,ide)