1-structedStreaming-基本流程(2.3.1)

基本流程 -- spark 2.3.1

新定义接口 -- 中间使用了一些过度接口为了兼容老版本如:BaseStreamingSource

  • DataSource为一个类, 定义了可插拔的数据源,对应一些列旧的数据源
  • DataSourceV2 spark2.3.1新接口,只是一个接口,没有任何方法,需要配合ReadSupport或者WriteSupport接口等一起
    • MicroBatchReadSupport -- 实现创建MicroBatchReader
      • RateSourceProviderV2
    • ContinuousReadSupport -- 低延迟流处理支持接口
  • DataSourceReader -- spark2.3.1接口,优化读取新能
    • MicroBatchReader -- 微批处理模式,从数据微批量读取数据接口

你可能感兴趣的:(java,spark,大数据,mysql,hadoop)