1-structedStreaming-基本流程(2.2.1)

基本流程 spark 2.2.1

StructuredNetworkWordCount 统计来自socket的word count

创建stream,指定数据源

  • DataStreamReader--从外部存储加载流数据的接口
      lines = spark.readStream.format("socket")
      .option("host", host)
      .option("port", port)
      .load() 
加载数据流为 DataFrame, DataStreamReader#load
  • 与普通DataFrame初始化相似,只是使用StreamingRela

你可能感兴趣的:(java,spark,大数据,hadoop,hive)