The Dataflow Model

现状

现实中的数据：无边界、乱序、超大规模数据集
数据消费需求：低延迟，exactly once, 有序（按发生时间排序），窗口（发生时间，处理时间，会话，记录数窗口）。
流式计算引擎：Storm, Spark Streaming, MillWheel。
批处理引擎：MapReduce, Spark, FlumeJava。
现实很骨感，理想很丰满，真实的数据处理需要在以下 3 方面来平衡

最佳实践

目标

输出一个模型，能够达到以下几个目标：

• 对无边界，无序的数据源，按照数据本身特征进行窗口计算，按照事件发生时间进行有序计算，并且能够在准确性，延迟，处理成本之间进行调整。
• 通过以下 4 个维度来解构数据管道实现：将计算什么结果；如果基于事件发生时间进行计算，将在什么地方进行；如果基于处理时间来计算的话，它们将在什么时候计算；早期的结果如何被后期修正；
• 将计算逻辑的表达从具体的计算引擎中抽离出来，达到可以根据准确性，处理成本，延迟来选择批处理引擎，微批处理引擎和流式计算引擎。

数据类型&计算引擎

定义一组术语，将数据类型称为有边界和无边界，而不是称为流&批，原因是流和批往往用来定义计算引擎。
故计算引擎分为流式计算框架和批式计算框架两种。当然既可以使用流式计算引擎来处理无边界和有边界两种数据，也可以使用批式计算框架来处理无边界和有边界两种数据。

时间

• 事件发生时间。事件发生时间是指当该事件发生时，该事件所在的系统记录下来的系统时间。
• 事件处理时间，指数据被处理时，数据处理系统当前的时间。
• 事件采集时间，指数据进入数据处理系统的时间。

时间类型

事件发生时间一旦确认，将永远不会修改，而事件处理时间会随着数据处理系统的通信状态，调度延迟，数据序列化等工作不断摆动。理想情况下事件发生时间和事件处理时间不断接近为 0，表示事件刚发生就会被处理，系统的延迟性最低，实际情况却是下面这样子的。

时间域

水位标记（Watermarks）

水位标记是一个时间戳，它会在数据管道中进行传输，它代表小于这个时间戳的数据已经完全被系统处理了。但是在实际情况下，该值是不准确的，它是不可信的，完全依赖水位标记将直接影响数据处理的准确性。

窗口

• 固定窗口（翻转窗口），是按照固定时间来切分的，且同一个数据只存在于一个窗口内。
• 滑动窗口，是按照窗口大小和滑动周期来定义的。且同一个数据可能会存在于多个窗口中。固定窗口可以看成特殊的滑动窗口，即窗口大小和滑动周期大小相等。

• 会话窗口，在数据集上捕捉一段时间内的活动，一般来说会话按超时时间来定义，任何发生在超时时间以内的事件认为属于同一个会话。

  
  
  窗口类型

触发器（Trigger）

触发器定义了什么时候将窗口的聚合结果输出，一般情况下，触发器包含三种触发机制：系统时间，Watermarks，数据特征。
窗格（Panes），用来记录一次窗口的聚合结果。
触发器还提供了三种模式来控制不同的窗格之间是如何相互关联的？

• 抛弃（Discarding）：窗口触发之后，窗口内容被抛弃，随后窗口计算的结果和之前的结果没有相关性。
• 累积（Accumulating）：窗口触发之后，窗口内容完整保留，随后窗口计算的结果是对上一次结果的修正。
• 累积和撤销（Accumulating and Retracting）：窗口触发之后，窗口内容完整保留，且能够对上一次结果进行撤销，然后再往下游发送本次结果，这种场景主要是针对连续 keyGroup 的场景。

样例

下图是一个乱序的输入，其中横坐标是事件发生时间，纵坐标是事件处理时间，数字代表了事件的内容。通过采用不同的计算引擎，不同的窗口触发模型来观察处理过程。

乱序输入

• 采用批处理的方式

  
  
  批处理

• 全局窗口，周期触发，累积

  
  
  周期触发和累积

• 全局窗口，周期触发，抛弃

  
  
  image.png

• 全局窗口，基于消息条数来触发，抛弃

  
  
  image.png

• 固定窗口，批量

  
  
  image.png

• 固定窗口，微批量

  
  
  image.png

• 固定窗口，流式

  
  
  image.png