Storm体系概要

一、Storm相关术语

• 1、Nimbus：Strom集群主节点，负责资源分配和任务调度。
• 2、Supervisor：Storm集群工作节点，接受Nimbus分配任务，管理Worker。
• 3、Worker：独立的JVM进程，每个节点上可以配置运行一个或多个worker。一个Topology会分配到一个或者多个worker上运行。
• 4、Executor：指一个Worker的JVM进程中运行的Java线程，一个Executor可以执行多个Task。Storm默认会给每个Executor分配一个Task。
• 5、Task：Spout和Bolt的实例，他们的nextTuple和execute方法会被Executors调用执行。
• 5、Topology：实时计算逻辑，计算拓补，由Spout和Bolt组成的图状结构。
• 6、Spout：Storm编程模型中的消息源，可进行可靠传输（ack/fail机制）
• 7、Bolt：Storm编程模型中的处理组件，定义execute方法进行实际的数据逻辑处理。可以用于：
  • 过滤
  • 连接（join）和聚合操作（aggregation）
  • 计算
  • 数据库读写
• 8、Stream：Stream是由无限制的Tuple组成的序列。
• 9、Tuple：Storm的核心数据结构，是包含了一个或多个键值对的列表。(和Map类似，开发中需要根据key，获得value)

0x01： Storm的分组策略

image.png

二、Storm原理架构

• 1、Storm集群架构图

  
  
  

  image.png

• 2、数据处理流程图

  
  
  

  image.png

• 3、拓补图分析

  
  
  

  image.png

三、Storm主要特点

• 1、简单的编程模型：Spout + Bolt
• 2、高拓展性
• 3、高可靠性：消息以消息树的形式存在，提供ack/fail消息保证机制
• 4、高容错性：
  • 节点级别的容错
  • worker级别的容错
  • nimbus不支持容错
• 5、支持多语言编程
• 6、支持本地模式
• 7、高性能：内部通讯采用ZeroMQ通讯，保证消息被快速处理

四、Storm的拓展：与Yarn结合

• 1、资源的弹性计算
• 2、共享底层存储
• 3、支持多版本共存
• 4、整体架构的统一

五、Storm的现状与发展趋势

• Storm的应用场景：
  • 1、流式数据处理（数据预处理、ETL等）
  • 2、并行计算Top N（按字段分组计算top，然后全局汇总）
  • 3、微批处理（在时间窗口内进行批量处理）
  • 4、分布式并行计算

优点

在Storm和JStorm出现以前，市面上出现很多实时计算引擎，但自Storm和JStorm出现后，基本上可以说一统江湖： 究其优点:

• 开发非常迅速：接口简单，容易上手，只要遵守Topology、Spout和Bolt的编程规范即可开发出一个扩展性极好的应用，底层RPC、Worker之间冗余，数据分流之类的动作完全不用考虑
• 扩展性极好：当一级处理单元速度，直接配置一下并发数，即可线性扩展性能
• 健壮强：当Worker失效或机器出现故障时， 自动分配新的Worker替换失效Worker
• 数据准确性：可以采用Ack机制，保证数据不丢失。 如果对精度有更多一步要求，采用事务机制，保证数据准确。
• 实时性高： JStorm 的设计偏向单行记录，因此，在时延较同类产品更低

应用场景

JStorm处理数据的方式是基于消息的流水线处理， 因此特别适合无状态计算，也就是计算单元的依赖的数据全部在接受的消息中可以找到， 并且最好一个数据流不依赖另外一个数据流。

因此，常常用于:

• 日志分析，从日志中分析出特定的数据，并将分析的结果存入外部存储器如数据库。目前，主流日志分析技术就使用JStorm或Storm
• 管道系统， 将一个数据从一个系统传输到另外一个系统， 比如将数据库同步到Hadoop
• 消息转化器， 将接受到的消息按照某种格式进行转化，存储到另外一个系统如消息中间件
• 统计分析器， 从日志或消息中，提炼出某个字段，然后做count或sum计算，最后将统计值存入外部存储器。中间处理过程可能更复杂。
• 实时推荐系统， 将推荐算法运行在jstorm中，达到秒级的推荐效果