Storm核心概念与实战详解

作者:禅与计算机程序设计艺术

1.简介

2010年Hadoop项目开源后,Storm项目也随之走向人气爆棚。在如此火热的当下,给我们带来的好处不仅仅是增强对Hadoop平台的掌控能力,更重要的是让我们感受到了快速发展、海量数据处理能力、低延迟的优势。在这一系列文章中,我将深入浅出地介绍Storm项目,并从实际案例出发,带领大家全面理解Storm中的关键概念及其运作方式,让您轻松掌握Storm的高效率、高性能处理能力。

2.基本概念及术语

2.1 Storm概述Storm是一个分布式实时计算系统,它最初由Backtype公司开发,是一种开源的、能够运行于离线或者实时的集群环境中的分布式计算系统。Storm以流式数据模型为中心,提供实时的事件驱动的数据处理能力。
2.2 Storm组件及架构图如下图所示:
Storm架构:Storm包括一个Nimbus和多个Supervisor组成,每一个Supervisor负责运行指定的Topology,每个Topology中包含多个Spout和Bolt。在Storm中,数据流动的方向是单向的,所有数据都沿着拓扑流动,而无需考虑数据的回溯问题。
2.3 Storm运行流程图如下图所示:
Storm运行流程图:
2.4 Topology(拓扑)

你可能感兴趣的:(Python实战,自然语言处理,人工智能,语言模型,编程实践,开发语言,架构设计)