深入学习Kafka之概念解析

文章目录

  • 0. Kafka是什么
  • 1. 基本概念
    • 1.1 生产者(Producer)
    • 1.2 消费者(Consumer)
    • 1.3 服务代理节点(Broker)
    • 1.4 控制器(Controller)
    • 1.5 主题 Topic
    • 1.6 分区(Partitions)
    • 1.7 副本(replica)
    • 1.8 Consumer Group(消费者组)
    • 1.9 Offset(偏移量)
    • 1.10 Rebalance
    • 1.11 Coordinator

0. Kafka是什么

Kafka是一个开源的分布式流处理平台和消息队列系统。

Kafka是一个值得深入学习的开源中间件,其中涉及的概念有很多,今天就来梳理一下,这些概念到底都是什么。

1. 基本概念

1.1 生产者(Producer)

Producers are those client applications that publish (write) events to Kafka

生产者就是那些发布/写事件到Kafka的客户端应用。

1.2 消费者(Consumer)

consumers are those that subscribe to (read and process) these events.

消费者是那些订阅(读和处理)这些事件的应用。

1.3 服务代理节点(Broker)

Kafka is run as a cluster of one or more servers that can span multiple datacenters or cloud regions. Some of these servers form the storage layer, called the brokers.

Kafka以一个或多个服务端组成的集群方式运行,这样可以使其分成多个数据中心或者云区域。一些来自存储层的server被称之为broker。

对于 Kafka 而言, Broker 可以简单地看作一个独立的 Kafka 服务节点或 Kafka服务实例。大多数情况下也可以将 Broker看作一台 Kafka服务器,前提是这 台服务器上只部署了一个 Kafka 实例。一个或多个 Broker 组成了 一个 Kafka 集群 。一般而言, 我们更习惯使用首字母小写的 broker 来表示服务代理节点 。

1.4 控制器(Controller)

在 Kafka 集群中会有一个或多个 broker,其中有一个 broker 会被选举为控制器( Kafka Controller),它负责管理整个集群中所有分区和副本的状态。当某个分区的 leader 副本出现故 障时,由控制器负责为该分区选举新的 leader副本。当检测到某个分区的 ISR集合发生变化时, 由控制器负责通知所有 broker更新其元数据信息。

具备控制器身份的broker需要比其他普通的broker多一份职责:

    1. 监听分区相关变化。
      • a. 分区重新分配。(reassignment)
      • b. ISR集合变更。
      • c. 副本选举。
    1. 监听主题相关变化。
      • a.topic的增加、删除等。
    1. 监听broker相关变化。
      • a. broker的增加与减少。
    1. 启动并管理分区状态机和副本状态机。
    1. 更新元数据信息。

1.5 主题 Topic

在Kafka中,Topic(主题)是消息发布和订阅的基本单位。它是一个逻辑上的概念,用于组织和分类消息流。一个Topic可以被看作是一个具有相同特性的消息类别或主题。

每个Topic都有一个唯一的名称,用于在Kafka集群中进行标识和访问。生产者(Producers)将消息发布到特定的Topic,而消费者(Consumers)则订阅感兴趣的Topic以消费其中的消息。

Kafka的Topic可以被分成多个分区(Partitions),每个分区都是有序且持久化的消息日志。分区是Topic在物理上的分割,用于实现数据的横向扩展和并行处理。每个分区可以在不同的服务器上进行复制,以提供数据冗余和故障恢复机制。

1.6 分区(Partitions)

在Kafka中,分区(Partitions)是Topic的物理单元,用于水平划分和存储数据。每个Topic可以被分成一个或多个分区,每个分区都是一个有序、不可变的消息日志。
分区leader的选举由控制器负责具体实施。

1.7 副本(replica)

在Kafka中,每个分区都可以配置多个分区副本(Partition Replicas)。分区副本是分布在不同节点上的数据备份,用于提供数据冗余和故障容错。

以下是关于Kafka分区副本的一些关键概念和特性:

  • 1.复制机制:每个分区可以配置一个或多个副本。副本之间通过复制机制保持数据的一致性。当生产者发送消息时,它们将被写入主副本(Leader Replica),而主副本会将消息复制到其他副本(Follower Replicas)。
  • 2.主副本和从副本:每个分区只有一个主副本,它负责处理所有的读写请求。其他副本是从副本,它们与主副本保持同步,并提供备份数据以供故障恢复。
  • 3.数据复制和同步:Kafka使用复制日志(Replication Log)的方式进行数据复制和同步。主副本将消息写入日志,并将日志传输给从副本,从副本按顺序应用这些消息以保持数据的一致性。
  • 4.容错和可用性:分区副本提供了故障容错和数据冗余的机制。如果主副本发生故障,Kafka会自动选择一个从副本作为新的主副本,以确保分区的可用性和持续的数据写入。
  • 5.负载均衡:分区副本的配置可以实现负载均衡。Kafka会将分区副本尽可能分布在不同的节点上,以平衡数据的读写负载和提供更好的性能。
  • 6.ISR(In-Sync Replicas):ISR是指与主副本保持同步的副本集合。只有在ISR中的副本才能成为新的主副本。如果副本与主副本的同步进度滞后,它将被移出ISR,直到追赶上同步进度。

分区副本在Kafka中是实现高可用性、数据冗余和故障容错的关键机制。它们提供了数据的持久性和可用性保证,以及在节点故障时的自动故障转移。

1.8 Consumer Group(消费者组)

消费者可以组成一个消费者组。每个消费者组可以订阅一个或多个主题,并共享消息的处理负载。Kafka 会将消息广播给消费者组中的所有消费者。

1.9 Offset(偏移量)

偏移量是消息在分区中的唯一标识符。消费者可以通过指定偏移量来读取分区中的消息。Kafka 会跟踪每个消费者在每个分区中的偏移量,并确保消费者可以继续从上次离开的位置读取消息。

1.10 Rebalance

Kafka 的 Rebalance 是指在消费者组中增加或减少消费者时,自动重新分配分区的过程。当消费者加入或离开消费者组时,Kafka 会自动进行 Rebalance 操作,以确保每个消费者在消费者组中处理尽可能相等的负载。
三个触发Rebalance的情况:

  • 1.消费者组成熟数量发生变化
  • 2.订阅的主题数量发生变化
  • 3.订阅的主题的分区数量发生变化

1.11 Coordinator

新版的消费者客户端对此进行了重新设计 ,将全部消费组分成多个子集 , 每个消费组的子 集在服务端对应一个 GroupCoordinator 对其进行管理,GroupCoordinator是Kafka服务端中用于管理消费组的组件
而消费者客户端中的 ConsumerCoordinator组件负责与 GroupCoordinator进行交互 。

你可能感兴趣的:(kafka)