Kafka 概述

定义

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

消息队列

传统消息队列的应用场景—异步处理

用户注册流程的同步处理的情况如下所示：

用户注册流程的异步处理的情况如下所示：

使用消息队列好处

• 解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵循同样的接口约束。
• 可恢复性：系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后处理。
• 缓冲：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息处理速度不一样的情况。
• 灵活性和峰值处理能力：在访问量剧增的情况下，应用仍然需要继续发挥作用，当然这样的突发情况并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命，无疑是巨大的浪费。使用消息队列能够使关键组件顶住突然的访问压力，而不会因为突发的超负荷的请求完全崩溃。
• 异步通信：很多时候，用户不想也不需要立即处理消息，消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放入多少消息，然后在需要的时候再处理它们。

消息队列的两种模式

• 点对点模式：一对一，消费者主动拉取数据，消息收到后消息清除。消息生产者生产消息发送到Queue，然后消息消费者从Queue中取出并且消费消息。Queue支持存在多个消费者，但是对同一个消息而言，只会有一个消费者可以消费。

• 发布/订阅模式：一对多，消费者消费数据之后不会清除消息。消息生产者（发布）将消息发布到Topic中，同时有多个消息消费者（订阅）消费该消息，和点对点方式不同，发布到Topic的消息会被所有订阅者消费。

Kafka架构模式

producer：消息生产者，向 broker 发送消息的客户端。
broker：kafka进程
topic：主题，可以理解为一个队列，生产者和消费者面向的都是同一个 topic。
partition：为了实现扩展性，每个 topic 可以有多个 partition（分区），每个 partition 是一个有序的队列。
replica：副本，为了保证当集群中的某个节点发生故障时，该节点上 partition 上的数据不丢失且 kafka 能够正常工作，kafka 提供了副本机制，每个 partition 有一个 leader 和若干个follower，其中 follower 只起到备份数据的作用。
leader：每个分区多个副本的主，生产者发送数据的对象和消费者消费数据的对象都是leader。
follower：每个分区多个副本的从，实时从 leader 中同步数据，保证和 leader 中的数据同步，当 leader 挂掉时，多个 follower 中的一个可以被选举成为新的 leader 继续提供服务。
consumer：消息消费者，向 broker 取消息的客户端。
comsumer group：消费者组，由多个 consumer 组成。partition 中的一条消息只能被同一个消费者组中的一个comsumer 消费，可以被多个不同组中的 consumer 消费。
offset：消费者消费消息的偏移量，0.9版本之前存储在 zookeeper，之后的版本存储在 kafka 本地。