kafka架构

 

kafka的组件介绍

• Topic ：消息根据Topic进行归类
• Producer：发送消息者
• Consumer：消息接受者
• broker：每个kafka实例(server)
• Zookeeper：依赖集群保存meta信息。

1.Topics组件介绍

Topic：一类消息，每个topic将被分成多个partition(区)，在集群的配置文件中配置。 
partition：在存储层面是逻辑append log文件，包含多个segment文件。 
Segement：消息存储的真实文件，会不断生成新的。 
offset：每条消息在文件中的位置（偏移量）。offset为一个long型数字，它是唯一标记一条消息。

2.Partition

• 在存储层面是逻辑append log文件，每个partition有多个segment组成。
• 任何发布到此partition的消息都会被直接追加到log文件的尾部。
• 每个partition在内存中对应一个index列表，记录每个segment中的第一条消息偏移。这样查找消息的时候，先在index列表中定位消息位置，再读取文件，速度块。
• 发布者发到某个topic的消息会被均匀的分布到多个part上，broker收到发布消息往对应part的最后一个segment上添加该消息。 
  

3.Partition分布

• partitions分区到不同的server上，一个partition保存在一个server上，避免一个server上的文件过大，同时可以容纳更多的consumer消费,有效提升并发消费的能力。
• 这个server(如果保存的是partition的leader)负责partition的读写。可以配置备份。
• 每个partition都有一个server为”leader”，负责读写，其余的相对备份机为follower，follower同步leader数据，负责leader死了之后的接管。n个leader均衡的分散在每个server上。
• partition的leader和follower之间监控通过zookeeper完成。

3.segment

• 每个segment中存储多条消息，消息id由其逻辑位置决定，即从消息id可直接定位到消息的存储位置，避免id到位置的额外映射。
• 当某个segment上的消息条数达到配置值或消息发布时间超过阈值时，segment上的消息会被flush到磁盘，只有flush到磁盘上的消息订阅者才能订阅到
• segment达到一定的大小（可以通过配置文件设定,默认1G）后将不会再往该segment写数据，broker会创建新的segment。 
  

4.offset

offset是每条消息的偏移量。 
segment日志文件中保存了一系列”log entries”(日志条目),每个log entry格式为”4个字节的数字N表示消息的长度” + “N个字节的消息内容”; 
每个日志文件都有一个offset来唯一的标记一条消息,offset的值为8个字节的数字,表示此消息在此partition中所处的起始位置. 
每个partition在物理存储层面,有多个log file组成(称为segment). 
segment file的命名为”最小offset”.log.例如”00000000000.log”;其中”最小offset”表示此segment中起始消息的offset. 

 

kafka如何保证数据的不丢失

1.生产者数据的不丢失

kafka的ack机制：在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到。

• 如果是同步模式：ack机制能够保证数据的不丢失，如果ack设置为0，风险很大，一般不建议设置为0

producer.type=sync 
request.required.acks=1

• 如果是异步模式：通过buffer来进行控制数据的发送，有两个值来进行控制，时间阈值与消息的数量阈值，如果buffer满了数据还没有发送出去，如果设置的是立即清理模式，风险很大，一定要设置为阻塞模式 
  结论：producer有丢数据的可能，但是可以通过配置保证消息的不丢失

producer.type=async 
request.required.acks=1 
queue.buffering.max.ms=5000 
queue.buffering.max.messages=10000 
queue.enqueue.timeout.ms = -1 
batch.num.messages=200

2.消费者数据的不丢失

通过offset commit 来保证数据的不丢失，kafka自己记录了每次消费的offset数值，下次继续消费的时候，接着上次的offset进行消费即可。