Kafka分区副本分配规则

Kafka分区副本分配规则

1、前言

 我们在创建topic或者是新增分区时，如果不指定分区副本的分配方式，Kafka会自动帮我们分配，那Kafka是如何帮我们分配的呢？我们如果指定分区副本的分配方式，Kafka会做哪些事情呢？今天我们就来介绍一下。

2、自动分配

Kafka分区副本自动分配在三个地方用到，它们分别是：

1. 创建topic时
2. topic新增分区时
3. 使用脚本自动重分配副本时

我们可以通过配置启动类参数生成分配策略

--zookeeper xxxx:2181 --topics-to-move-json-file config/move-json-file.json --broker-list "0,1,2,3" --generate  
move-json-file.json文件中内容为：
{
   
   
  "topics":[
    {
   
   "topic":"topicTest"}
  ],
 "version":1
}
以上参数表示为对topicTest重分配，希望分配到0，1，2，3这几个broker上

重分配的源码是在ReassignPartitionsCommand.generateAssignment中

def generateAssignment(zkClient: KafkaZkClient, brokerListToReassign: Seq[Int<