【Kafka】Kafka Producer 分区-05

1. 分区的好处

（1）便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。
（2）提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据。

see 2.4.1http://t.csdnimg.cn/m1O9u

2. 分区策略

2.1 默认的分区器 DefaultPartitioner

/**
* The default partitioning strategy:
* 

* 
If a partition is specified in the record, use it
* 
If no partition is specified but a key is present choose a 
partition based on a hash of the key
* 
If no partition or key is present choose the sticky 
partition that changes when the batch is full.
* 
* See KIP-480 for details about sticky partitioning.
*/
public class DefaultPartitioner implements Partitioner {
   
 … …
}

策略如下：

1. 如果记录中指定了分区，使用指定的分区。
   这意味着生产者在发送消息时明确指定了一个分区号，Kafka将直接使用这个分区。
2. 如果没有指定分区但存在键，根据键的哈希值选择分区。
   如果消息中没有明确指定分区，但是提供了一个键，Kafka会使用键的哈希值来计算应该使用哪个分区。这可以保证具有相同键的消息被发送到相同的分区，从而保证消息的有序性。
3. 如果既没有指定分区也没有键，选择一个“sticky partition”（粘性分区），在批次满时更换分区。
   如果消息既没有指定分区，也没有键，Kafka将使用“sticky partition”策略。这种策略会在消息批次满时更换分区，以便于提高效率和性能。

这个注释是对DefaultPartitioner类的说明，该类实现了Partitioner接口，用于定义消息分区的策略。DefaultPartitioner类的主要功能就是根据上述规则决定消息发送到哪个分区。以下是DefaultPartitioner类的示例实现结构：

public class DefaultPartitioner implements Partitioner {
   
    // 初始化方法
    @Override
    public void configure(Map<String, ?> configs) {
   
        // 配置代码
    }

    // 计算分区的方法
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
   
        // 分区计算逻辑
    }

    // 清理资源的方法
    @Override
    public void close() {
   
        // 资源清理代码
    }
}

该实现中包括了三个主要的方法：

• configure(Map configs)：用于初始化和配置分区器。
• partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster)：用于根据给定的主题、键和值来计算应该使用哪个分区。
• close()：用于在分区器关闭时清理资源。

---

案例一： 将数据发往指定 partition 的情况下，例如，将所有数据发往分区 1 中。

import org.apache.kafka.clients.producer.*;

import java.util.Properties;
public class CustomProducerCallbackPartitions {
   
    public static void main(String[] args) {
   
        // 1. 创建 kafka 生产者的配置对象
        Properties properties = new Properties();

		// 2. 给 kafka 配置对象添加配置信息
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102
:9092 ");
        // key,value 序列化（必须）：key.serializer，value.serializer
        properties.put(<