【Kafka专栏 13】Kafka的消息确认机制：不是所有的“收到”都叫“确认”！

作者名称：夏之以寒

作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见

文章专栏：夏之以寒-kafka专栏

专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景，一步步构建起消息队列和流处理的知识体系，无论是对分布式系统感兴趣，还是准备在大数据领域迈出第一步，本专栏都提供所需的一切资源、指导，以及相关面试题，立刻免费订阅，开启Kafka学习之旅！

Kafka的消息确认机制：不是所有的“收到”都叫“确认”！

01 引言

在大数据和流处理领域，Apache Kafka已经成为了一个非常重要的组件。Kafka不仅提供了高吞吐、低延迟的消息传递功能，还通过其独特的设计和机制确保了消息的可靠传输。其中，消息确认机制是Kafka确保消息可靠传递的关键环节。本文将深入探讨Kafka的消息确认机制，包括其工作原理、相关配置以及对系统性能的影响。

02 Kafka基础架构简介

在深入了解消息确认机制之前，我们先简要回顾一下Kafka的基础架构。Kafka是一个分布式的流处理平台，它主要由三个核心组件构成：Producer（生产者）、Broker（代理）和Consumer（消费者）。生产者负责发送消息到Kafka集群，代理负责存储和管理这些消息，而消费者则从Kafka集群中拉取并消费这些消息。

03 消息确认机制的重要性

在分布式系统中，消息的可靠传递是至关重要的。由于网络延迟、节点故障或其他原因，消息在传输过程中可能会丢失或被重复处理。为了确保消息的可靠传递，Kafka引入了一套完善的消息确认机制。这套机制不仅保证了消息从生产者到消费者的可靠传递，还提供了消息处理的确认和重试逻辑。

04 生产者的消息确认

在Kafka中，消息确认机制是确保消息从生产者到消费者可靠传递的关键环节。以下是关于Kafka消息确认机制的详细解释：

4.1 ACK机制

• 基本定义：ACK（Acknowledgment）机制是Kafka中用于确保消息可靠传递的重要组件。当生产者发送消息到Kafka集群时，它可以设置不同的acks参数值来控制消息发送后的确认机制。
• 三种确认模式：
  • acks=0：生产者发送消息后不会等待任何来自Broker的确认响应。一旦消息被发送出去，即使Broker没有成功写入磁盘，生产者也会继续处理其他任务。这种模式适用于对延迟要求极高且可以容忍一定数据丢失的场景。
  • acks=1：生产者需要等待Leader副本成功将消息写入本地日志文件后才返回确认。这种模式提供了一定的可靠性保证，因为至少有一个副本已经保存了消息。
  • acks=all 或 acks=-1：生产者需要等待所有在ISR（In-Sync Replicas）中的副本都成功写入消息