Kafka基础—4、Kafka Streams & Kafka Connect
Kafka知识库 - 索引目录
一、Kafka Streams
1、Kafka Streams 简介
Kafka Streams 是 Apache Kafka 提供的一个用于处理实时数据流的库。它允许你在应用程序中直接处理和分析 Kafka 主题中的数据，而无需使用独立的流处理集群。
2、流处理的概念
流处理是一种处理连续流数据的方式，相对于批处理，它更加实时。在 Kafka Streams 中，你可以通过定义处理拓扑（topology）来描述数据的流向和处理逻辑。数据可以在拓扑中的不同处理节点间流动，每个节点对数据进行处理。
3、Kafka Streams 的核心 API
Kafka Streams 提供了一组核心 API 来构建流处理应用。其中包括：
- KStream： 表示一个无界的数据流，你可以对其进行操作，例如过滤、映射、聚合等。
- KTable： 表示一个不断更新的键值对的集合，通常用于对数据进行聚合和查询。
- Processor API： 允许你以更底层的方式定义自定义的处理器，以实现更灵活的流处理逻辑。
4、状态管理
在流处理中，状态管理是一个重要的主题。Kafka Streams 提供了内置的状态存储机制，使你能够在处理数据时跟踪和更新状态。这对于一些需要保持状态的操作（例如窗口操作）非常重要。
5、流处理应用案例
举个：假设想统计一个实时日志流中每个 IP 地址的访问次数。
可以创建一个 Kafka Streams 应用，订阅日志主题，使用 KStream 进行实时计数，然后将结果写回 Kafka 主题或者存储到外部系统。
示例（Go语言的伪代码）：
package main
import (
"github.com/confluentinc/confluent-kafka-go/kafka"
"github.com/confluentinc/confluent-kafka-go/kafka/kafkatest"
"github.com/confluentinc/confluent-kafka-go/kafka/kafkautil"
"github.com/confluentinc/confluent-kafka-go/kafka/kafkautil/examples"
)
func main() {
// 创建 Kafka Streams 配置
config := kafkautil.GetSaramaConfig()
config.Consumer.Offsets.Initial = kafka.OffsetOldest
// 创建 Kafka Streams 实例
streams, err := examples.NewStream("kafka-broker", "input-topic", "output-topic", config)
if err != nil {
panic(err)
}
// 定义拓扑逻辑
builder := streams.TopologyBuilder()
builder.AddSource("Source", "input-topic").
AddProcessor("Processor", &MyProcessor{}, "Source").
AddSink("Sink", "output-topic", "Processor")
// 启动 Kafka Streams 应用
streams.Start(builder, config)
}
// 实现自定义处理器
type MyProcessor struct{}
func (p *MyProcessor) Process(key, value string) {
// 处理逻辑，这里可以更新状态或者进行其他操作
}
二、Kafka Connect
Kafka Connect 是用于在 Apache Kafka 与外部系统之间进行可扩展、可靠的数据传输的框架。
它提供了 Source Connectors（用于从外部系统导入数据到 Kafka）和 Sink Connectors（用于将 Kafka 数据导出到外部系统）的支持。
1、Kafka Connect 简介
Kafka Connect 是 Apache Kafka 提供的一个框架，用于构建和运行可扩展、可靠的连接器，实现 Kafka 与各种外部系统之间的数据传输。它旨在简化数据集成过程，提供了标准化的方式来处理连接器的配置、部署和监控。
2、Connectors 和 Tasks
- Connectors： 是 Kafka Connect 的插件，用于定义与外部系统的连接。Connectors 负责配置、启动和停止 Task。
- Tasks： 是 Connectors 的工作单元，负责实际的数据传输。每个 Connector 可以有多个 Task 并行工作。
3、配置 Source 和 Sink 连接器
举个 - 配置 Source 连接器：
假设要从 MySQL 数据库中导入数据到 Kafka 中。可以使用 Confluent Hub 上提供的 MySQL Connector。首先，需要配置连接器：
name=source-connector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:mysql://localhost:3306/yourdatabase
table.whitelist=yourtable
topic.prefix=yourtopic-
这里，需要配置连接器类、任务数量、数据库连接信息、需要导入的表，以及为生成的 Kafka 主题设置前缀。
举个 - 配置 Sink 连接器：
假设要将 Kafka 主题中的数据导出到 Elasticsearch。可以使用 Confluent Hub 上提供的 Elasticsearch Sink Connector。配置可能如下：
name=sink-connector
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=1
topics=yourtopic-*
connection.url=http://localhost:9200
这里，需要配置连接器类、任务数量、要导出的 Kafka 主题、Elasticsearch 的连接信息。
4、数据转换
Kafka Connect 提供了数据转换器，用于在数据传输过程中进行格式转换。这对于处理不同系统之间的数据格式差异非常有用。
举个：
假设Source 连接器从 JSON 格式的 MySQL 表中读取数据，但希望在 Kafka 主题中使用 Avro 格式。可以配置数据转换器：
key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
value.converter.schema.registry.url=http://localhost:8081
这里，配置了 Avro 转换器，并指定了 Schema Registry 的地址。
5、Kafka Connect 集群模式
Kafka Connect 可以以分布式模式运行，形成一个 Connect 集群，以提高可靠性和吞吐量。在集群模式下，连接器和任务可以在多个工作节点上并行执行。
举个：
配置 Connect 集群，指定集群中的多个工作节点：
rest.port=8083
group.id=connect-cluster
config.storage.topic=connect-configs
offset.storage.topic=connect-offsets
status.storage.topic=connect-status
config.storage.replication.factor=3
offset.storage.replication.factor=3
status.storage.replication.factor=3
这里，配置了 REST 端口、集群 ID 以及用于存储连接器配置、偏移量和状态信息的 Kafka 主题。