基于docker的confluent-kafka搭建及python接口使用1.安装docker以及docker-compose1.1安装docker1.2安装docker-compose2.安装confluent-kafka3

为了向Kafka集群生产和消费消息，我们可以使用confluent-kafka库，它是Confluent为Python提供的官方Kafka客户端。

背景：项目需要对接confluent-kafka压测，查看消费端的性能情况。

kafka介绍kafka是高效的数据流处理平台。可以理解为数据的写入和读取的“中转站”。相关概念Broker一个broker对应一个kafka实例，可以分别在多台服务器上各启动一个broker，也可在一个服务器上启动多个broker。Topic消息的主题，一个broker可有多个topic。Partition每个Topic中的信息可以分配在多个Partition中，有利于高效消费和后续的管理和扩展

'[email protected],xNMM.-----------------.OMMMMoOS:macOS11.620G165arm64OMMM0,Host:MacBookPro17,1.;loddo:'loolloddol;.Kernel:20.6.0cKMMMMMMMMMMNWMMMMMMMMMM0:Uptime:3days,22hours,18mins.KMMMMMMMMMMMMM

以python为例，从pykafka到kafka-python到confluent-kafka到flink要注意最好使用最新版本pykafka和kafka-python性能不是很好，具体情况也可以查到coufluent-kafka

Confluent-kafka是由Confluent公司维护的一个kafka-client，同产品下还有c/c++，java、Go、.net和JMS。它是企业级支持的一款产品。

coufluent-kafka是Python模块，是对librdkafka的轻量级封装，librdkafka又是基于c/c++的kafka库，性能上不必多说。使用上要优于kafka-python。confluent-kafka-python是Confluent用于ApacheKafka和ConfluentPlatform的Python客户端。特征：高性能-confluent-kafka-pytho

confluent-kafka-python网上的资料很少https://github.com/confluentinc/confluent-kafka-python首先安装librdkafkahttps://github.com/edenhill/librdkafkagitclonehttps://github.com/edenhill/librdkafka.gitcdlibrdkafka/./

后来发现pykafka不支持client.id.最后，终于找到confluent-kafka。pythonkafka推荐使用confluent-kafka，官方推荐的。

Kafka快速入门（十二）——Python客户端一、confluent-kafka1、confluent-kafka简介confluent-kafka是Python模块，是对librdkafka的轻量级封装