关于kafka的一点使用

以python为例,从pykafka到kafka-python到confluent-kafka到flink

要注意最好使用最新版本
pykafka和kafka-python性能不是很好,具体情况也可以查到

coufluent-kafka是Python模块,是对librdkafka的轻量级封装,librdkafka又是基于c/c++的kafka库,性能上不必多说。使用上要优于kafka-python。也支持异步,有事件轮循机制,所以在与torando结合使用好像有问题,因为tornado是单进程,加上GIL锁,可以看这个:
https://github.com/confluenti...

有些低版本安装后提示“confluent_kafka/src/confluent_kafka.h:22:32: fatal error: librdkafka/rdkafka.h: No such file or directory”,
可以apt-get install librdkafka-dev -y

另外最好producer和consumer使用同一模块同一版本,最近看老项目kafka查看消息显示的CreateTime都等于-1

所以项目上最好用flink

你可能感兴趣的:(kafka)