【python】Kafka介绍及confluent-kafka的使用

kafka介绍

kafka是高效的数据流处理平台。可以理解为数据的写入和读取的“中转站”。

相关概念

  • Broker
    一个broker对应一个kafka实例,可以分别在多台服务器上各启动一个broker, 也可在一个服务器上启动多个broker。

  • Topic
    消息的主题,一个broker可有多个topic。

  • Partition
    每个Topic中的信息可以分配在多个Partition中,有利于高效消费和后续的管理和扩展

  • Producer
    生产者,即数据来源

  • Consumer
    数据消费者

  • Consumer Group
    不同的Consumer可以分在相同的group中,在同一个group中,不同的consumer消费同一个Topic的不同partition的信息。这样能保证统一topic的信息不会被重复消费。
    因此consumer数量如果能正好等于partition数量,能高效读取数据,但若consumer数量大于partition数量,会有部分consumer没有被利用起来,因为同一个partition不能被多个consumer消费。

  • Leader和Replication
    对于partition而言,每个partition在不同的broker上都有存储,但会选择某个broker的partition作为Leader, 其余的作为Replication。
    producer写入数据时仅会写入leader中,replication会主动从leader中pull数据进行备份,同理consumer读取数据时也是只从leader中读取。当leader所在broker宕机时,kafka会从replication中选取broker作为新的leader,由此保证数据不丢失和高效读取。

  • Segment
    在一个Parition中会有多个segment,每个segment一般包含这三样东西:index、timeIndex、log。其中index和
    timeIndex用于索引,log中存放数据信息。每segment中有会有一条或多条信息。
    运用分段和索引的方法检索信息能提高数据查询效率。

  • Offset
    用于确定每条信息在partition中的位置。

confluent-kafka的使用

kafka提供了包括C、Java、Python等多种语言接口,在本次使用中我主要进行Consumer端的开发,使用的是python的confluent_kafka库。

confluent-kafka使用文档

Demo示例和部分代码和解释如下:

import conflunet_kafka as kfk

c = kfk.Consumer({
	'bootstrap.servers': 'Ip1,Ip2', ## kafka所在ip地址,多个地址用逗号隔开。
    'group.id': 'test',
    'enable.auto.commit': True, ## 是否自动提交offset
    'default.topic.config': {
        'auto.offset.reset': 'smallest'
})
c.subscribe(['Topic']) ## 为该consumer分配分区

对其中的一些参数进行解释:

enable.auto.commit:是否自动提交offset,设为True时,每隔一段时间就会提交一次offset。

auto.offset.reset:有smallest和lateset可选, 每次从最小的offset读取或从最新一条数据读取,当该partition中没有记录offset生效,否则会直接读取记录的offset。
因此若想测试时使用该参数,可结合’enable.auto.commit’为False使用,这样的话partition就没有被记录的offset,每次都可从第一条/最后一条读取信息。

while True:
    msg = c.poll(1)
    if msg is None:
        continue
    else:
        if not msg.error() is None:
            print msg.error()
        else:
        	message = msg.value()
            print msg.partition(), msg.offset()

若想为该topic的各个分区指定offset,可初始化一个TopicPartition实例,通过commit把该offset提交上去。

topicPartitionList = [
	kfk.TopicPartition('Topic', partition=0, offset=100),
	kfk.TopicPartition('Topic', partition=1, offset=200),
	kfk.TopicPartition('Topic', partition=2, offset=300),
	] ## 对该topic的三个分区只配offset

c.commit(offsets=topicPartitionList) ##提交分区offset
c.commit(message=msg) ## 也可通过msg提交分区offset

c.commited(topicPartitionList) ## 查看分区偏移量

你可能感兴趣的:(python,kafka)