Kafka系列

apache kafka系列之源码分析走读-kafkaApi详解

Kafka源码中数据交互流程图11.概述kafka启动时做很多初始化运行环境工作，具体请参考：apachekafka系列之源码分析走读-kafka内部模块分析其中SockeServer类启动时，首先初始化
lizhitao·2015-02-28 17:00

kafka系列文章索引（结束）

apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对 kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。 首先当然推荐的是kafka的官网 http://kafka.apache.org/  在官网最值得参考的文章就是
·2015-01-08 14:00

apache kafka系列之在zookeeper中存储结构

1.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{  "version":"版本编号目前固定为数字1",  "partitions":{    "partitionId编号":[      同步副本组brokerId列表    ],    "partitionId编号":[      同步副本组brokerId
岩之有理·2014-12-24 15:00

apache kafka系列之ZookeeperConsumer实现

kafka的ZookeeperConsumer数据获取的步骤如下：入口ZookeeperConsumerConnectordefconsume[T](topicCountMap:scala.collection.Map[String,Int],decoder:Decoder[T]):Map[String,List[KafkaStream[T]]]方法客户端启动后会在消费者注册目录上添加子节点变化的
lizhitao·2014-10-31 11:00

apache kafka系列之文件系统设计那些

apachekafka中国社区QQ群:1622725571.文件系统说明文件系统一般分为系统和用户2种类型，系统级文件系统:ext3,ext4,dfs,ntfs等等,，笔者并不会向大家介绍那种纷繁复杂的分布式或系统级文件系统，而是从kafka架构高性能角度考虑，深入剖析kafka文件系统存储结构设计。2.kafka简要介绍2.2kafka文件系统存储结构                      
lizhitao·2014-10-28 18:00

apache kafka系列之源码分析走读-server端网络架构分析

笔者今天分析一下kafka网络架构，俗话说人无好的胫骨，就没有好的身体，建筑没有扎实可靠的结构框架，就不会屹立不倒。同样的服务端程序没有好的网络架构，其性能就会受到极大影响，其他方面再怎么优化，也会受限于此，那kafka网络架构是怎样的呢，它不是用的现今流行的netty，mina的高性能网络架构，而是自己基于javanio开发的。kafka网络架构图如下：Kafka是典型SEDA(多阶段事务驱动模
lizhitao·2014-08-08 18:00

apache kafka系列之性能优化架构分析

apachekafka中国社区QQ群:162272557Apachekafka性能优化架构分析应用程序优化：数据压缩consumeroffset默认情况下是定时批量更新topics的partitionsoffset值
lizhitao·2014-08-08 15:00

apache kafka系列之源码分析走读-kafka内部模块分析

apachekafka中国社区QQ群:162272557kafka整体结构分析：kafka源代码工程目录结构如下图：下面只对core目录结构作说明，其他都是测试类或java客户端代码admin  --管理员模块，操作和管理topic，paritions相关，包含create,deletetopic,扩展patitionsApi    --该模块主要负责交互数据的组装，客户端与服务端交互数据编解码c
lizhitao·2014-08-03 20:00

apache kafka系列之broker内部架构

下面介绍kafkabroker的主要子模块，帮助您更好地学习并理解kafka源代码和架构。如下介绍几个子模块：KafkaAPIlayerLogManagerandLogReplicaManagerZookeeperConsumerConnectorservice Schedule如下是系统几个模块如何组成到一起架构图：启动过程zkClient初始化=>logManager start()=>soc
lizhitao·2014-08-03 14:00

apache kafka系列之客户端开发-java

apachekafka中国社区QQ群:1622725571.依赖包          org.apache.kafka      kafka_2.10      0.8.1    2.producer程序开发例子2.1producer参数说明#指定kafka节点列表，用于获取metadata，不必全部指定metadata.broker.list=192.168.2.105:9092,192.168
lizhitao·2014-07-15 14:00

apache kafka系列之源码构建打包

apachekafka源码构建打包准备工作：安装gradle1.构建kafka的jar并运行打包kafka-0.8.1.1下所有jar，包括core,perf,clients等。lizhitao@users-MacBook-Pro:~/mt_wp/tmp/kafka-0.8.1.1-src$gradlejar2.构建源代码jarlizhitao@users-MacBook-Pro:~/mt_wp/
lizhitao·2014-07-08 17:00

apache kafka系列之jmx监控指标参数

apachekafka中国社区QQ群:162272557Kafka使用YammerMetrics来监控server和client指标数据。JMX监控指标参数列表如下:参数Mbean名称说明所有topic的写入消息速率(消息数/秒)"kafka.server":name="AllTopicsMessagesInPerSec",type="BrokerTopicMetrics"所有topic消息(进出
lizhitao·2014-06-30 10:00

apache kafka系列之迁移与扩容工具用法

apachekafka中国社区QQ群:162272557 kafka迁移与扩容工具使用参考官网site:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool说明:当我们对kafka集群扩容时，需要满足2点要求:将指定topic迁移到集
lizhitao·2014-06-28 23:00

apache kafka系列之性能测试报告(虚拟机版)

apachekafka中国社区QQ群:162272557测试方法在其他虚拟机上使用Kafka自带 kafka-producer-perf-test.sh脚本进行测试Kafka写入性能尝试使用 kafka-simple-consumer-perf-test.sh脚本测试KafkaConsumer性能，但由于获取到的数据不靠谱，放弃这个测试方法性能数据注：Gzip和Snappy的传输速度MB/S是通过
lizhitao·2014-06-22 21:00

apache kafka系列之Controller设计机制和状态变化

apachekafka中国社区QQ群:162272557在kafka集群中，其中一个brokerserver作为中央控制器，负责管理分区和副本状态并执行管理着这些分区的重新分配。下面说明如何通过中央控制器操作分区和副本的状态。名词解释：isr：同步副本组OfflinePartitionLeaderSelector:分区下线后新的领导者选举OAR：老的分配副本PartitionStateChange
lizhitao·2014-06-02 15:00

apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法

apachekafka中国社区QQ群:162272557kafka.common.ConsumerRebalanceFailedException:log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63can'trebalanceafter3retriesatkafka.consume
lizhitao·2014-05-27 12:00

apache kafka系列之Producer处理逻辑

apachekafka中国社区QQ群:162272557转载自同事(董重)写得一篇wiki博客KafkaProducer处理逻辑KafkaProducer产生数据发送给KafkaServer，具体的分发逻辑及负载均衡逻辑，全部由producer维护。Kafka结构图KafkaProducer默认调用逻辑默认Partition逻辑1、没有key时的分发逻辑每隔 topic.metadata.refr
lizhitao·2014-05-23 11:00

apache kafka系列之server.properties配置文件参数说明

apachekafka中国社区QQ群:162272557每个kafkabroker中配置文件server.properties默认必须配置的属性如下：broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.req
幽灵之使·2014-05-13 03:37

apache kafka系列之server.properties配置文件参数说明

apachekafka中国社区QQ群:162272557每个kafkabroker中配置文件server.properties默认必须配置的属性如下：broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socke
lizhitao·2014-05-13 03:00

apache kafka系列之安装与使用

apachekafka中国社区QQ群:162272557kafak安装与使用1.前言学习kafka的基础是先把kafka系统部署起来，然后简单的使用它，从直观上感觉它，然后逐步的深入了解它。本文介绍了kafka部署方法，包括配置，安装和简单的使用。2.kafka下载和安装kafka版本一直在更新，且每次更新，变化均比较大，如配置文件有改动，kafka0.7到0.8.1版本变化很大，包括加入，支持集
lizhitao·2014-05-13 02:00

apache kafka系列之-监控指标

apachekafka中国社区QQ群:1622725571、监控目标  1.当系统可能或处于亚健康状态时及时提醒，预防故障发生   2.报警提示a.短信方式b.邮件2、监控内容2.1机器监控Kafka服务器指标CPULoadDiskIOMemory磁盘log.dirs目录下数据文件大小,要有定时清除策略2.2JVM监控主要监控JAVA的GCtime(垃圾回收时间)，JAVA的垃圾回收机制对性能的影
lizhitao·2014-04-27 12:00

apache kafka系列之replication设计机制

apachekafka中国社区QQ群:162272557概览:其中一个broker被选举作为整个集群控制器，他将负责几个方面工作：1.管理或领导分区变化.2.createtopic,deletetopic3.replicas(执行复制计划，复制partition)集群控制器做出决定以后，操作信息或状态将永久注册并存储在zookeeper上，并且也可以通过RPC方式发送新的决定操作broker。控制
lizhitao·2014-04-25 18:00

apache kafka系列之log4j配置

apachekafka中国社区QQ群:162272557kafka日志文件分为5种类型，依次为：controller,kafka-request,server,state-change,log-cleaner，不同类型log数据，写到不同文件中:kafka.logs.dir=logs log4j.rootLogger=INFO,stdout log4j.appender.stdout=org.
lizhitao·2014-04-25 18:00

apache kafka系列之在zookeeper中存储结构

1.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{"version":"版本编号目前固定为数字1","partitions":{"partitionId编号":[同步副本组brokerId列表],"partitionId编号":[同步副本组brokerId列表],.......}}Example:{"versi
幽灵之使·2014-04-15 10:13

apache kafka系列之在zookeeper中存储结构

apachekafka中国社区QQ群:1622725571.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{  "version":"版本编号目前固定为数字1",  "partitions":{    "partitionId编号":[      同步副本组brokerId列表    ],    "partiti
lizhitao·2014-04-15 10:00

[置顶] 【Apache KafKa系列之一】KafKa安装部署

kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Kafka的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流
WeiJonathan·2014-01-10 10:00

【Apache KafKa系列之一】KafKa安装部署

kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Kafka的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流
Jonathan-Wei·2014-01-10 00:00

Jafka源码粗略解读之三-producer

资料今天看到研究Jafka的人还挺多的，比较优秀的是@FrankHui的Kafka系列文章，还有@rockybean的博客。
黄亿华·2013-08-18 16:00

[置顶] Apache Kafka系列之Kafka设计细节

我们为什么要构建这个系统Kafka是一个分布式、分区的、多副本的、多订阅者的“提交”日志系统。我们构建这个系统是因为我们认为，一个实现完好的操作日志系统是一个最基本的基础设施，它可以替代一些系统来作诸如：消息处理，ETL（Extraction-Transformation-Loading），日志收集，流式处理等工作。我们的目标就是能有一个拥有足够吞吐量和能力的系统来将上面这些事情统一在一个平台上。
Kevin_HX001·2013-07-22 22:00

[置顶] Apache Kafka系列之Kafka介绍

Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。所有的这些意味着什么？首先，我们来看一下一些基础的有关消息的术语：1）Kafka维护按类区分的消息，称为主题（topic）2）生产者（producer）向kafka的主题发布消息3）消费者（consumer）向主题注册，并且接收发布到这些主题的消息4）kafka以一个拥有一台或多台服务器的集群
Kevin_HX001·2013-07-22 15:00

kafka 源码调研系列1 特色

    kafka相关调研很多，其中以FrankHui大神（http://my.oschina.net/ielts0909）的kafka系列文章非常精彩，悲催的是，前期调研时候没有看到，老老实实的看完了
川明君·2013-07-17 11:00

kafka系列文章索引

apachekafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。首先当然推荐的是kafka的官网 http://kafka.apache.org/ 在官网最值得参考的文章就是kafkadesign：http
Gaischen·2013-03-25 21:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他