Kafka系列

深入理解Kafka系列（七）--管理Kafka

深入理解Kafka系列（七）--管理Kafka系列文章目录前言正文主题操作创建主题增加分区其他操作消费者群组偏移量管理动态配置变更覆盖主题的配置项覆盖客户端的配置其他相关操作分区管理首选的首领选举修改分区副本转储日志片段消费和生产控制台生产者控制台消费者不安全的操作移动集群控制器取消分区重分配移出待删除的主题手动删除主题总结系列文章目录
Zong_0915·2023-11-24 15:22

kafka——集群安裝部署(自带zookeeper)

kafka系列文章第一章linux单机安装第二章kafka——集群安裝部署(自带zookeeper)一、kafka简介kafka官网：http://kafka.apache.org/kafka下载页面：
厌学的小骚年·2023-11-12 10:31

Kafka系列3-Kafka架构

文章目录一.工作流程二.文件存储三.生产者分区策略四.生产者ISR4.1副本数据同步策略4.1.1半数follower同步完成即发送ack4.1.2全部follower同步完成完成发送ack4.1.3kafka的选择4.2ISR(同步副本集)五.生产者ack机制六.数据一致性问题七.ExactlyOnce八.Kafka消费者分区分配策略8.1.分区分配策略8.2.消费者offset的存储九.高效读
只是甲·2023-11-08 17:13

Kafka系列：查看Topic列表、消息消费情况、模拟生产者消费者

1、查看kafka队列中topic信息1.1、查看所有topic./kafka-topics.sh--zookeeper10.128.106.52:2181--list1.2、查看kafka中指定topic的详情./kafka-topics.sh--zookeeper10.128.106.52:2181--topicai_jl_analytic--describe2、查看消费者consumer的g
不出名的老六·2023-10-30 03:24

Kafka系列 - 深入探究broker

1.背景主要从控制器、consumer主题管理、kafka的副本机制三个方面对broker进行深入研究，梳理清楚broker端的一些基础流程。注意：文章中的部分内容节选自极客时间《kafka核心技术与实战》。2.控制器控制器的作用？在Kafka集群中会有一个或多个broker，其中有一个broker会被选举为控制器（KafkaController）。1.管理整个集群中所有分区和副本的状态。比如：某
阿健2020·2023-10-28 07:45

5、kafka监控工具Kafka-Eagle介绍及使用

ApacheKafka系列文章1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试2、java调用kafkaapi3、kafka重要概念介紹及示例4、kafka分区、副本介绍及示例5、kafka
一瓢一瓢的饮 alanchan·2023-10-26 00:45

kafka系列（04）：Kafka分区和副本机制理解

1.kafka分区机制分区机制是kafka实现高吞吐的秘密武器，但这个武器用得不好的话也容易出问题，今天主要就来介绍分区的机制以及相关的部分配置。首先，从数据组织形式来说，kafka有三层形式，kafka有多个主题，每个主题有多个分区，每个分区又有多条消息。而每个分区可以分布到不同的机器上，这样一来，从服务端来说，分区可以实现高伸缩性，以及负载均衡，动态调节的能力。当然多分区就意味着每条消息都难以
快快乐乐#·2023-10-23 05:41

Kafka系列（五）、开启SASL安全认证以及配置ACL权限控制

目录开启SASL控制台配置用户ACL授权Python客户端访问ACL常用命令Kafka系列：kafka2.4.1单机版部署及使用kafka监控系统kafkaeagle安装使用滴滴开源的kafka-manager
王义凯_Rick·2023-10-20 13:07

【弄nèng - Kafka】应用篇（七） —— Springboot整合Kafka（消息过滤）

文章目录一.简介二.消息过滤2.1引入依赖2.2Kafka配置2.2.1生产者2.2.2消费者2.2.3测试源码地址项目推荐该篇博客实现Springboot整合kafka,消息过滤更多高级用法请看我的博客Kafka
司马缸砸缸了·2023-10-17 15:08

【弄nèng - Kafka】应用篇（五） —— Springboot整合Kafka（事务）

2.2.2消费者2.2.3测试三.使用KafkaTemplate.executeInTransaction开启事务源码地址项目推荐该篇博客实现Springboot整合kafka,事务更多高级用法请我的博客kafka
司马缸砸缸了·2023-10-17 15:07

Kafka系列之—Kafka Broker安装（三）

一下载ApacheKafkaApacheKafka:ADistributedStreamingPlatform.https://kafka.apache.org/downloads.html二安装将Kafka安装在/usr/local/kafka目录下，使用之前配置好的Zookeeper,并把消息日志保存在/tmp/kafka-logs目录下tar-zxfkafka_2.12-3.1.1.tgzm
葛旭朋·2023-10-11 07:58

Kafka是什么，以及如何使用SpringBoot对接Kafka

系列文章目录上手第一关，手把手教你安装kafka与可视化工具kafka-eagleKafka是什么，以及如何使用SpringBoot对接Kafka系列文章目录一、Kafka与流处理二、SpringBoot
战斧·2023-10-08 18:10

11.Kafka系列之Stream实践

KafkaStreams是一个基于ApacheKafka的处理库，可以用于实现高效、可扩展的实时数据处理应用程序。它是一个轻量级的库，允许你在Java和Scala中创建和运行流处理应用程序，这些应用程序可以读取输入流，执行各种数据转换，然后将处理后的结果发送到输出流。1.主要优势1.简单易用：KafkaStreams提供了一个简单易用的编程模型，让你能够轻松地编写和调试流处理应用程序2.高效性能：
沈健_算法小生·2023-10-08 17:50

Kafka系列之：深入理解Kafka消费者

Kafka系列之：深入理解Kafka消费者一、消费者与消费组二、消费者与订阅主题之间的分区分配策略三、消息投递模式四、客户端开发五、订阅主题与分区六、反序列化七、使用通用的序列化工具实现自定义的序列化器和反序列化器
最笨的羊羊·2023-09-21 05:31

终于产完了！Kafka 打怪升级进阶成神之路（2023最新版）

截止今天，又一个知识体系的学习之旅：消息中间件Kafka系列卷完了。希望大家能够从中收获多多！
·2023-09-19 22:51

【日记】文章更新计划

,pink%}第一版发布【完结~开发规范系列】Linux系列重新定位，不再只是简单的说常用命令周二rocketmq更换为nginx系列微服务内容变更，现在主要说架构方便的内容周四变更为设计模式系列更新Kafka
程序员朱永胜·2023-09-19 01:15

【Kafka系列】（二）Kafka的基本使用

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址[1]文章更新计划[2]系列文章地址[3]Kafka线上集群部署方案怎么做操作系统先说结论，Kafka部署在Linux上要比Windows和Mac上性能高的多，主要是以下几个原因：操作系统优化：Linux操作系统在网络和文件系统性能方面通常比Windows和Mac更
程序员朱永胜·2023-09-19 01:15

【Kafka系列】（二）Kafka的基本使用

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址文章更新计划系列文章地址Kafka线上集群部署方案怎么做操作系统先说结论，Kafka部署在Linux上要比Windows和Mac上性能高的多，主要是以下几个原因：操作系统优化：Linux操作系统在网络和文件系统性能方面通常比Windows和Mac更优秀。Linux内
·2023-09-18 23:06

【日记】文章更新计划

,pink%}第一版发布【完结~开发规范系列】Linux系列重新定位，不再只是简单的说常用命令周二rocketmq更换为nginx系列微服务内容变更，现在主要说架构方便的内容周四变更为设计模式系列更新Kafka
·2023-09-18 23:32

【深入理解Kafka系列】 第二章 生产者

生产者就是负责向Kafka发送消息的应用程序。Kafka一共两个大版本的客户端，第一个是开源之处使用Scala编写的客户端；第二个是0.9.x版本开始推出的java编写的客户端。1、客户端开发一个正常的生产逻辑需要以下几个步骤：（1）配置生产者客户端参数及创建相应的生产者实例。（2）构建待发送的消息（3）发送消息（4）关闭生产者实例需要单独说明下构建消息的ProducerRecord，它包含了多个
代码搬运工.·2023-09-10 22:03

Kafka系列之入门(荣耀典藏版)

目录一、为什么要用消息中间件？1、异步处理2、应用解耦3、流量削峰4、日志处理二、为什么选择Kafka？消息中间件的编年史1、Kafka的外在表现和内在设计2、市场主流消息中间件对比三、Kafka中的基本概念1、消息和批次2、主题和分区3、生产者和消费者、偏移量、消费者群组4、Broker和集群5、保留消息四、为什么选择Kafka1、优点2、常见场景2.1活动跟踪2.2传递消息2.3收集指标和日志
海棠Flower未眠·2023-09-05 08:35

【Kafka系列】（一）Kafka入门

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址系列文章地址Kafka是什么？一句话概括：「ApacheKafka是一款开源的消息引擎系统」什么是消息引擎系统？消息引擎系统（MessageBrokerSystem）是一种中间件软件或服务，用于在分布式系统中进行异步消息传递。它提供了可靠的消息传输、消息路由和消息处
程序员朱永胜·2023-09-05 08:32

【Kafka系列】（一）Kafka入门

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址系列文章地址Kafka是什么？一句话概括：ApacheKafka是一款开源的消息引擎系统什么是消息引擎系统？消息引擎系统（MessageBrokerSystem）是一种中间件软件或服务，用于在分布式系统中进行异步消息传递。它提供了可靠的消息传输、消息路由和消息处理的
·2023-09-04 23:08

Kafka系列七存储机制

文章首发于个人博客，欢迎访问关注：https://www.lin2j.techKafka在设计之初就将数据的持久化视为通常情况，关注点放在了吞吐量而不是功能。Kafka采取简单的读取和内容附加到日志文件中，这种操作的好处是读写都是O(1)O(1)O(1)的复杂度，而且读取不影响写入操作。除此之外，数据量的大小对性能几乎没有影响，对于过期的数据也能采取简单方式删除。Kafka之所以采用这种读写方式，
哆啦酱不加班·2023-08-31 15:08

【日记】文章更新计划

内容周更【周一】Kafka系列：搭建、使用、原理【周二】RocketMq系列：
·2023-08-30 13:00

【日记】文章更新计划

内容周更【周一】Kafka系列：搭建、使用、原理[2]【周二】Rocke
程序员朱永胜·2023-08-30 11:08

Kafka系列之—SpringBoot项目整合Spring-kafka和事务消息实战（六）

一Springboot项目整合spring-kafka依赖发送消息1.1添加pom文件org.springframework.kafkaspring-kafka1.2配置文件修改增加生产者信息spring:kafka:bootstrap-servers:112.74.55.160:9092,112.74.55.160:9093,112.74.55.160:9094producer:#消息重发的次数
葛旭朋·2023-08-28 06:20

Kafka集群搭建(四节点)

Zookeeper及Kafka系列系列文章Zookeeper及Kafka系列(1)―ZooKeeper集群搭建(四节点)Zookeeper及Kafka系列(2)―Kafka集群搭建(四节点)提示：写完文章后
TheFeasterfromAfar·2023-08-18 11:50

终于产完了！Kafka 打怪升级进阶成神之路（2023最新版）

截止今天，又一个知识体系的学习之旅：消息中间件Kafka系列卷完了。希望大家能够从中收获多多！
·2023-08-17 11:09

详解Kafka分区机制原理｜Kafka 系列 二

Kafka系列第二篇，详解分区机制原理。为了不错过更新，请大家将本号“设为星标”。
西海幼鸟·2023-08-08 06:51

Kafka系列之：详细介绍部署Kafka Connect分布式集群

Kafka系列之：详细介绍部署KafkaConnect分布式集群一、部署分布式Kafka集群详细步骤二、KafkaWorker节点安装部署Kafka三、修改connect-distributed.properties
最笨的羊羊·2023-08-02 08:49

Kafka系列之：使用kafka manager增加topic分区和副本

Kafka系列之：使用kafkamanager增加topic分区和副本）一、相关技术博客二、增加分区三、增加副本一、相关技术博客Kafka系列之：实现kafkatopic优先副本的选举Kafka系列之：
最笨的羊羊·2023-08-02 08:49

Kafka系列之：日志清理

Kafka系列之：日志清理一、日志清理二、日志删除三、基于时间的日志删除四、基于日志大小的日志删除五、基于日志起始偏移量一、日志清理Kafka将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作
最笨的羊羊·2023-08-02 08:48

Kafka系列之：Kafka消费组中消费者再均衡的原理

Kafka系列之：Kafka消费组中消费者再均衡的原理一、GroupCoordinator和ConsumerCoordinator二、再均衡操作阶段1.第一阶段：FIND_COORDINATOR2.第二阶段
最笨的羊羊·2023-08-02 08:48

Kafka系列之：Broker配置

Kafka系列之：Broker配置1.advertised.listeners发布到ZooKeeper以供客户端使用的侦听器2.auto.create.topics.enable在服务器上启用自动创建主题
最笨的羊羊·2023-08-02 08:18

Kafka系列之：增加Kafka节点扩展Kafka集群

Kafka系列之：增加Kafka节点扩展Kafka集群一、增加Kafka节点二、分区重新分配工具三种工作模式三、自动将数据迁移到新机器四、自定义分区分配和迁移五、增加复制因子六、在数据迁移期间限制带宽使用一
最笨的羊羊·2023-08-02 08:18

Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法

Kafka系列之：记录一次KafkaTopic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法一、背景二、解决方法三、实现自动发现新的分区一、背景生产环境Kafka集群压力大，Topic
最笨的羊羊·2023-08-02 08:47

Kafka系列之：安装Know Streaming详细步骤

Kafka系列之：安装KnowStreaming详细步骤一、相关技术博客二、安装elasticsearch1.下载elasticsearch2.创建数据目录3.创建es用户4.修改最大文件数5.解压elasticsearch6
最笨的羊羊·2023-08-01 07:18

Spring-Kafka系列(2)——SpringKafka生产者KafkaTemplate

SpringKafka的配置2.1SpringKafka配置2.1.1Kafka配置类KafkaProperties2.2SpringKafka生产者KafkaTemplate2.2.1创建一个生产者KafkaTemplate2.2.2KafkaTemplate发送消息方法2.2.3生产者消息回调ProducerListener2.1SpringKafka配置SpringBoot为Kafka提供了
冷雨夜中漫步·2023-07-30 11:23

Kafka系列——详解创建Kafka消费者及相关配置

创建消费者在读取消息之前，需要先创建一个KafkaConsumer对象。创建KafkaConsumer对象与创建KafkaProducer对象非常相似——把想要传给消费者的属性放在Properties对象里，后面深入讨论所有属性。这里我们只需要使用3个必要的属性：bootstrap.servers、key.deserializer和value.deserializer。bootstrap.serv
zxu_er·2023-07-22 14:10

Kafka系列之：实现对Kafka集群的监控

Kafka系列之：实现对Kafka集群的监控一、Kafka监控数据二、同步失效分区三、监控指标一、Kafka监控数据Kafka监控指标：broker指标、主题的指标，集群层面的指标可以通过各个broker
最笨的羊羊·2023-07-15 19:03

apache kafka系列之log4j配置

apachekafka中国社区QQ群:162272557kafka日志文件分为5种类型，依次为：controller,kafka-request,server,state-change,log-cleaner，不同类型log数据，写到不同文件中:kafka.logs.dir=logslog4j.rootLogger=INFO,stdoutlog4j.appender.stdout=org.apac
幽灵之使·2023-07-15 13:36

Kafka系列之：消息路由

Kafka系列之：消息路由一、消息路由二、Kafka实现消息路由一、消息路由消息路由是消息中间件中常见的一个概念，比如在典型中间件RabbitMQ中就使用路由键RoutingKey来进行消息路由。
最笨的羊羊·2023-07-14 13:02

Kafka系列之：Kafka生产者和消费者

Kafka系列之：Kafka生产者和消费者一、Kafka生产者发送流程二、提高生产者吞吐量三、Kafka消费方式四、Kafka消费者总体工作流程五、按照时间消费KafkaTopic一、Kafka生产者发送流程
最笨的羊羊·2023-07-14 13:36

Kafka系列之：基于Apache Kafka Connect实现端到端topic数据字段级加密的详细方法

Kafka系列之：基于ApacheKafkaConnect实现端到端topic数据字段级加密的详细方法一、背景二、加密数据降低数据泄露的风险三、Kafka代理外部的加密四、数据加密方法五、Kafka代理外部加密的优点六
最笨的羊羊·2023-07-14 13:48

Kafka系列之：Apache Kafka端到端安全性，实现数据加密

Kafka系列之：ApacheKafka端到端安全性，实现数据加密一、背景二、Kafka的加密算法三、消息处理链四、实现数据加密五、使用数据加密六、基准测试七、局限性八、结论九、完整代码一、背景ApacheKafka
最笨的羊羊·2023-07-13 22:49

Kafka系列之：连接器客户端配置覆盖策略

Kafka系列之：连接器客户端配置覆盖策略一、背景二、公共接口三、推荐的改动四、兼容性、弃用和迁移计划一、背景KAFKA引入了每个源连接器和接收器连接器从工作线程属性继承其客户端配置的功能。
最笨的羊羊·2023-06-24 02:52

Kafka系列之：对源连接器的的Exactly-Once支持

Kafka系列之：对源连接器的的Exactly-Once支持一、背景二、目标三、公共接口四、连接器API扩展五、RESTAPI验证六、新指标七、计划变更八、任务计数记录九、重新平衡的准备十、源任务启动十一
最笨的羊羊·2023-06-23 19:02

Kafka系列之：一次性传送和事务消息传递

Kafka系列之：一次性传送和事务消息传递一、目标二、关于事务和流的一些知识三、公共接口四、示例应用程序五、新配置六、计划变更1.幂等生产者保证2.事务保证七、关键概念八、数据流九、授权十、RPC协议总结
最笨的羊羊·2023-06-23 19:59

Kafka系列之：自定义转换Transformation

Kafka系列之：自定义转换Transformation一、自定义转换二、Transformation示例一、自定义转换如果可用的单一消息转换(SMT)均未提供必要的转换，可以创建自己的转换。
最笨的羊羊·2023-06-21 22:56
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他