KafkaProducer

深度剖析 Kafka Producer 的缓冲池机制【图解 + 源码分析】

上次跟大家分享的文章「KafkaProducer异步发送消息居然也会阻塞？」中提到了缓冲池，后面再经过一番阅读源码后，发现了这个缓冲池设计的很棒，被它的设计思想优雅到了，所以忍不住跟大家继续分享一波。
公众号_后端进阶·2020-10-09 13:20

Kafka Producer 异步发送消息居然也会阻塞？

Kafka一直以来都以高吞吐量的特性而家喻户晓，就在上周，在一个性能监控项目中，需要使用到Kafka传输海量消息，在这过程中遇到了一个KafkaProducer异步发送消息会被阻塞的问题，导致生产端发送耗时很大
公众号_后端进阶·2020-10-09 13:12

记一次web服务的调优

后面将遇到的问题、解决方案和原理记录如下：1、内存占用过大，虽然jvm的堆内存设为1G，但进程实际内存使用量达到了12G解决方案：程序中使用了kafka，new出kafkaproducer来向kafka
yingkongshi99·2020-09-16 19:11

模拟一些数据,发送到kafka

{KafkaProducer,ProducerRecord}/***Createdbyxiangon2020/5/11.*/objectSp
LikeJava_·2020-09-16 02:51

KafkaProducer介绍

一生产者发送消息到broker的流程1.1ProducerIntercptor对消息进行拦截1.2Serialzer对key和value进行序列化1.3Partitioner对消息选择合适的分区1.4RecordAccumulator收集消息，实现批量发送1.5Sender从RecordAccumulator获取消息1.6构造ClientRequest1.7将ClientRequest交给Netw
happy19870612·2020-09-15 16:14

Kafka Producer拦截器

Kafka中的拦截器（Interceptor）是0.10.x.x版本引入的一个功能，一共有两种：KafkaProducer端的拦截器和KafkaConsumer端的拦截器。
weixin_34348111·2020-09-15 15:32

【Kafka】Kafka-数据倾斜问题-参考资料-解决方案

SparkMasteratspark://node-01:7077kafka多线程producer数据不均匀_百度搜索kafka分片使用不均匀问题如何解决，求救-OrcHome(1封私信)kafka的生产者程序是用单例类，还是把KafkaProducer
weixin_33919941·2020-09-15 15:42

kafka生产者

kafkaproducer：消息生产者，就是向kafkabroker中发送消息的客户端。
suphieLiang·2020-09-15 15:41

SpringBoot Kafka工具类封装

importcom.alibaba.fastjson.JSONObject;importcom.oal.microservice.config.Bootstrap;importorg.apache.kafka.clients.producer.KafkaProducer
张志翔·2020-09-15 14:22

【生产者篇】 KafkaProducer初探

Callback：回调函数接口KafkaProducer：Produce实现类MockProducer：Produce实现类，mock数据用Partit
-mercho·2020-09-15 14:09

kafka命令行生产者报错，无法启动命令行生产者报错！

org.apache.kafka.common.KafkaException:Failedtoconstructkafkaproduceratorg.apache.kafka.clients.producer.KafkaProducer
upc_xiaowuzi·2020-09-15 12:07

基于kafka interceptor监控kafka client消息延迟、数量

kafkaclient接收或发送的消息,基于这一点,我们可以在消息被拦截到时,进行消息统计以及相应的延时计算;需要明白一个点kafka在0.10.0版本,开始支持每个record带一个timestamp.KafkaProducer
_laomei_·2020-09-14 20:08

Java 操作KafKa API

生产者:1importnet.sf.json.JSONObject;2importorg.apache.kafka.clients.producer.KafkaProducer;3importorg.apache.kafka.clients.producer.ProducerRecord
weixin_30617561·2020-09-14 16:15

bootstrap.yml文件配置丢失kafkaProducer引起错误

bootstrap.yml文件配置丢失kafkaProducer引起错误：ErrorstartingApplicationContext.Todisplaytheconditionsreportre-runyourapplicationwith'debug'enabled
不一样的成长者·2020-09-14 02:19

Kafka produce flush 引起的性能分析

调用kafkaproducer发送数据时，发现延迟级别在10-200ms不等，与正常的kafka写入速度不匹配，于是开始找问题~一.场景：一批数据，需要遍历每个数据并发送数据细节的信息到kafka，下面是我原始代码
BIT_666·2020-09-14 01:00

Spark基础(六):SparkStreaming实操读写kafka（亲测）

Kafka-topicsflume导入kafka1、sparkstreaming向Kafka读数据2、sparkStreaming向Kafka写数据，没有现成的接口，需要利用Kafka提供的底层接口（1）对KafkaProducer
跳蛙pass·2020-09-14 01:54

源码分析 Kafka 消息发送流程(文末附流程图)

从上文初识KafkaProducer生产者，可以通过KafkaProducer的send方法发送消息，send方法的声明如下：Futuresend(ProducerRecordrecord)Futuresend
唯有坚持不懈·2020-09-12 13:22

重要：Kafka第3篇之一条消息如何被存储到Broker上

1.客户端组件2.客户端缓存存储模型3.确定消息的partition位置4.发送线程的工作原理客户端组件KafkaProducer:K
ShiLuoHeroKing·2020-09-12 12:25

Kafka报错org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

问题描述kafkaproducer/consumer连接kafkabroker超时，报错日志：org.apache.kafka.common.errors.TimeoutException:Failedtoupdatemetadataafter60000ms
代码敲球球·2020-09-12 11:42

java 向kafka发送消息 创建kafka Producer 以便批量发送消息

java创建kafkaProducer以便批量发送消息/***创建Producer*@return*/@OverridepublicProducercreateProducer(){//获取kafka配置信息
He...·2020-09-12 08:58

java向kafka批量均匀发送数据的方法

importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.producer.ProducerRecord
rongyongfeikai2·2020-09-12 04:50

Kafka send问题

fromkafkaimportKafkaProducerimportpickleproducer=KafkaProducer(bootstrap_server
weixin_30711917·2020-09-10 23:20

缓存预热解决方案（11）

nginx这一层，接收到访问请求的时候，就把请求的流量上报发送给kafka这样的话，storm才能去消费kafka中的实时的访问日志，然后去进行缓存热数据的统计用得技术方案非常简单，从lua脚本直接创建一个kafkaproducer
闵浮龙·2020-09-10 15:21

Kafka Producer Consumer

ProducerAPIorg.apache.kafka.clients.producer.KafkaProducer如果想学习Java工程化、高性能及分布式、深入浅出。
程序员日常填坑·2020-08-26 12:12

7. Kafka Producer和Consumer API

文章目录KafkaProducer和ConsumerAPI1.ProducerAPI1.1消息发送流程1.2异步发送API不带回调函数的API自定义分区生产者带回调函数的API1.3同步发送API2.ConsumerAPI2.1
喵先生呢·2020-08-24 17:44

enum and json相互转换

1.enum转为json在kafkaProducer懒得封装model,就把参数放到了map里，根据你自己的业务去转为json(超简单这不是关键点Mapparams=Maps.newHashMap();
啊迟·2020-08-24 16:45

kafka_11_消费&生产协同事务

producerbefore上游packagecom.soul.kafka.level11;importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.producer.ProducerConfig
SOUL-GIN·2020-08-23 04:55

Kafka之ACK机制

acks一般常设置三种值request.required.acks=0、1和-1(all)acks=0KafkaProducer把消息发送出去，不需要等待任何确认收到的消息，没有任何保障可以保证此种情况下
cllblogs·2020-08-23 02:50

【生产者篇】 KafkaProducer发送消息简要流程

完成这个功能只需要使用KafkaProducer的send方法即可。其内部原理是由两个线程共同完成，主线程和sender线程。sender线程是主线程的守护线程。
-mercho·2020-08-23 01:41

Flink源码解读--FlinkKafkaProducer09

2、FlinkKafkaProducer09Flink提供了6种kafkaproducer方法：FlinkKafkaProducer09（brokerList，topicId，SerializationSchema
lmalds李麦迪·2020-08-23 01:52

Kafka Producer send原理及重试机制浅析(retries/acks如何被使用的)

我们在使用kafka时会在producer端定义这么两个变量的值：retries和acksack已经介绍过了retries是kafkaproducer针对可重试异常自动发起重试的次数我们在使用kafkaTemplate
雪落南城·2020-08-23 01:24

Kafka 生产者API，消费者API，拦截器，流计算

APIpackagecom.qjl.kafka.producer;importjava.util.Properties;importorg.apache.kafka.clients.producer.KafkaProducer
曲健磊·2020-08-23 01:41

apache kafka配置中request.required.acks含义

Kafkaproducer的ack有3中机制，初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。
MiniCTO·2020-08-23 00:49

kafka producer总结

Kafkaproducer的ack的3种机制：通过初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。
cuidongdong1234·2020-08-23 00:32

Kafka的ACK参数-1,0,1分别代表什么含义，如何保证宕机的时候数据不丢失的

Kafkaproducer有三种ack机制初始化producer时在config中进行配置；ack等于0：意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息提供了最低的延迟
babyWorld·2020-08-23 00:58

kafka中的acks参数

首先这个acks参数，是在KafkaProducer，也就是生产者客户端里设置的也就是说，你往kafka写数据的时候，就可以来设置这个acks参数。
chengliehuo9899·2020-08-23 00:22

sparkStreaming读kafka

windows环境本地起kafkaproducer进行测试，windows环境安装启动kafka可参照这篇博客：https://blog.csdn.net/shenyanwei/article/details
我是浣熊的微笑·2020-08-22 21:01

Kafka Producer源码解析一：整体架构

一、Producer整体架构KafkaProducer端的架构整体也是一个生产者-消费者模式Producer线程调用send时，只是将数据序列化后放入对应TopicPartition的Deque尾部的ProducerBatch
nlskyfree·2020-08-22 15:00

四、Kafka API实战

个人专题目录Kafka概述Kafka集群部署Kafka工作流程分析KafkaAPI实战Kafkaproducer拦截器(interceptor)KafkaStreams扩展Kafka生产者调优1.环境准备
Java及SpringBoot·2020-08-22 12:36

漫游Kafka设计篇之Producer和Consumer

KafkaProducer消息发送producer直接将数据发送到broker的leader(主节点)，不需要在多个节点进行分发。
磊磊崔·2020-08-22 12:52

kafka - acks参数的作用与影响

逐步讲解KafkaProducer配置acks参数的影响1）如何保证宕机的时候数据不丢失？如果要想理解这个acks参数的含义，首先就得搞明白kafka的高可用架构原理。
b9x_·2020-08-22 01:10

kafka的key为null时如何存储?

我们都知道，kafkaproducer发送消息的时候，可以指定key，这个key的作用是为消息选择存储分区，key可以为空，当指定key且不为空的时候，kafka是根据key的hash值与分区数取模来决定数据存储到那个分区
fa124607857·2020-08-21 19:11

Tp5使用Kafka：封装生产者、消费者操作类

扩展的安装1、config.php中配置：//kafka连接配置'kafka_server'=>['host'=>'127.0.0.1:9092','topic'=>'topic1',],2、创建一个生产者KafkaProducer.php
李维山·2020-08-21 17:58

你绝对能看懂的Kafka源代码分析-Sender类代码分析

目录：《KafkaProducer设计分析》《KafkaProducer类代码分析》《RecordAccumulator类代码分析》《Sender类代码分析》《NetworkClient类代码分析》--
稀有气体·2020-08-21 04:09

Kafka Python的生产者和消费者

KafkaPython的生产者和消费者在本教程中，我们将使用Python构建KafkaProducer和Consumer。除此之外，我们还将学习如何在Kafka中设置配置以及如何使用组和偏移量概念。
Yujiaao·2020-08-20 17:57

Kafka Python的生产者和消费者

KafkaPython的生产者和消费者在本教程中，我们将使用Python构建KafkaProducer和Consumer。除此之外，我们还将学习如何在Kafka中设置配置以及如何使用组和偏移量概念。
Yujiaao·2020-08-20 17:57

[Java大数据入门]Kafka编程示例-Producer

本文会主要实现producer相关的代码，下一篇文章会实现多线程的consumer代码在阅读本文之前，强烈建议先阅读以下一篇博文，将新版kafkaproducer的原理讲解的很透彻：
Russell_Liu·2020-08-20 05:22

Kafka生产者介绍（一）：KafkaProducer类接口与字段介绍

Producer发布消息的对象称之为主题生产者(Kafkatopicproducer)生产者的流程图如下：以上是整个生产者发送消息的整个流程。ProducerInterceptors对消息进行拦截，这里可以对信息做一定的筛选。Serializer对消息的key和value进行序列化。Parititioner为消息选择分配分区的策略，可以进行重定义。RecordAccumulator暂存需要发送消息
粽子包子粿条·2020-08-19 10:19

Kafka Consumer端的一些解惑

之前有一篇文章讲述的是kafkaProducer端的程序，也就是日志的生产者，这部分比较容易理解，业务系统将运行日志或者业务日志发送到broker中，由broker代为存储。
caodaoxi·2020-08-19 09:07

kafka producer 发送消息

packagecom.zhp.springbootstreamdemo.kafka;importorg.apache.kafka.clients.producer.Callback;importorg.apache.kafka.clients.producer.KafkaProducer
zhp_coder·2020-08-19 04:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他