java后端kafka

Kafka的简单介绍

Kafka的简单介绍Kafka是一个分布式流处理平台，主要用于处理大规模、高吞吐量的消息流。最初由LinkedIn开发，并由Apache开源。
唐人街都是苦瓜脸·2025-04-09 00:41

你真的懂 Vue 的数据代理吗？深入 Object.defineProperty 的魔法世界

之前我长期从事Java后端开发，也做了不少后端项目，但一直对前端的响应式机制很好奇。
Graghm·2025-04-08 19:11

字节java后端广告2025.03.19 一面过 二面挂

系列博客目录文章目录系列博客目录1.流程1.使用`UNLINK`命令2.使用`DEL`命令（需要谨慎）3.分步删除（渐进式删除）1.流程自我介绍项目难点：在项目中，数据报表导出时遇到了性能瓶颈，主要是在导出大数据量时，使用ApachePOI导出的方式导致CPU占用过高和内存溢出（OOM）的问题，甚至出现了程序假死的现象。为了优化这个问题，我进行了以下改进：首先，我将ApachePOI替换为Easy
醒了就刷牙·2025-04-08 17:23

【Kafka基础】topics命令行操作大全：高级命令解析（1）

1创建压缩主题（LogCompaction）/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh--create\--bootstrap-server192.168.10.33
IT成长日记·2025-04-08 12:49

【Kafka基础】topics命令行操作大全：高级命令解析（2）

1强制删除主题/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh--delete\--zookeeper192.168.10.33:2181
IT成长日记·2025-04-08 12:49

【Kafka基础】生产者深度解析：从消息发送到可靠性保证

Kafka生产者(Producer)是Kafka生态系统的入口点，负责将消息发布到Kafka集群。理解生产者工作原理对于构建可靠的消息系统至关重要。
IT成长日记·2025-04-08 12:49

Python 中的错误处理与调试技巧

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-04-08 09:00

kafka简介和使用场景(一&二)

文章分以下几个部分：kafka基础名词、使用说明、场景、原理、架构、快的原因、其它中间件共同的优化措施、面试QA等一、kafka简介1.1kafka是什么ApacheKafka是一个分布式流处理平台流处理平台有以下三种特性
arthur.dy.lee·2025-04-08 08:51

AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践

这类实时数据主要通过ApacheKafka流处理平台进行传输，通过其扇出（Fanout）机制实现多业务系统的并行消费。
·2025-04-07 22:40

kafka 的存储文件结构

Kafka的存储文件结构是其高吞吐量和高效性能的关键部分。Kafka的存储结构是围绕日志（Log）的设计展开的，而每个Kafka分区（Partition）都会以日志文件的形式存储。
百里自来卷·2025-04-07 15:37

RocketMQ是参考kafka进行实现的为什么rocketMQ与kafka性能差距很大呢?

kafka的底层数据储存实现rocketMQ的底层数据储存实现为什么rocketMQ不使用分区分开储存而要使用混合储存的方式?
dengjiayue·2025-04-07 15:05

架构及大数据-Zookeeper与Kafka的关系及使用依赖，二者需要同时使用吗？KRaft模式又是啥？

Zookeeper与Kafka的关系及使用依赖‌一、Zookeeper在Kafka中的核心作用‌Zookeeper是Kafka早期版本（2.8.0之前）中不可或缺的分布式协调服务，主要承担以下关键功能：‌
碧海饮冰·2025-04-07 09:28

使用Java后端开发的微信小程序毕业设计150套(源码+演示录像+LW)

大家好！我是程序员一帆，感谢您阅读本文，欢迎一键三连哦。今天给大家分享200+的微信小程序毕业设计，后台用Java开发，这些项目都经过精心挑选，涵盖了不同的实战主题和用例，可做毕业设计和课程设计参考。✍️除了源码，对于大部分项目实现的功能都有相应的介绍，并且配有演示视频，方便大家根据自己的需要择优下载学习。另外如有定制需求或者想要相对应的论文参考，文末可以十我VX联系。后续还会持续更新，欢迎关注！
程序员一帆（专注毕设辅导）·2025-04-07 03:50

Kafka 中的生产者分区策略

Kafka中的生产者分区策略是决定消息如何分配到不同分区的机制。这个策略对Kafka的性能、负载均衡、消息顺序性等有重要影响。了解它对于高效地使用Kafka进行消息生产和消费至关重要。
百里自来卷·2025-04-07 02:46

kafka 查看消费者组

用kafka-consumer-groups.sh命令可以查看消费者组,其中console-consumer-89657是消费的时候如果不设置消费者组自动生成的默认组[root@mypc01config
鸭梨山大哎·2025-04-06 23:24

Delta Lake 解析：架构、数据处理流程与最佳实践

Bronze层存储的是原始数据，比如Kafka事件流、IoT设备数据
codebat_raymond·2025-04-06 22:48

Kafka 中的批次

在Kafka中，批次（Batch）是生产者发送消息的一个重要概念。它对Kafka的性能、吞吐量、延迟等有很大影响。批量处理可以使消息发送更高效，减少网络往返和磁盘写入的开销。
百里自来卷·2025-04-06 19:02

【Kafka基础】topic命令行工具kafka-topics.sh：基础操作命令解析

Kafka作为分布式流处理平台的核心组件，其主题管理是每个开发者必须掌握的关键技能。本文将详细解析kafka-topics.sh工具的使用技巧，从基础操作操作开始，助您轻松驾驭Kafka主题管理。
IT成长日记·2025-04-06 19:31

bookkeeper基本概念

它被设计用来提供低延迟、高吞吐量和强一致性的服务，常用于分布式系统中的日志存储需求（例如，ApacheKafka的底层存储就用到了类似的机制）。
小诸葛的博客·2025-04-06 16:40

Kafka 中的幂等机制

Kafka中的幂等性（Idempotence）是生产者端的重要机制，旨在确保即使在网络抖动、重试、Broker重启等情况下，同一条消息不会被重复写入到Topic中。
百里自来卷·2025-04-06 08:15

Kafka 回溯消费

Kafka回溯消费是一个非常实用的能力，尤其当你：消费端挂掉/处理异常消息数据出错/业务需要重跑要对某一段历史数据“重新拉取并消费”日志审计/数据补偿/BI分析下面我来详细讲讲Kafka如何实现“回溯消费
百里自来卷·2025-04-06 08:15

【面试篇】Kafka

一、基础概念类问题：请简述Kafka是什么，以及它的主要应用场景有哪些？答案：Kafka是一个分布式流处理平台，它以高吞吐量、可持久化、可水平扩展等特性而闻名。
小样vvv·2025-04-06 04:19

一图全解Kafka在zookeeper中的数据结构

该文章可能已过期,已不做勘误并更新,请访问原文地址(持续更新)Kafka中分区副本的分配规则kafka知识图谱：Kafka知识图谱大全kafka管控平台推荐使用滴滴开源的Kafka运维管控平台(戳我呀)
石臻臻的杂货铺·2025-04-06 04:19

【Kafka基础】Kafka高可用集群：2.8以下版本超详细部署指南，运维必看！

ApacheKafka是一个分布式流处理平台，广泛应用于构建实时数据管道和流应用程序。本文将详细介绍如何在三节点集群上部署Kafka2.8以下版本。
IT成长日记·2025-04-06 04:48

【Kafka基础】Docker Compose快速部署Kafka单机环境

1准备工作1.1安装Docker和DockerComposeDocker安装请参考：Docker入门指南：1分钟搞定安装+常用命令，轻松入门容器化！-CSDN博客DockerCompose安装请参考：【dockercompose入门指南】安装与常用命令参数全解析，助你入门compose！_dockercomposer-CSDN博客2编写DockerCompose文件#创建目录并编写docker-c
IT成长日记·2025-04-06 04:18

【Kafka基础】Kafka工作原理解析

ApacheKafka作为当今最流行的分布式消息系统，以其高吞吐、低延迟和高可靠性的特点，成为大数据领域不可或缺的基础设施。
IT成长日记·2025-04-06 04:48

消息中间件对比与选型指南：Kafka、ActiveMQ、RabbitMQ与RocketMQ

目录引言消息中间件的定义与作用消息中间件在分布式系统中的重要性对比分析的四种主流消息中间件概述消息中间件核心特性对比消息传递模型Kafka：专注于发布-订阅模型ActiveMQ：支持点对点和发布-订阅两种模型
敲键盘的小夜猫·2025-04-06 04:47

Kafka 4.0入门到熟练

1、集群部署1.1、JDKcat>>/etc/ansible/playbook/install-jdk.yml>/etc/ansible/playbook/modify_env.yml/sys/kernel/mm/transparent_hugepage/enabledechonever>/sys/kernel/mm/transparent_hugepage/defrag-name:Changep
docsz·2025-04-06 04:47

消息队列之-Kafka

目录消息队列消息队列的使用场景初识KafkaKafka设计思想Kafka消息结构消息发送消息消费Kafka高可用消息备份机制1.基本原理2.ISR（In-SyncReplicas）3.ACK（Acknowledgements
惊醒幡然1·2025-04-06 04:46

【Kafka】Kafka生产者如何实现冥等的？

Kafka的生产者在发送数据到broker，如果broker在收到消息后崩溃或者断开连接，导致生产者没有接收到成功响应，这时会触发重试机制，这种场景下回导致消息的重复。
此木|西贝·2025-04-06 03:11

rabbitmq 消息队列

一、MQ的选择1.KafkaKaika主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输，适合产生大量数据的互联网服务的数据收集业务。
小橘快跑·2025-04-05 17:04

让AI再次伟大-MCP-Client开发指南

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理、AI应用如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2025-04-05 08:08

Debezium日常分享系列之：Debezium3.1版本之增量快照

Debezium3.1版本之增量快照按需快照触发一次临时增量快照触发临时阻塞快照增量快照增量快照过程如何Debezium解决具有相同主键的记录之间的冲突快照窗口触发增量快照使用附加条件运行临时增量快照使用Kafka
快乐骑行^_^·2025-04-05 07:58

异步框架使用loguru和contextvars实现日志按Id输出

需求阐述工作中使用fastStream模块消费kafka事件的时候，遇到以下问题。1.由于main.py模块要用到许多其他模块，main模块，和其他模块都有日志输出。
五指山西·2025-04-05 07:58

kafka监听topic消费_Spring-Kafka（六）—— @KafkaListener的花式操作

消息监听对于Kafka中Topic的数据消费，我们一般都选择使用消息监听器进行消费，怎么把消息监听器玩出花来呢，那就得看看它所实现的功能了。
weixin_39605894·2025-04-05 06:57

springboot集成Kafka

1.搭建就不多说了以后会有篇章2.下载依赖org.springframework.kafkaspring-kafka3.yamlspring:kafka:bootstrap-servers:${KAFKA_BOOTSTRAP_SERVERS
荭色海湾·2025-04-05 06:27

SpringKafka消息消费：@KafkaListener与消费组配置

文章目录引言一、SpringKafka消费者基础配置二、@KafkaListener注解使用三、消费组配置与负载均衡四、手动提交偏移量五、错误处理与重试机制总结引言ApacheKafka作为高吞吐量的分布式消息系统
程序媛学姐·2025-04-05 06:24

kafka消息可靠性传输语义

Kafka提供了多种消息传递语义，以适应不同的业务需求和可靠性要求。以下是Kafka消息传输的可靠性语义及其实现机制：1.AtMostOnce（至多一次）语义：消息可能会丢失，但不会被重复传递。
清风1981·2025-04-04 21:54

Kafka Serverless 基础版与专业版重磅发布！

云消息队列Kafka版基于ApacheKafka构建，提供高吞吐量与高可扩展性的分布式消息队列服务，广泛应用于日志收集、监控数据聚合、流式数据处理及在离线分析等场景，是AI与大数据时代企业数据处理体系的核心组件
·2025-04-04 19:35

Java优质项目推荐

电商平台系统项目特点完整的业务流程多种技术栈整合高并发场景处理分布式架构设计技术栈后端：SpringBoot、SpringCloud、MyBatis-Plus数据库：MySQL、Redis、Elasticsearch消息队列：RabbitMQ/Kafka
爱编程的王小美·2025-04-04 13:31

Java后端面试场景题汇总

设计参考信息：单个MySQL每秒写入在4000QPS左右，超过这个数字，I/O时延会剧量增长，读的话一般在几千到一万QPS。MySQL单表记录到达了千万级别，查询效率会大大降低，过亿的话，查询会成为问题。Redis单分片的写入瓶颈在2w左右，读瓶颈在10w左右。关于吞吐量、QPS、响应时间：深入理解QPS、TPS、RT和吞吐量的关系与应用_tps和qps的区别和联系-CSDN博客TPS（Trans
沙滩de流沙·2025-04-04 08:27

记录工作中k8s的域名映射问题

lameduck5s2、CoreDNSKubernetes3、hosts配置4、forward五、修改配置文件1、获取当前配置2、修改配置3、应用修改4、回滚一、问题说明1、问题说明：新写的springboot项目集成kafka
节点。csn·2025-04-04 05:34

Java后端工程师入门学习笔记——Java入门1

目录1、以文本编辑器为例开发一个简单的Java应用程序2、Java的运行机制（1）Java的运行过程（2）Java的跨平台特性3、Java的基本语法（1）Java的基本语法格式（2）Java的注释（3）Java关键字1、以文本编辑器为例开发一个简单的Java应用程序（1）在合适的位置创建一个记事本文件，并输入下列代码：publicclassHelloJava{publicstaticvoidmai
MIke_GY·2025-04-04 02:48

Kafka(Go)教程(三)---Kafka 相关概念介绍

来自：指月https://www.lixueduan.com原文：https://www.lixueduan.com/post/kafka/03-kafka-introduction/本文为Kafka入门教程
探索云原生·2025-04-03 21:49

Kafka、RocketMQ、Pulsar对比

ApachePulsar、ApacheKafka和ApacheRocketMQ都是流行的分布式消息系统，它们在架构设计、功能特性和适用场景上各有不同。
小诸葛的博客·2025-04-03 21:18

Kafka系列教程 - Kafka 运维 -8

1.Kafka单点部署1.1.下载解压进入官方下载地址：http://kafka.apache.org/downloads，选择合适版本。
长河·2025-04-03 21:47

python消费datahub_datahub消费数据

有木有大神知道Flink能否消费多个kafka集群的数据？这个问题有人遇到吗?你们实时读取广业务库到kafka是通过什么读的？
weixin_39580042·2025-04-03 21:45

kafka connect，将数据批量写到hdfs完整过程

>>>本文是基于hadoop2.7.1，以及kafka0.11.0.0。kafka-connect是以单节点模式运行，即standalone。
weixin_34162401·2025-04-03 21:45

StructedStreaming消费Kafka数据突然存储不到HDFS

问题描述：StructedStreaming消费Kafka数据存储到HDFS中，以前正常存储，突然就存储不进去了，可以新建文件夹，但是数据写入不进去了。
erainm·2025-04-03 21:12

Kafka消费者——结合spring开发

Kafka消费者端可靠性保证作为消费端，消费数据需要考虑的是：1、不重复消费消息2、不缺失消费消息自动提交offset的相关参数：enable.auto.commit：是否开启自动提交offset功能(
6。·2025-04-03 20:09
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他