flink数仓

实时数据流计算引擎Flink和Spark剖析

在过去几年，业界的主流流计算引擎大多采用SparkStreaming，随着近两年Flink的快速发展，Flink的使用也越来越广泛。

程小舰·2025-07-30 00:22

Flink Checkpoint 状态后端详解：类型、特性对比及场景化选型指南

ApacheFlink提供了多种状态后端以支持Checkpoint机制下的状态持久化，确保在故障发生时能够快速恢复状态并实现Exactly-Once处理语义。

·2025-07-29 00:55

Flink 自定义类加载器和子优先类加载策略

子类优先加载Flink默认采用了子优先（Child-First）的类加载策略来加载用户代码，以解决潜在的依赖冲突问题。我们可以通过源码来证明这一点。

lifallen·2025-07-29 00:53

Flink window 源码分析4：WindowState

Flinkwindow源码分析1：窗口整体执行流程Flinkwindow源码分析2：Window的主要组件Flinkwindow源码分析3：WindowOperatorFlinkwindow源码分析4：

北_鱼·2025-07-28 23:50

Flink实战（七十）：监控（二）搭建flink可视化监控 Pushgateway+ Prometheus + Grafana （windows ）

1Flink的配置:在flink配置⽂件flink-conf.yaml中添加：metrics.reporter.promgateway.class:org.apache.flink.metrics.prometheus.PrometheusPushGatewayReportermetrics.reporter.promgateway.host

王知无(import_bigdata)·2025-07-28 14:43

JDBC时间类型与Java类型、Flink SQL时间类型与Java类型的对应关系

一、JDBC时间类型与Java类型的对应关系JDBC类型Java类型说明TIMESTAMPjava.sql.Timestamp表示日期和时间（含毫秒）DATEjava.sql.Date仅表示日期（不含时间）TIMEjava.sql.Time仅表示时间（不含日期）说明：java.sql.Timestamp继承自java.util.Date，可精确到纳秒（实际常用毫秒）。java.sql.Date和j

哈哈很哈哈·2025-07-28 14:42

Flink Oracle CDC logminer ogg 对比， PDB logminer CDC 测试

维度FlinkCDC（主库）FlinkCDC（备库）Flinkconnector（Kafka）ADG(ActiveDataGuard)同步机制基于LogMiner解析RedoLog需通过OGG同步备库基于

·2025-07-28 14:42

基于Prometheus的flink性能监控小坑记录

背景公司内的flink集群跑了挺长一段时间了，一直也没有对其进行一个比较完整的监控，最近打算着手做这件事情，经过网上的调研，目前公司采用的部署模式是per-job模式，最终选用了基于prometheus

darkness0604·2025-07-28 14:41

PushGateway+Prometheus+Grafana构建Flink实时监控

#组件简介flinkAPP和linuxsystem两部分，是我们要收集指标数据的组件Pushgateway：是一个推送收集和推送数据的组件Node_exporter：数据导出组件Prometheus：系统监控和预警框架

站在最高处呐喊的男人!·2025-07-28 14:11

掌握Apache Flink：实时数据处理与分析实操

本文还有配套的精品资源，点击获取简介：ApacheFlink是一个高效的开源流处理框架，专为实时数据处理和分析设计。

泓三宝·2025-07-27 12:32

数据科学与大数据技术专业的核心课程体系及发展路径全解析

课程体系三维地图二、核心课程能力矩阵课程模块关键技能行业应用场景工具链分布式计算Spark调优用户行为日志分析AWSEMR/Databricks数据挖掘特征工程金融反欺诈模型Scikit-learn实时数据处理Flink

YangYang9YangYan·2025-07-26 20:32

一文搞懂FLINK框架支持的所有源算子（包含代码实现）

本文重点源算子是FLINK流式计算框架中的第一个操作符，它用于从外部数据源（如文件、消息队列、套接字等）读取数据，并将数据转化为FLINK的数据流DataStream，然后构建进行转换处理，所以source

每天五分钟玩转人工智能·2025-07-25 18:57

基于Flinkcep-1.11.2 动态规则修改实践

之前有个大佬搞过基于flink-cep1.8版本的动态规则修改。后来有个大佬搞过基于flink-cep1.1.0的。

·2025-07-25 09:02

Flink 状态管理设计详解：StateBackend、State、RocksDB和Namespace

为什么需要StateBackend？——职责分离原则我们可以用一个银行的例子来类比：State(如ValueState,ListState)就像是你的银行卡。AbstractKeyedStateBackend就像是银行的整个后台系统（包括总服务器、数据库、风控系统、会计系统等）。你不能直接用一张塑料卡片去操作你的钱，你需要把卡片插入ATM机或交给柜员，由他们背后的银行系统来完成真正的存取款、转账等

lifallen·2025-07-24 13:41

flink源码系列：RPC通信

PekkoDemo事例3.3.2.1.PekkoData类3.3.2.2.PekkoRpcReceiverActor类3.3.2.3.PekkoRpcSenderActor类3.3.2.4.Demo类3.4.Flink

Direction_Wind·2025-07-24 12:39

【Flink图计算源码解析】开篇：Flink图计算总览

文章目录1.图计算的作用2.本专题的写作目的3.FlinkGelly引擎总览3.1.Gelly的源码结构1.Graph的存储数据结构2.图的类别3.图的验证以及指标4.图的生成器5.Library6.图的迭代计算

hxcaifly·2025-07-23 08:01

Flink在物联网实时大数据处理中的最佳实践

Flink在物联网实时大数据处理中的最佳实践关键词：Flink、物联网、实时大数据处理、最佳实践、数据流摘要：本文围绕Flink在物联网实时大数据处理中的最佳实践展开。

大数据洞察·2025-07-23 08:29

Flink-Hadoop实战项目

项目说明文档1.项目概述1.1项目简介本项目是一个基于ApacheFlink的大数据流处理平台，专门用于处理铁路系统的票务和车次信息数据。

Dylan_muc·2025-07-22 14:12

Flink：处理有界流数据的wordcount

数据源：helloworldhelloflinkhelloscala有界流：packagechapter02importorg.apache.flink.streaming.api.scala.

小易学编程·2025-07-22 11:17

10.jobManager初始化流程

JobManager初始化流程1.找到入口类StandaloneSessionClusterEntrypoint该类位于Flink源码的以下路径中：flink-runtime/src/main/java

·2025-07-22 00:30

绝佳组合 SpringBoot + Lua + Redis = 王炸！

精选面试题（微信小程序）：5000+道面试题和选择题，真实面经，简历模版，包含Java基础、并发、JVM、线程、MQ系列、Redis、Spring系列、Elasticsearch、Docker、K8s、Flink

·2025-07-21 21:08

聊聊flink的RpcService

序本文主要研究一下flink的RpcServiceRpcServiceflink-release-1.7.2/flink-runtime/src/main/java/org/apache/flink/runtime

go4it·2025-07-21 20:02

ARTS-第七周

解决散列冲突的方法：开放寻址法和链表法ReviewFlink动态表概念原文地址流和表为什么可以相互转换呢？我们都知道传统Mysql的主从复制是通过b

梧上擎天·2025-07-21 05:01

如何解决一个flink on yarn集群上已经跑了一个job，再提交第二个job的时候，task报java heap size oom的问题

在FlinkonYARN集群中提交第二个Job时出现Task的JavaHeapSizeOOM（内存溢出），核心原因是集群资源不足（第一个Job已占用大量资源，第二个Job分配的内存不够）或Job资源配置不合理

fzip·2025-07-20 22:21

flink sql读hive catalog数据，将string类型的时间戳数据排序后写入kafka，如何保障写入kafka的数据是有序的

在FlinkSQL中，要确保从Hive读取的STRING类型时间戳数据排序后有序写入Kafka，需要结合批处理模式、时间类型转换、单分区写入和Kafka生产者配置。

fzip·2025-07-20 22:20

flink-sql读写hive-1.13

1.版本说明本文档内容基于flink-1.13.x，其他版本的整理，请查看本人博客的flink专栏其他文章。1.1.概述ApacheHive已经成为了数据仓库生态系统中的核心。

第一片心意·2025-07-20 21:48

flink sql如何对hive string类型的时间戳进行排序

在FlinkSQL中对Hive表的STRING类型时间戳进行排序，需要先将字符串转换为时间类型，再基于时间类型排序。

·2025-07-20 20:39

基于Socket来构建无界数据流并通过Flink框架进行处理

ApacheFlink是一个开源的流处理框架，它能够对无界数据流进行高效的、精确的处理。本文将介绍如何通过Socket构建无界数据流，并利用Flink框架进行无界流处理。

每天五分钟玩转人工智能·2025-07-20 08:15

Flink cdc同步增量数据timestamp字段相差八小时（分析｜解决）不是粘贴复制的！

问题我使用flinkcdc同步mysql到mysql遇到了timestamp字段缺少八小时的问题。很少无语，flink,cdc,debezium时区都设置了，没有任何效果！

BUG FIXER·2025-07-20 07:43

如何解决Flink CDC同步时间类型字段8小时时间差的问题，以MySQL为例

在使用FlinkCDC进行数据同步时，默认情况下经常会遇到时间类型的字段与实际值相差8个小时的问题。本文以MySQL为例提供解决方案，其他数据源也可以参考这类实现。

智海观潮·2025-07-20 07:42

Paimon对比基于消息队列（如Kafka）的传统实时数仓方案的优势

当Flink作业发生故障恢复（Failover）或业务逻辑迭代重跑数据时，同样的数据会被再次写入消息队列，形成重复数据。

lifallen·2025-07-20 05:58

Flink 流处理的核心基石【时间语义、水位线、状态、检查点、反压】

Flink流处理的核心基石【时间语义、水位线、状态、检查点、反压】，这些概念相互协作，构建了Flink高吞吐、低延迟、高容错的实时计算能力。

csdn_tom_168·2025-07-20 00:18

用Flink实现的一个实时订单对账功能, Flink的双流实时对账

1.为什么业务订单数据不用Mysql之类的强事务性数据库监控反而用Flink的实时?

·2025-07-19 14:08

Flink 多流转换（三）CoProcessFunction合流操作案例

文章目录下面是CoProcessFunction的一个具体示例：我们可以实现一个实时对账的需求，也就是app的支付操作和第三方的支付操作的一个双流Join。App的支付事件和第三方的支付事件将会互相等待5秒钟，如果等不来对应的支付事件，那么就输出报警信息。程序如下：Gitee源代码如下publicclassBillCheckExample{publicstaticvoidmain(String[]

Alienware^·2025-07-19 14:36

Flink双流处理：实时对账实现1

Flink双流处理：实时对账实现1去发现同类优质开源项目:https://gitcode.com/资源描述本资源文件详细介绍了Flink双流处理的实时对账实现。

·2025-07-19 13:58

Flink双流实时对账

·2025-07-19 12:24

[特殊字符] 实时数据洪流突围战：Flink+Paimon实现毫秒级分析的架构革命（附压测报告）——日均百亿级数据处理成本降低60%的工业级方案

某电商平台借助Flink+Paimon重构实时数仓后，端到端延迟从分钟级压缩至800ms，计算资源节省5.6万核/月。

Lucas55555555·2025-07-12 17:24

Flink 2.0 DataStream算子全景

在实时流处理中，ApacheFlink的DataStreamAPI算子是构建流处理pipeline的基础单元。本文基于Flink2.0，聚焦算子的核心概念、分类及高级特性。

Edingbrugh.南空·2025-07-12 09:32

FlinkSQL 自定义函数详解

FlinkSQL函数详解自定义函数除了内置函数之外，FlinkSQL还支持自定义函数，我们可以通过自定义函数来扩展函数的使用FlinkSQL当中自定义函数主要分为四大类:1.ScalarFunction

Tit先生·2025-07-12 09:32

Flink自定义函数之聚合函数（UDAGG函数）

1.聚合函数概念聚合函数：将一个表的一个或多个行并且具有一个或多个属性聚合为标量值。聚合函数理解：假设一个关于饮料的表。表里面有三个字段，分别是id、name、price，表里有5行数据。假设你需要找到所有饮料里最贵的饮料的价格，即执行一个max()聚合。你需要遍历所有5行数据，而结果就只有一个数值。2.聚合函数实现聚合函数主要通过扩展AggregateFunction类实现。AggregateF

土豆马铃薯·2025-07-12 09:01

Flink时间窗口详解

一、引言在大数据流处理的领域中，Flink的时间窗口是一项极为关键的技术，想象一下，你要统计一个电商网站每小时的订单数量。由于订单数据是持续不断产生的，这就形成了一个无界数据流。

bxlj_jcj·2025-07-12 09:31

Flink DataStream API详解（一）

一、引言Flink的DataStreamAPI，在流处理领域大显身手的核心武器。

bxlj_jcj·2025-07-12 09:01

flink自定义函数

前言在很多情况下，尽管flink提供了丰富的转换算子API可供开发者对数据进行各自处理，比如map()，filter()等，但在实际使用的时候仍然不能满足所有的场景，这时候，就需要开发人员基于常用的转换算子的基础上

逆风飞翔的小叔·2025-07-12 09:30

Flink自定义函数的常用方式

一、实现Flink提供的接口//自定义函数classMyMapFunctionimplementsMapFunction{publicIntegermap(Stringvalue){returnInteger.parseInt

飞Link·2025-07-12 09:00

Flink DataStream API详解（二）

Flink的DataStreamAPI提供了一系列强大的多流转换算子，如union、connect和split等，下面我们来详细了解一下它们的功能和用法。二、多流转换2.1union算子union算

·2025-07-12 09:59

【Kafka】Failed to send data to Kafka: Expiring 30 record(s) for xxx 732453 ms has passed since last

1.美图问题与【Flink】Flink写入kafka报错FailedtosenddatatoKafka:Expiring4record(s)for20001mshaspassed重复了。2.背景

九师兄·2025-07-11 21:37

【Flink】flink Kafka报错 : Failed to send data to Kafka: This server is not the leader for that topic-pa

1.背景出现这个问题的背景请参考：【Kafka】FailedtosenddatatoKafka:Expiring30record(s)forxxx732453mshaspassedsincelast[2020-09-0513:16:09