Paimon实战 -- paimon原理解析

一.简介

         Apache Paimon 原名 Flink Table Store,2022年1月在 Apache Flink 社区从零开始研发,Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合,促进数据在数据湖上真正实时流动起来,并为用户提供实时离线一体化的开发体验。

二.基本概念

Paimon实战 -- paimon原理解析_第1张图片

1、快照 (Snapshot)

         快照捕获表在某个时间点的状态。用户可以通过最新的快照访问表的最新数据,并利用时间线回溯通过较早的快照访问表的先前状态。在 Flink Checkpoint 时 Paimon 会产生 1~2 个 Snapshot,这取决于 Paimon 在这个过程中是否有进行过 Compaction,但至少会产生一个 Snapshot 来作为新的数据版本,通过定义Checkpoint Interval 来控制 Snapshot 的生成。
2、分区 (partition)

  • Paimon 采用与 A

你可能感兴趣的:(Paimon学习必读系列,paimon,数据湖,paimon介绍,flink写入)