【Flink】Flink自定义流分区器Partitioner、数据倾斜、CustomPartitionerWrapper

1.概述

20240118今日在群里看到一个人的流计算任务发生数据倾斜了。
【Flink】Flink自定义流分区器Partitioner、数据倾斜、CustomPartitionerWrapper_第1张图片
然后第一怀疑是上游不均匀,然后发现上游是均匀的。

【Flink】Flink自定义流分区器Partitioner、数据倾斜、CustomPartitionerWrapper_第2张图片
但是后面发现他这个分区器是一个新的shuffle by bucket

【Flink】Flink自定义流分区器Partitioner、数据倾斜、CustomPartitionerWrapper_第3张图片

但是我在文章中:【Flink】Flink UI 上下游算子并发之间的数据传递方式 Partitioner、流分区器 记得好像没有这种类型。然后查看了一下,发现果然没有。

你可能感兴趣的:(flink,大数据)