sortPartition

Flink Dataset join+sortPartition

需求描述表1大量数据，表2小量数据，表1通过join表2补充数据，将表1按照某个条件分区然后各分区排序，用dataset批处理从hdfs并发读表1并加工过滤innerjoin两张表并过滤无效数据从hdfs读表2分区排序写入hdfs表1有1275个gz文件，每个500多M，解压后1.8G，gz文件只能单线程读，所以并发数设成文件数主要问题flink的官方文档还比较好，api说明挺清楚，yarn的配置
疯琴·2020-07-16 06:25

Flink DataSet partitionByRange sortPartition 用法 实例

packageDataSetPartitionTest1;importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.common.operators.Order;importorg.apache.flink.api.java.DataSet;importorg.apache.flink.ap
二十六画生的博客·2020-07-15 00:16
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他