flink实时写doris问题

参照doris官方文档测试写doris,Flink Doris Connector - Apache Doris。

读kafka实时写入doris,实时观察doris数据,发现不是实时写入,是攒批写入,flink任务执行了,但是数据还未写入doris。

查找相关文档后,发现doris流模式写入中,Flink Doris Connector 强依赖 Checkpoint 进行流式写入,实测也是。

解决方案:

方案一:缩短checkpoint时间,如200ms,实测效果ok,时效性也是最好的

方案二:若业务中checkpoint时间不宜设置太短,改为batchmode模式,设置flush时间,但是当前最短只能设置为1s,无法设置毫秒级

flink实时写doris问题_第1张图片

你可能感兴趣的:(flink)