2022-11-24 TIDB insert into on duplicate操作突然吞吐量降低

目前发现tidb在运行期间,大量insert into 操作发现写入效率变低。


5ace0db02e29b3233ef3670c4ae02f7.png

之前是发现有大量死锁,但是spark streaming程序处理速度还可以。


image.png

但是处理速度一直在4000/S左右。在清理历史数据后,truncate掉了相关表1个月的分区,大概清理2000个region。处理速度一下就降低了一半。

image.png

并且spark streaming的反压机制也没有搞清楚。重启程序后消费能力正常,在运行一段时间后,开始积压并启动反压,消费能力忽高忽低。

相关原因还在研究中。待续

你可能感兴趣的:(2022-11-24 TIDB insert into on duplicate操作突然吞吐量降低)