[IoTDB]The write is rejected because the wal directory size has reached the threshold

现象

写入集群报错：

The write is rejected because the wal directory size has reached the threshold 53687091200 bytes. You may need to adjust the flush policy of the storage storageengine or the IoTConsensus synchronization parameter`

原因及方案

• 1.1.0 及之前版本重启可能会导致 WAL 出现堆积，出现该现象时建议升级到当前最新版本 1.3.3。
• 在 1.3.3 版本如果依然出现该问题，可能有以下排查思路：
  • 节点状态异常：
    • 执行show cluster或者show cluster details查看各个节点状态是否有Unknown或者ReadOnly状态。如果有则查看具体日志，针对出现问题的原因进行解决。
  • 节点写入负载过大导致副本同步速度不够：
    • 如果在日志中发现存在共识组的 searchIndex 和 safeIndex 相差较多，可以尝试调整副本同步流水线并发阈值 data_region_iot_max_pending_batches_num为 1 来提高同步效率。
• 内存较大 / Region 数较多/ 时间分区较多：
  • 可以手动执行 flush 命令将 memtable 刷盘，之后堆积的 WAL 即可被删除。如果未来依然会堆积报错，可以手动调整 iotdb-common.properities 中的 iot_consensus_throttle_threshold_in_byte 从53687091200（50GB） 至更大值（例如 200GB）后即可暂时规避该问题。
• Pipe 同步任务过多：
  • 减少同步任务，或者指定 Pipe 同步类型为文件同步。