TiDB系列之:TiCDC使用Changefeed完成数据同步任务

TiDB系列之:TiCDC使用Changefeed完成数据同步任务

  • 一、Changefeed
  • 二、Changefeed 状态流转
  • 三、操作Changefeed
  • 四、cdc cli管理同步任务
    • 1.创建同步任务
    • 2.查询同步任务列表
    • 3.查询特定同步任务
    • 4.停止同步任务
    • 5.恢复同步任务
    • 6.删除同步任务
    • 7.更新同步任务配置
    • 8.管理同步子任务处理单元 (processor)
    • 9.同步启用了 TiDB 新的 Collation 框架的表
    • 10.同步没有有效索引的表
    • 11.Unified Sorter 功能
  • 五、TiCDC OpenAPI v2
    • 1.API 统一错误格式
    • 2.API List 接口统一返回格式
    • 3.获取 TiCDC 节点状态信息
    • 4.检查 TiCDC 集群的健康状态
    • 5.创建同步任务

一、Changefeed

Changefeed 是 TiCDC 中的单个同步任务。Changefeed 将一个 TiDB 集群中数张表的变更数据输出到一个指定的下游。TiCDC 集群可以运行和管理多个 Changefeed。

二、Changefeed 状态流转

同步任务状态标识了同步任务的运行情况。在 TiCDC 运行过程中,同步任务可能会运行出错、手动暂停、恢复,或达到指定的 TargetTs,这些行为都可以导致同步任务状态发生变化。本节描述 TiCDC 同步任务的各状态以及状态之间的流转关系。

TiDB系列之:TiCDC使用Changefeed完成数据同步任务_第1张图片
以上状态流转图中的状态说明如下:

  • Normal:同步任务正常进行,checkpoint-ts 正常推进。处于这个状态的 changefeed 会阻塞 GC 推进。
  • Stopped:同步任务停止,由于用户手动暂停 (pause) changefeed。处于这个状态的 changefeed 会阻挡 GC 推进。
  • Warning:同步任务报错,由于某些可恢复的错误导致同步无法继续进行。处于这个状态的 changefeed 会不断重试,试图继续

你可能感兴趣的:(大数据,日常分享专栏,TiDB系列,TiCDC,Changefeed,完成数据同步任务)