DataX(2)—— 核心流程


DataX的核心执行流程:

  1. 初始化阶段
  • 创建JobContainer容器(主控进程)
  • 加载配置,初始化reader/writer插件
  1. 准备阶段
  • 调用reader/writer的prepare()方法
  • 执行数据源和目标端的准备工作
  1. 任务切分阶段
  • 根据channel数切分reader任务
  • 根据reader切分结果切分writer任务
  • 合并生成最终task配置
  1. 调度执行阶段
  • 分配task到各个taskGroup
  • 启动TaskGroupContainer执行任务
  • reader和writer通过RecordExchanger交换数据
  1. 收尾阶段
  • 执行post()方法完成插件级收尾
  • 执行postHandle()全局后处理(如有配置)
  • 输出统计信息和日志

你可能感兴趣的:(datax)