数据传输 | DTLE Release Notes 详细解读 2.19.11.0

​2.19.11.0 版本 DTLE Release Notes

以下对 DTLE 2.19.11.0 版本的 Release Notes 进行详细解读。
文章主要分为四部分内容：
一、DTLE 项目介绍
二、版本特征
三、Bug 修复
四、DTLE Release Notes

一、DTLE 项目介绍

11月28日，开源数据传输组件 DTLE 最新版本 2.19.11.0 发布。
DTLE 自开源起一直定位于一款针对 MySQL 使用特点、支持多种使用场景的数据传输组件，希望能够解决当前 MySQL 应用中保障数据传输质量、能够适配复杂场景、提供多样功能的问题。

跨数据中心的数据传输：

• DTLE 能在数据中心间进行可靠数据传输，并提供链路压缩以降低传输成本

云间数据同步/迁移：

• DTLE 能提供在公有云间架设数据同步通道，以支持数据容灾等需求

数据汇聚：

• DTLE 能将多个数据源汇聚到同一个数据源，以提供数据分析/数据转储的功能

数据订阅：

• DTLE 能将数据源的变更消息发往 Kafka 等消息中间件，以支持数据订阅通知/缓存失效通知等需求

跨数据中心的双向复制：

• DTLE 能在数据中心间提供双向复制通道，以配合业务实现数据双写

DTLE 官方项目：
https://github.com/actiontech...
如对源码有兴趣或者需要定制的功能的可以通过源码编译安装。

DTLE 官方文档：
https://actiontech.github.io/...

DTLE 下载地址：
https://github.com/actiontech...

Tips：建议下载最新的 Releases 版本，下载 tar 压缩包即可，如有源码编译需求的，可以下载源码包

二、版本特征

• 中继二进制日志(#475)

  • dtle 会将二进制日志从源端 MySQL 下载到本地存储。以防源端 MySQL 上执行 PURGE BINARY LOGS （清空二进制日志）。
• 允许使用 binlog 文件和位置（即不使用 GTID）开始增量复制作业
• 查看文档中job.json 的新选项：BinlogRelay，BinlogFile，BinlogPos
• 初步支持 MySQL 8.0(#487)

• 更改日志系统

  • 支持动态更改日志级别
  • 日志格式更新
  • 支持日志文件轮替

三、Bug 修复

• 增加 BinlogEntrySize 方式错误，可能导致任务失败（＃499）
• 因 "empty nats" 导致的任务失败（＃433）
• 当表的增量复制中没有主键时任务可能会失败 (#488)
• 当库表名包含特殊字符时任务可能会失败 (#476)
• 增量阶段任务卡住 (1bee6d31)
• 库表名映射任务可能失败 (#481)

四、Release Notes

Features

• Binlog Relay (#475)

  • dtle can download binlog from source mysql to local storage in case of PURGE BINARY LOGS on source mysql
• Allow starting a incremental job with binlog file & position (without GTID)
• Check the doc for new job.json options: BinlogRelay, BinlogFile, BinlogPos
• Preliminary support for MySQL 8.0 (#487)

• Change log system

  • support for dynamic updating of log levels
  • log format update
  • support log file rotation

Bugfixes

• Binlog entry size was wrongly incremented (#499)
• Job dead due to 'empty nats' (#433)
• Job dead in incremental copy of tables without a primary key (#488)
• Job dead when schema.table contains special characters (#476)
• Job stuck in incremental stage (1bee6d31)
• Job with schema.table mapping might fail (#481)