Debezium发布历史92

原文地址： https://debezium.io/blog/2020/06/24/debezium-1-2-final-released/

欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.

Debezium 1.2.0.Final 发布
六月 24, 2020 作者： Gunnar Morling
发布 mysql postgres mongodb sqlserver cassandra db2 oracle debezium-server
我很高兴地宣布 Debezium 1.2.0.Final发布！

过去三个月，社区解决了近200个问题。此版本的主要功能包括：

新的 Kafka Connect 单消息转换 (SMT)，用于基于内容的事件路由和过滤；升级到 Apache Kafka 2.5

适用于SQL Server、Db2和Oracle的 Debezium 连接器的架构更改主题

Debezium嵌入式引擎支持 SMT 和消息转换器

Debezium Server是一个全新的运行时，允许将数据更改事件传播到一系列消息基础设施，例如 Amazon Kinesis、Google Cloud Pub/Sub 和 Apache Pulsar

新的列屏蔽模式“一致散列”，允许匿名化列值，同时仍保持它们的相关性

MongoDB 连接器的新指标

改进了 SQL Server 连接器的重新连接功能

Debezium服务器
如果我选择一个让我最兴奋的功能，那就是 Debezium Server。它允许更多用户受益于 Debezium 的开源变更数据捕获，无论他们使用哪种消息传递基础设施。能够通过 Kinesis 和 Pub/Sub 等托管服务传播 Debezium 数据更改事件是我们一次又一次从社区收到的功能请求，令人惊讶的是看到该功能最终成为现实。

Debezium Server 还将成为将 Debezium 作为原生Knative Eventing事件源公开的良好基础，您很快就会看到该领域更多令人兴奋的发展。借助 Debezium Server，现在可以通过三种方式运行 Debezium：

通过Kafka Connect，利用其出色的连接器生态系统通过 Apache Kafka 设置低延迟数据流管道

借助Debezium Server，将数据更改事件发送到越来越多的消息平台（例如 Kinesis）

通过Debezium Engine，作为库嵌入到基于 JVM 的自定义应用程序中，例如解决更新嵌入式缓存等用例

我对这给 Debezium 社区带来的所有机会感到非常兴奋。Debezium Server 由创新的Quarkus框架提供支持，这也开辟了许多有趣的技术可能性。例如，我们可以探索通过GraalVM将 Debezium 连接器作为本机二进制文件运行，从而大大减少内存消耗，这可能使其成为云环境中非常有趣的部署选项。

非常感谢社区！
请参阅原始公告（Alpha1、Beta1、Beta2、CR1）以了解有关 Debezium 1.2 的所有新功能的更多信息。您可以在发行说明中找到已解决问题、升级过程以及有关任何向后兼容性更改的说明的完整列表。

如果没有贡献者中的用户社区，一个开源项目将毫无意义。非常感谢社区中参与 Debezium 1.2 版本工作的以下人员：

亚伦·布雷迪,亚历山大·伊斯库斯科夫,亚历山大·施瓦茨,安德斯·恩斯特罗姆,安东·康德拉泰夫,安迪·泰赫洛·佩雷斯,巴拉兹·内梅斯, 周秉钦,布雷登·格鲁姆,布兰登·布朗, cobolbaby ,大卫·杰罗姆,戴夫·坎伯兰,伊曼纽尔·布拉德,埃德·劳尔,法比安·奥塞姆斯,法提赫·古克吕阿卡亚、范德利·格尔格、格兰特·库克西、侯赛因·托拉比、伊万·克拉斯,伊万·特鲁索夫,扬-亨德里克·多林,杰里米·芬泽尔,高伊,胡安·安东尼奥·佩德拉萨,贾斯汀·希扎,乔斯·惠廷,约翰·普索罗拉斯,尚可伟, Linh Nguyen Hoang ,路易斯·加尔塞斯-埃里塞,卢卡斯·克雷吉, lyidataminr ,马克斯·卡普兰, Nayana Hettiarachchi、Peter Urbanetz、René Kerner、Robert B. Hanviriyapunt、Siddhant Agnihotry和Xu Shen

这使得 Debezium 主要代码存储库的贡献者总数超过 200 人！

外表
让我们以对未来的展望来结束这篇文章。我们将坚持季度发布节奏，即您可以预期 Debezium 1.3 将于 9 月底发布，每三周发布一次预览版。

我们目前正在更新下一个版本的路线图，非常欢迎您对此提出意见和反馈！到目前为止，我们计划的事情包括更灵活的快照选项（重新快照特定表、过滤器更改、并行快照等）、将 Db2 连接器移出孵化状态，以及探索正式发布所需的内容。支持玛丽亚数据库。

向前、向上！

原文地址： https://debezium.io/blog/2020/07/16/debezium-1-2-1-final-released/

Debezium 1.2.1.Final 发布
七月 16, 2020 作者： Gunnar Morling
发布 mysql postgres mongodb sqlserver testcontainers debezium-server
我很高兴地宣布 Debezium 1.2.1.Final发布！

此版本包括针对不同 Debezium 连接器的多个错误修复，我们强烈建议从 1.2.0.Final 及更早版本进行升级：

当从 WAL 的快照转换为流事件时，Debezium Postgres 连接器可能会丢失并发事务中的事件 ( DBZ-2288 )；现在使用导出快照模式时已修复此问题；最好使用此模式，对于 Debezium 1.3，我们计划将其作为所有现有快照模式的基础

Postgres JDBC 驱动程序已升级到 42.2.14 ( DBZ-2317 )，它修复了驱动程序中与处理源自不受信任的 XML 输入的 XML 列值相关的 CVE

Debezium MySQL 连接器 MariaDB 支持ALTER TABLE以下语句IF EXISTS( DBZ-2219 ); 它还处理表达式DECIMAL中的单维列CAST（DBZ-2305）

当 MySQL 连接器与 Amazon RDS 结合使用时，它会自动从内部表中筛选出特定的 DML binlog 条目 ( DBZ-2275 )

Debezium MongoDB 连接器对连接丢失的恢复能力更强 ( DBZ-2141 )

如果您使用Apicurio开源 API 和架构注册表来管理 Debezium 连接器的 JSON 和 Avro 架构，那么事情对您来说会变得更简单：Kafka Connect 的 Debezium 容器映像附带了所需的转换器。现在就装箱（DBZ-2083）。

总体而言，此版本修复了 34 个问题；请参阅发行说明，了解已解决问题的完整列表、升级过程以及有关任何向后兼容性更改的说明。

非常感谢 Debezium 社区为此版本做出贡献的所有成员：

Frank Koornstra、John Graf、Jos Huiting、Justin Hiza、Kewei Shang、Michael Wang、Omar Al-Safi和Randall Hauch！

原文地址： https://debezium.io/blog/2020/08/06/debezium-1-3-alpha1-released/

Debezium 1.3.0.Alpha1 发布
八月 6, 2020 作者： 克里斯·克兰福德
发布 mysql postgres mongodb sqlserver cassandra db2
我很高兴地宣布 Debezium 1.3.0.Alpha1发布！

1.3 发行版中的初始版本提供了许多有用的新功能：

用于 Azure 事件中心的新 Debezium 服务器接收器适配器

新的 SQL Server 连接器快照模式，initial_only

MongoDB 连接器的其他连接超时选项

总体而言，社区为此版本修复了不少于31 个问题。让我们在本文的其余部分仔细研究其中的一些内容。

Azure 事件中心接收器适配器
Debezium 的独立服务器是 Debezium 生态系统的最新功能之一。独立服务器提供了一个即用型应用程序，可以将更改事件从源数据库流式传输到各种消息传递基础设施。

在社区的推动下，Debezium 服务器现在支持 Azure 事件中心 ( DBZ-2282 )。现在，Debezium Server 可以将更改事件流式传输到 Amazon Kinesis、Apache Pulsar、Google Cloud Pub/Sub 和 Azure 事件中心。

其他 MongoDB 连接选项
Debezium MongoDB 连接器传统上使用驱动程序默认连接选项和超时。在某些用例中，需要自定义这些默认值才能支持部署中的延迟或性能问题。

MongoDB 现在还有其他可用的配置选项：

mongodb.connect.timeout.ms
尝试中止之前驱动程序等待新连接的毫秒数。
默认为10000.

mongodb.server.selection.timeout.ms
驱动程序在超时并引发错误之前等待选择服务器的毫秒数。
默认为30000.

mongodb.socket.timeout.ms
在套接字上的发送/接收可能超时之前驱动程序等待的毫秒数。
值0禁用此行为。默认为0.

其他特性
除了这些关键功能之外，1.3.0.Alpha1 版本还带来了许多其他新功能：

新的 SQL Server 快照模式initial_only( DBZ-2379 )

当任务遇到线程中断时，Postgres 和可能的其他数据库连接不会正确关闭 ( DBZ-2133 )

Bug修复
还修复了一些错误，例如：

通过 SHOW TABLES 忽略 Aurora 上报告的不存在的表 ( DBZ-1939 )

Cassandra 连接器未获取事件 ( DBZ-2086 )

PubSub Sink 发送空记录 ( DBZ-2277 )

跳过LSN效率低下并且不会向前槽位置（DBZ-2310）

对于位变化列的更改，消息大小至少大 68 倍 ( DBZ-2315 )

在使用 PK 更新处理事务时重新启动连接器时更改事件丢失 ( DBZ-2329 )

处理与列表类型列相关的提交日志时出错（DBZ-2345）

修复发件箱 Quarkus 扩展文档上的依赖项 groupId ( DBZ-2367 )

无法检测 Azure Sql 版本 ( DBZ-2373 )

ParallelSnapshotReader 有时会抛出 NPE ( DBZ-2387 )

请参阅发行说明，了解已解决问题的完整列表以及从早期 Debezium 版本升级的过程。

非常感谢社区中所有参与此版本发布的贡献者：Abhishek Gupta、Cory Harper、Arik Cohen、Moira Tagle、Victor Fang、Grzegorz Kołakowski、Björn Häuser、Lukasz Korzeniowski和Jonas Lins！

原文地址： https://debezium.io/blog/2020/09/03/debezium-1-3-beta1-released/

Debezium 1.3.0.Beta1 发布
2020 年 9 月 3 日 作者： Gunnar Morling
发布 mysql postgres sqlserver cassandra oracle 发件箱
我很高兴地宣布 Debezium 1.3.0.Beta1发布！

此版本升级到最近发布的 Apache Kafka 版本 2.6.0，修复了几个关键错误，并重命名了用于选择要捕获的表的连接器配置选项。我们还发布了 Debezium 1.2.2.Final，它是早期 1.2.x 版本的所有用户的直接替代品。

修订过滤器选项和文档措辞
自 Debezium 项目开始以来，就支持指定要捕获的表和列。这是通过一系列配置选项（如schema.whitelist、column.blacklist等）来完成的。

虽然从技术角度来看这些选项没有任何问题，但我们逐渐意识到术语“白名单”和“黑名单”是有问题的，它们甚至可能对我们社区的某些成员造成伤害。这就是为什么我们决定弃用现有的选项名称，并将其替换为不仅更具包容性，而且在描述其用途时也更具表现力的对应名称。

进行了以下更改：

旧名称 新名字
database.whitelist

database.include.list

database.blacklist

database.exclude.list

schema.whitelist

schema.include.list

schema.blacklist

schema.exclude.list

table.whitelist

table.include.list

table.blacklist

table.exclude.list

column.whitelist

column.include.list

column.blacklist

column.exclude.list

截至本版本，所有稳定的 Debezium 连接器均已重命名；孵化器连接器（Oracle、Db2、Cassandra）的选项将在下一个 Debezium 1.3.x 预览版中重命名。请注意，为了向后兼容，在过渡期间仍然可以使用旧的选项名称。在这种情况下，例如，将现有连接器实例升级到新版本时，连接器启动时将记录一条警告，您应该相应地更新您的配置。

除了重命名这些过滤器选项之外，我们还更新了我们的文档；特别是支持的数据库拓扑的描述已从以前使用的术语“主”和“从”更新为“主”（节点）和“副本”（节点）。

这一变化是红帽和整个行业更大努力的一部分，我们很高兴能够为让开源项目及其社区变得更加受欢迎和包容做出自己的贡献。

Bug修复
此版本修复了许多严重错误：

如果连接器重新启动，Postgres 连接器可能会丢失更改事件（DBZ-2338、DBZ-2397）

逻辑表路由器中的 NullPointerException ( DBZ-2412 )

如果表或架构包含连字符 ( DBZ-2452 )，快照将失败

杂项。MySQL DDL 解析器修复（DBZ-2413、DBZ-2415、DBZ-2425）

此版本总共修复了20 个问题。

请参阅发行说明，了解已解决问题的完整列表以及从早期 Debezium 版本升级的过程。

非常感谢社区成员Bingqin Zhou和Ruslan Gibaiev对此版本的贡献！

外表
正如你所预料的那样，夏天的时候事情进展得有点慢，有几个人享受了一些应得的休息时间。现在大家都回来了，Debezium 开发再次全速前进，您可以期待一些令人兴奋的新功能即将推出：社区正在进行的基于 LogMiner 的 Oracle 实施工作应该很快就会达到可以合并的状态进入上游 Debezium 存储库。

由社区贡献的全新连接器也即将出现；Bolt工程师Kewei Shang和Ruslan Gibaiev一直在为 Vitess 数据库开发CDC 连接器，并宣布他们希望开源并在 Debezium 的保护下继续发展它。

开源变更数据捕获和 Debezium 的激动人心的时代！