在 5 月和 6 月,SeaTunnel 社区迎来了一轮密集更新:2.3.11 正式发布,新增对 Databend、Elasticsearch 向量、HTTP 批量写入、ClickHouse 多表写入等多个连接器能力,全面提升了数据同步灵活性。同时,近 100 个修复与优化 PR 合入,涵盖 Spark 引擎并行性修复、Paimon 精度兼容性增强、Mongo-CDC ExactlyOnce 默认值优化、Oracle DDL 类型支持补全等核心问题,稳定性和兼容性持续升级。
此外,Merge 之星榜单也已揭晓,感谢所有活跃贡献者对社区建设的持续投入!
月度Merge之星
感谢以下小伙伴 5、6 月份为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):
@hawk9821,@CosmosNi,@suntectec,@zhangshenghang,@dailai,@fcb-xiaobo,@Hisoka-X,@jw-itq,@ocean-zhc,@liudechang,@xiaochen-zhou,@itnccuong,@Adamyuanyuan,@e-mhui,@SEZ9,@misi1987107,@hailin0,@prclin,@dybyte,@chl-wxp,@Zzih,@liunaijie,
@litiliu,@papadave66,@scienceyang,@emmanuelmoon,@ShuiMu-peng,@hantmac,@corgy-w,@sohurdc,@joexjx,@mrtisttt,@dyp12,@yzeng1618,@zhilinli123,@WenDing-Y
apache/seatunnel仓库
修复
- [FixSink的 plugin_input 配置不正确 ]( https://github.com/apache/seatunnel/pull/9492 " FixSink的 plugin_input 配置不正确 ") @e-mhui
- [Fix优化 Paimon 的 DECIMAL 类型检查以防止精度丢失 ]( https://github.com/apache/seatunnel/pull/9480 " Fix优化 Paimon 的 DECIMAL 类型检查以防止精度丢失 ") @xiaochen-zhou
- [Fix更新批处理模式和只写模式的 waitCompaction 值 ]( https://github.com/apache/seatunnel/pull/9479 " Fix更新批处理模式和只写模式的 waitCompaction 值 ") @xiaochen-zhou
- [Fix修复 starrocks 小数列定义生成 #9470 ]( https://github.com/apache/seatunnel/pull/9471 " Fix修复 starrocks 小数列定义生成 #9470 ") @prclin
- [bugfix修复了负载驱动不准确的情况 ]( https://github.com/apache/seatunnel/pull/9468 " bugfix修复了负载驱动不准确的情况 ") @chl-wxp
- [Fix端到端测试错误 ]( https://github.com/apache/seatunnel/pull/9467 " Fix端到端测试错误 ") @WenDing-Y
- [Fix修复主节点切换时的操作线程泄漏 ]( https://github.com/apache/seatunnel/pull/9464 " Fix修复主节点切换时的操作线程泄漏 ") @Hisoka-X
- [Fix修复 Iceberg 时间戳类型的时区问题 ]( https://github.com/apache/seatunnel/pull/9460 " Fix修复 Iceberg 时间戳类型的时区问题 ") @yzeng1618
- [Fix修复重复依赖项 ]( https://github.com/apache/seatunnel/pull/9458 " Fix修复重复依赖项 ") @litiliu
- [Fix修复 mongo 的 ExactlyOnce 默认为 true 导致 room 出现故障的问题 ]( https://github.com/apache/seatunnel/pull/9454 " Fix修复 mongo 的 ExactlyOnce 默认为 true 导致 room 出现故障的问题 ") @jw-itq
- [Bug修复 Paimon 中小数类型精度不兼容时的 NPE 问题 ]( https://github.com/apache/seatunnel/pull/9452 " Bug修复 Paimon 中小数类型精度不兼容时的 NPE 问题 ") @hawk9821
- [bug修复发布打包异常 ]( https://github.com/apache/seatunnel/pull/9436 " bug修复发布打包异常 ") @hawk9821
- [Fix更正批量大小每扫描选项的键中的拼写错误 ]( https://github.com/apache/seatunnel/pull/9434 " Fix更正批量大小每扫描选项的键中的拼写错误 ") @corgy-w
- [Fix在 SeaTunnelRow 中设置默认 tableid 以进行 Debezium JSON 反序列化 ]( https://github.com/apache/seatunnel/pull/9431 " Fix在 SeaTunnelRow 中设置默认 tableid 以进行 Debezium JSON 反序列化 ") @corgy-w
- [Fix将 SeaTunnelTask 中的 parallelStream 改为 stream 以避免类加载器不匹配 ]( https://github.com/apache/seatunnel/pull/9426 " Fix将 SeaTunnelTask 中的 parallelStream 改为 stream 以避免类加载器不匹配 ") @sohurdc
- [FixOracle CDC 在启用 LOB 时未更新事务提交 ]( https://github.com/apache/seatunnel/pull/9412 " FixOracle CDC 在启用 LOB 时未更新事务提交 ") @Hisoka-X
- [Fix日期格式字符串中 'T' 的正确处理 ]( https://github.com/apache/seatunnel/pull/9406 " Fix日期格式字符串中 'T' 的正确处理 ") @corgy-w
- [Fix箭头到Seatunnel行读取器转换Seatunnel行值 添加处理第二个TIMESTAMP类型 ]( https://github.com/apache/seatunnel/pull/9393 " Fix箭头到Seatunnel行读取器转换Seatunnel行值 添加处理第二个TIMESTAMP类型 ") @dyp12
- [Fix修复 OceanBase Oracle 不支持的数据类型创建 ]( https://github.com/apache/seatunnel/pull/9383 " Fix修复 OceanBase Oracle 不支持的数据类型创建 ") @Hisoka-X
- [Fix修复 Kafka 中偏移量为 -1 时的 IllegalArgumentException ]( https://github.com/apache/seatunnel/pull/9376 " Fix修复 Kafka 中偏移量为 -1 时的 IllegalArgumentException ") @WenDing-Y
- [Fix修复无效的 MIME 类型 ]( https://github.com/apache/seatunnel/pull/9363 " Fix修复无效的 MIME 类型 ") @litiliu
- [Fix将 iris docker 版本更新为修复 ci ]( https://github.com/apache/seatunnel/pull/9360 " Fix将 iris docker 版本更新为修复 ci ") @Hisoka-X
- [FixKafka的固定端到端测试用例未能按预期工作 ]( https://github.com/apache/seatunnel/pull/9359 " FixKafka的固定端到端测试用例未能按预期工作 ") @WenDing-Y
- [Fix修复源并行性在 Spark 引擎上无法正常工作的问题 ]( https://github.com/apache/seatunnel/pull/9319 " Fix修复源并行性在 Spark 引擎上无法正常工作的问题 ") @joexjx
- [Fix修复 Prometheus 检查时间无法解析双精度值 ]( https://github.com/apache/seatunnel/pull/9311 " Fix修复 Prometheus 检查时间无法解析双精度值 ") @chl-wxp
- [Fix修复更新构建状态操作错误 ]( https://github.com/apache/seatunnel/pull/9300 " Fix修复更新构建状态操作错误 ") @Hisoka-X
- [Fix修复 PostgreSQL sink 尝试更新唯一键 #9293 ]( https://github.com/apache/seatunnel/pull/9298 " Fix修复 PostgreSQL sink 尝试更新唯一键 #9293 ") @papadave66
- [Fix禁用死链检查 ]( https://github.com/apache/seatunnel/pull/9296 " Fix禁用死链检查 ") @Hisoka-X
- [Fix将 continue-on-error 设置为 true 以处理死链任务 ]( https://github.com/apache/seatunnel/pull/9290 " Fix将 continue-on-error 设置为 true 以处理死链任务 ") @Hisoka-X
- [Fix修复 Hive 客户端线程不安全问题 ]( https://github.com/apache/seatunnel/pull/9282 " Fix修复 Hive 客户端线程不安全问题 ") @corgy-w
- [BugSeaTunnelClient 无法带错误退出 ]( https://github.com/apache/seatunnel/pull/9281 " BugSeaTunnelClient 无法带错误退出 ") @CosmosNi
- [Fix修复构建 ClickHouse 节点时缺失选项配置的问题 ]( https://github.com/apache/seatunnel/pull/9277 " Fix修复构建 ClickHouse 节点时缺失选项配置的问题 ") @mrtisttt
- [Fix从健全性检查中移除死链检查 ]( https://github.com/apache/seatunnel/pull/9274 " Fix从健全性检查中移除死链检查 ") @Hisoka-X
- [Fix修复 OceanBase MySQL JDBC sink 创建语句错误 ]( https://github.com/apache/seatunnel/pull/9267 " Fix修复 OceanBase MySQL JDBC sink 创建语句错误 ") @Hisoka-X
- [Fix修复极端情况下的检查点调度丢失问题 ]( https://github.com/apache/seatunnel/pull/9246 " Fix修复极端情况下的检查点调度丢失问题 ") @Hisoka-X
- [Fix修复自定义 UDF 抛出异常 ]( https://github.com/apache/seatunnel/pull/9195 " Fix修复自定义 UDF 抛出异常 ") @hawk9821
优化
- [ [improve]套接字选项 ]( https://github.com/apache/seatunnel/pull/9517 " [improve]套接字选项 ") @liunaijie
- [ [Improve]表存储选项 ]( https://github.com/apache/seatunnel/pull/9515 " [Improve]表存储选项 ") @liunaijie
- [Improve移除不必要的取消引用方法并简化日期解析 ]( https://github.com/apache/seatunnel/pull/9478 " Improve移除不必要的取消引用方法并简化日期解析 ") @corgy-w
- [Improve支持在upsert会话模式下使用MaxCompute输出写入器进行upsert/删除操作 ]( https://github.com/apache/seatunnel/pull/9462 " Improve支持在upsert会话模式下使用MaxCompute输出写入器进行upsert/删除操作 ") @dybyte
- [DocPaimon 支持的投影更新 ]( https://github.com/apache/seatunnel/pull/9425 " DocPaimon 支持的投影更新 ") @WenDing-Y
- [improve删除 JDBC 参数 support_upsert_by_query_primary_key_exist ]( https://github.com/apache/seatunnel/pull/9408 " improve删除 JDBC 参数 support_upsert_by_query_primary_key_exist ") @chl-wxp
- [Feature实现过滤器 ]( https://github.com/apache/seatunnel/pull/9405 " Feature实现过滤器 ") @WenDing-Y
- [Feature将开始时间添加到作业信息中 ]( https://github.com/apache/seatunnel/pull/9400 " Feature将开始时间添加到作业信息中 ") @hawk9821
- [ [improve]TDengine 选项 ]( https://github.com/apache/seatunnel/pull/9399 " [improve]TDengine 选项 ") @liunaijie
- [ [improve]Typesense 选项 ]( https://github.com/apache/seatunnel/pull/9398 " [improve]Typesense 选项 ") @liunaijie
- [Improve向BinaryReadStrategy添加可配置的二进制块大小支持 ]( https://github.com/apache/seatunnel/pull/9391 " Improve向BinaryReadStrategy添加可配置的二进制块大小支持 ") @CosmosNi
- [Feature[JDBC]添加 presto/trino 语法 ]( https://github.com/apache/seatunnel/pull/9388 " Feature[JDBC]添加 presto/trino 语法 ") @dyp12
- [Feature通过正则表达式支持读取多个表 ]( https://github.com/apache/seatunnel/pull/9380 " Feature通过正则表达式支持读取多个表 ") @yzeng1618
- [featurePaimon 中的谓词下推支持 ]( https://github.com/apache/seatunnel/pull/9379 " featurePaimon 中的谓词下推支持 ") @hawk9821
- [ [Improve]JdbcInputFormat nextRecord 抛出异常 TableId ]( https://github.com/apache/seatunnel/pull/9374 " [Improve]JdbcInputFormat nextRecord 抛出异常 TableId ") @zhilinli123
- [FeatureJDBC 支持将 tinyint1 读取为 byte(tinyint) ]( https://github.com/apache/seatunnel/pull/9373 " FeatureJDBC 支持将 tinyint1 读取为 byte(tinyint) ") @Hisoka-X
- [ [Feature]从 2.3.11 版本升级到 2.3.12 版本 ]( https://github.com/apache/seatunnel/pull/9366 " [Feature]从 2.3.11 版本升级到 2.3.12 版本 ") @zhangshenghang
- [Improve移除重复的加载表名 ]( https://github.com/apache/seatunnel/pull/9357 " Improve移除重复的加载表名 ") @hailin0
- [Improve[SQL]支持转换为 TINYINT/SMALLINT ]( https://github.com/apache/seatunnel/pull/9347 " Improve[SQL]支持转换为 TINYINT/SMALLINT ") @hailin0
- [ImproveSQL 转换 EXTRACT 函数支持更多字段 ]( https://github.com/apache/seatunnel/pull/9342 " ImproveSQL 转换 EXTRACT 函数支持更多字段 ") @CosmosNi
- [Feature文件支持新格式:maxwell_json、canal_json、debezium_json #9278 ]( https://github.com/apache/seatunnel/pull/9336 " Feature文件支持新格式:maxwell_json、canal_json、debezium_json #9278 ") @dyp12
- [Improve修复 paimon 连接器的单词拼写错误 ]( https://github.com/apache/seatunnel/pull/9332 " Improve修复 paimon 连接器的单词拼写错误 ") @dailai
- [Feature支持Databend源/目标连接器 ]( https://github.com/apache/seatunnel/pull/9331 " Feature支持Databend源/目标连接器 ") @hantmac
- [Feature[Elasticsearch]支持向量变换Sink ]( https://github.com/apache/seatunnel/pull/9330 " Feature[Elasticsearch]支持向量变换Sink ") @SEZ9
- [Improve为FTP数据通道添加远程主机验证选项 ]( https://github.com/apache/seatunnel/pull/9324 " Improve为FTP数据通道添加远程主机验证选项 ") @corgy-w
- [Feature为时间戳开始模式添加结束时间戳 ]( https://github.com/apache/seatunnel/pull/9318 " Feature为时间戳开始模式添加结束时间戳 ") @WenDing-Y
- [ [Improve]优化
stop-seatunnel-cluster.sh
中变量处理的健壮性 ]( https://github.com/apache/seatunnel/pull/9316 " [Improve]优化stop-seatunnel-cluster.sh
中变量处理的健壮性 ") @mrtisttt - [Improve修复 Oracle 重命名 DDL 事件中缺失的列类型 ]( https://github.com/apache/seatunnel/pull/9314 " Improve修复 Oracle 重命名 DDL 事件中缺失的列类型 ") @hailin0
- [ [improve]EasySearch 支持 schema_save_mode/data_save_mode ]( https://github.com/apache/seatunnel/pull/9310 " [improve]EasySearch 支持 schema_save_mode/data_save_mode ") @CosmosNi
- [ [Improve]移除无用的 iceberg sink 配置
iceberg.table.config
]( https://github.com/apache/seatunnel/pull/9307 " [Improve]移除无用的 iceberg sink 配置iceberg.table.config
") @Hisoka-X - [Feature添加了不区分大小写的特性 ]( https://github.com/apache/seatunnel/pull/9306 " Feature添加了不区分大小写的特性 ") @yzeng1618
- [Feature支持将Oracle BLOB数据作为字符串而不是字节读取 ]( https://github.com/apache/seatunnel/pull/9305 " Feature支持将Oracle BLOB数据作为字符串而不是字节读取 ") @yzeng1618
- [ [Improve]在开发分支中删除 release-note.md ]( https://github.com/apache/seatunnel/pull/9304 " [Improve]在开发分支中删除 release-note.md ") @Hisoka-X
- [Feature支持 ClickHouse 的多表写入功能 ]( https://github.com/apache/seatunnel/pull/9301 " Feature支持 ClickHouse 的多表写入功能 ") @mrtisttt
- [Feature实现HTTP批量写入 ]( https://github.com/apache/seatunnel/pull/9292 " Feature实现HTTP批量写入 ") @ocean-zhc
- [ [improve]Sentry 选项 ]( https://github.com/apache/seatunnel/pull/9261 " [improve]Sentry 选项 ") @liunaijie
- [ [improve]sls 命令的选项 ]( https://github.com/apache/seatunnel/pull/9260 " [improve]sls 命令的选项 ") @liunaijie
- [ [improve]RocketMQ 选项 ]( https://github.com/apache/seatunnel/pull/9251 " [improve]RocketMQ 选项 ") @liunaijie
- [FeatureIceberg 添加胶水目录支持 ]( https://github.com/apache/seatunnel/pull/9247 " FeatureIceberg 添加胶水目录支持 ") @itnccuong
- [Improve支持 MaxCompute sink 编写器的 timestamp 字段类型 ]( https://github.com/apache/seatunnel/pull/9234 " Improve支持 MaxCompute sink 编写器的 timestamp 字段类型 ") @dybyte
- [Improve改进 SQL 转换异常以定位错误表达式 ]( https://github.com/apache/seatunnel/pull/9227 " Improve改进 SQL 转换异常以定位错误表达式 ") @misi1987107
- [ [improve]脉冲星选项 ]( https://github.com/apache/seatunnel/pull/9180 " [improve]脉冲星选项 ") @liunaijie
- [FeatureSQL 转换支持多条件判断函数 ]( https://github.com/apache/seatunnel/pull/9154 " FeatureSQL 转换支持多条件判断函数 ") @CosmosNi
- [Feature使用 Amazon Titan 和 cohere 嵌入模型支持单次/批量模式的向量化 ]( https://github.com/apache/seatunnel/pull/9120 " Feature使用 Amazon Titan 和 cohere 嵌入模型支持单次/批量模式的向量化 ") @SEZ9
- [Doc support chinese [docs/zh/connector-v2/source/MySQL-CDC.md]好的。 ]( https://github.com/apache/seatunnel/pull/8884 " Doc support chinese [docs/zh/connector-v2/source/MySQL-CDC.md]好的。 ") @scienceyang
- [FeatureHive sink连接器支持覆盖模式 #7843 ]( https://github.com/apache/seatunnel/pull/7891 " FeatureHive sink连接器支持覆盖模式 #7843 ") @Adamyuanyuan
其他
- [Chore移除 ConfigBuilder 中无用的参数 ]( https://github.com/apache/seatunnel/pull/9494 " Chore移除 ConfigBuilder 中无用的参数 ") @Hisoka-X
- [ [Doc]修复链接错误和DynamoDB参数错误 ]( https://github.com/apache/seatunnel/pull/9447 " [Doc]修复链接错误和DynamoDB参数错误 ") @ShuiMu-peng
- [Release[connector-change-log]更新连接器变更日志 ]( https://github.com/apache/seatunnel/pull/9416 " Release[connector-change-log]更新连接器变更日志 ") @zhangshenghang
- [ [Doc]将 deepwiki 添加到 README.md #9354 ]( https://github.com/apache/seatunnel/pull/9356 " [Doc]将 deepwiki 添加到 README.md #9354 ") @emmanuelmoon
- 添加 MongoDB-CDC 连接器中文文档 @liudechang
- [Doc添加HiveJdbc连接器的中文文档(#8497) ]( https://github.com/apache/seatunnel/pull/9329 " Doc添加HiveJdbc连接器的中文文档(#8497) ") @liudechang
- [Doc更新OssFileSink的保存模式配置 ]( https://github.com/apache/seatunnel/pull/9303 " Doc更新OssFileSink的保存模式配置 ") @Zzih
- [Future支持非主键表的自动创建 ]( https://github.com/apache/seatunnel/pull/9219 " Future支持非主键表的自动创建 ") @hawk9821
apache/seatunnel-website仓库
修复
- [Fix修复 transform-v2 文本标题 ]( https://github.com/apache/seatunnel-website/pull/384 " Fix修复 transform-v2 文本标题 ") @suntectec
- [FixSink的 plugin_input 配置不正确 ]( https://github.com/apache/seatunnel-website/pull/383 " FixSink的 plugin_input 配置不正确 ") @e-mhui
- [ [Fix]在 version.js 中使用动态导入代替 execa ]( https://github.com/apache/seatunnel-website/pull/372 " [Fix]在 version.js 中使用动态导入代替 execa ") @zhangshenghang
- [ [Fix]修复无法显示的 con ]( https://github.com/apache/seatunnel-website/pull/369 " [Fix]修复无法显示的 con ") @fcb-xiaobo
其他
- [Release更新Seatunnel网站文档 ]( https://github.com/apache/seatunnel-website/pull/379 " Release更新Seatunnel网站文档 ") @zhangshenghang
- [ [NOTICE]更新安全通知 ]( https://github.com/apache/seatunnel-website/pull/378 " [NOTICE]更新安全通知 ") @hailin0
本文由 白鲸开源科技 提供发布支持!