记一次Seatunnel同步数据速度测试

1、背景

数据源:mysql,数据量:5000W+,数据字段数:3;

目标端:mysql;

服务器:五台、8核、内存24G;

仅在类似情况下具有参考意义。

2、基础配置

{
    "env" : {
        "job.mode" : "BATCH",
        "checkpoint.interval" : 10000
    },
    "source" : [
        {
            "password" : "******",
            "driver" : "com.mysql.cj.jdbc.Driver",
            "parallelism" : 10,
            "query" : "select frid,frname,frdh from pctt_frqw",
            "result_table_name" : "tab123123432142",
            "fetch_size" : 20000,
            "partition_column" : "frid",
            &#

你可能感兴趣的:(大数据疑难杂症,重走青春,分布式,etl)