2024.02最新版DataX源码编译(解决踩坑)

6.1 源码下载

• 下载最新源码包(不要下载发行版。亲测有bug)

$ git clone https://github.com/alibaba/DataX.git

6.2 修改hdfsreader 模块中pom文件

parquet-format版本改为2.4.0。

    org.apache.parquet
    parquet-format
    2.4.0

6.3 检查oceanbasev10writer 模块pom文件

./DataX-master/oceanbasev10writer/src/main/lib 下是否有shade-ob-partition-calculator-1.0-SNAPSHOT.jar包 之前Datax作者打包就故意不放。
如果他们没放去阿里DataX官网下载jar包。

6.4 打包编译

$ cd  {DataX_source_code_home}
# 编译
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

# 或者指定版本编译
$ mvn -U clean package \
-Dmaven.compiler.source=1.8 \
-Dmaven.compiler.target=1.8 \
-Dfile.encoding=UTF-8 \
assembly:assembly \
-Dmaven.test.skip=true 

# 如果成功如下(大部分都会失败.缺少依赖问题。解决方案看下面)
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] datax-all 0.0.1-SNAPSHOT ........................... SUCCESS [04:30 min]
[INFO] datax-common 0.0.1-SNAPSHOT ........................ SUCCESS [  1.579 s]
[INFO] datax-transformer 0.0.1-SNAPSHOT ................... SUCCESS [  1.412 s]
[INFO] datax-core 0.0.1-SNAPSHOT .......................... SUCCESS [  4.099 s]
[INFO] plugin-rdbms-util 0.0.1-SNAPSHOT ................... SUCCESS [  0.906 s]
[INFO] mysqlreader 0.0.1-SNAPSHOT ......................... SUCCESS [  1.492 s]
[INFO] drdsreader 0.0.1-SNAPSHOT .......................... SUCCESS [  1.545 s]
[INFO] sqlserverreader 0.0.1-SNAPSHOT ..................... SUCCESS [  1.625 s]
[INFO] postgresqlreader 0.0.1-SNAPSHOT .................... SUCCESS [  1.413 s]
[INFO] kingbaseesreader 0.0.1-SNAPSHOT ...........