无尘-基于Kettle引擎开发的在线ETL数据清洗项目

项目背景
个人开发一款数据集成工具链,深度融合 ​​Kettle 引擎​​、​​华为 TinyVue 可视化技术​​与​​分布式任务调度算法​​,项目部署在腾讯云上访问可能有点慢。
️ 核心功能

  1. ​​可视化 ETL 加工​​
    ​​Kettle 引擎深度优化​​
    继承 Kettle 强大的数据转换能力,支持 20+ 数据源(数据库、API、文件等)无缝接入,并通过插件机制扩展自定义组件。
    ​​华为 TinyVue + AntV/X6 双剑合璧​​
    基于 TinyVue 构建低代码拖拽式操作界面,结合 AntV/X6 流程图引擎,实现数据加工流程的​​可视化编排​​与​​实时拓扑展示​​。
    无尘-基于Kettle引擎开发的在线ETL数据清洗项目_第1张图片

无尘-基于Kettle引擎开发的在线ETL数据清洗项目_第2张图片

  1. ​​分布式任务调度​​
    ​​时间轮算法 + Apache Ignite​​
    基于时间轮(Time Wheel)算法实现高效任务触发机制,结合 Apache Ignite 分布式内存计算框架完成调度分配, 使用Cron表达式定义定时任务执行的规则
    ​​实时任务类型-暂未开发​​
  2. ​​在线体验环境​​
    这个环境在腾讯云上部署带宽只有5m, 配置为2核4g的轻量云服务器, 可能访问有点慢!
    账号: yanshi
    密码: wuc@yanshi123

你可能感兴趣的:(无尘-基于Kettle引擎开发的在线ETL数据清洗项目)