基于K8S环境部署Dolphinscheduler及简单应用

一、Dolphinscheduler简介

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂,无法监控任务健康状态的问题。 DolphinSchedulerDAG(Directed Acyclic Graph,DAG)流式方式组装任务,可以及时监控任务的执行状态,支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

基于K8S环境部署Dolphinscheduler及简单应用_第1张图片

二、本章目标

  • 基于K8S环境完成Dolphinscheduler部署
  • 使用本地文件存储而非 HDFSS3
  • 基于K8S环境Dolphinscheduler简单应用(支持Python3MySQL数据源及工作流编排)

三、前提条件

  • 具备 Kubernetes 1.12+ 集群(

你可能感兴趣的:(大数据学习,java,web,kubernetes,容器,云原生)