apache-dolphinscheduler-3.2.0调度器简介和集群部署详细安装文档

1、为什么选用apache-dolphinscheduler

轻松管理复杂的任务工程
支持跨项目和跨工作流程的任务依赖
支持Kill、暂停和恢复操作
任务支持以租户、Worker分组组和环境中隔离运行
每个任务都可以修改输出参数，并将其传递给后续任务

在一分钟内创建你的工作流程
通过拖拉拽的工作流创建方式提高效率
支持Python、Yaml和Open Api的方式生成工作流
支持将一个工作流作为另一个工作流的子流程执行

高并发、高吞吐量、低延迟和稳定地执行百万个量级任务
多Master、多Worker设计
自动缓存任务队列中的任务，以避免任务过多时服务器堵塞
Master和Worker支持在线和离线状态

强大的数据回填和工作流版本控制
根据计划时间（特殊日期范围或特殊的日期列表）批量执行任务
以串行或并行模式批量运行任务
在不影响工作流模板的情况下，工作流实例支持修改、回滚和重新运行
 

2、四大特性

可靠性高
去中心化的多Master和多Worker服务对等架构, 避免单Master压力过大，另外采用任务缓冲队列来避免过载

简单易用
DAG监控界面，所有流程定义都是可视化，通过拖拽任务完成定制DAG，通过API方式与第三方系统集成, 一键部署

丰富的使用场景
支持多租户，支持暂停恢复操作. 紧密贴合大数据生态，提供Spark, Hive, M/R, Python, Sub_process, Shell等近20种任务类型

高扩展性
支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master和Worker支持动态上下线

3、功能

以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load，memory，cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化

4、地址

官网地址：https://dolphinscheduler.apache.org/zh-cn

源码地址：https://gitee.com/caoes/DolphinScheduler/

5、环境准备

配置主机名、关闭SELINUX、关闭防火墙、安装jdk、安装mysql数据库、安装zookeeper，这些步骤请参考我之前的文章：

Cloudera Manager6.3.2详细安装教程，部署使用手册-CSDN博客

linux centos下载安装mysql详细教程（5.6.41和5.7.25）_linux版mysql5.6下载-CSDN博客

mysql配置详解（端口号、连接数、数据和日志目录）-CSDN博客

在这里不一一赘述

6、集群部署

解压安装包

[root@enn-hadoop-cm easyScheduler]$ tar -zxvf apache-dolphinscheduler-3.2.0-bin.tar.gz

创建dolphinscheduler用户

[root@enn-hadoop-cm easyScheduler]$ useradd dolphinscheduler

设置dolphinscheduler用户的密码

[root@enn-hadoop-cm easyScheduler]$ echo "这里写dolphinscheduler用户的密码" | passwd --stdin dolphinscheduler

给dolphinscheduler用户配置sudo免密权限

[root@enn-hadoop-cm easyScheduler]$ sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers

[root@enn-hadoop-cm easyScheduler]$ sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

修改目录权限

[root@enn-hadoop-cm easyScheduler]$ chown -R dolp