普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 调度引擎管理
  • 新增调度引擎
  • 修改调度引擎
  • 删除调度引擎
  • 执行资源配置
  • 执行资源状态
  • 搜索

# 调度引擎管理

调度引擎是一个分布式易扩展的作业流任务调度系统。调度引擎以 DAG(Directed Acyclic Graph,DAG)流式方式组装任务,可以及时监控任务的执行状态,支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

本章节涉及的功能主要有:

  • 新增调度引擎
  • 修改调度引擎
  • 删除调度引擎
  • 执行资源配置
  • 执行资源状态
  • 搜索

点击上方菜单栏“调度引擎管理”,进入作业调度管理界面。

调度引擎列表

# 新增调度引擎

点击【+新建调度引擎】按钮,弹出"新建调度引擎"界面。按照向导页面要求录入调度引擎的参数配置信息。

注意:引擎编码必须和配置文件中的 org.quartz.scheduler.instanceName: scheduler-test 保持一致(比如:scheduler-test)。用户可以自行修改配置文件的 instanceName ,然后再创建调度引擎。

如果 instanceName 不一致,会造成定时调度任务不执行的问题。

配置文件路径:/apache-dolphinscheduler-3.2.1-bin/master-server/conf/application.yaml

具体如下:

(略)
properties:
  org.quartz.threadPool.threadPriority: 5
  org.quartz.jobStore.isClustered: true
  org.quartz.jobStore.class: org.springframework.scheduling.quartz.LocalDataSourceJobStore
  org.quartz.scheduler.instanceId: AUTO
  org.quartz.jobStore.tablePrefix: QRTZ_
  org.quartz.jobStore.acquireTriggersWithinLock: true
  org.quartz.scheduler.instanceName: scheduler-test
  org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool
  org.quartz.jobStore.useProperties: false
  org.quartz.threadPool.makeThreadsDaemons: true
  org.quartz.threadPool.threadCount: 25
  org.quartz.jobStore.misfireThreshold: 60000
  org.quartz.scheduler.batchTriggerAcquisitionMaxCount: 1
  org.quartz.scheduler.makeSchedulerThreadDaemon: true
  org.quartz.jobStore.driverDelegateClass: org.quartz.impl.jdbcjobstore.PostgreSQLDelegate
  org.quartz.jobStore.clusterCheckinInterval: 5000
(略)

新建调度引擎

点击【下一步】按钮,按照向导页面要求继续录入调度引擎参数配置。

新建调度引擎

点击【确定】按钮,完成新建调度引擎的操作。

参数说明:

参数 说明
引擎名称 当前创建的调度引擎名称,由用户自定义且不可为空。命名可包含汉子、字母、数字、下划线。
引擎编码 当前创建的调度引擎编码,由用户自定义且不可为空。命名可包含字母、数字、下划线。
注册类型 目前只支持 zookeeper 。
环境选择 当前创建的调度引擎所属的环境,从下拉选项选择(数据字典)且不可为空。
所属部门 当前创建的调度引擎所属部门,从机构选项进行选择。
所属系统 当前创建的调度引擎所属系统,从下拉选项选择(数据字典)。
用途 当前创建的调度引擎的用户说明。
备注 当前创建的调度引擎的备注信息,用于记录用户自定义内容。
zookeeper注册地址 当前创建的调度引擎的zookeeper注册地址。
namespace 当前创建的调度引擎的namespace。即部署 DolphinScheduler 时在 bin/env/install_env.sh 中配置的 zkRoot=${zkRoot:-"/dws"}。
调度租户 当前创建的调度引擎的调度租户信息。是 DWS部署前准备 时创建的免密用户,即在 bin/env/install_env.sh 中配置的 deployUser=${deployUser:-"dws"}。
连接参数 当前创建的调度引擎的连接参数。
HDFS数据源 当前创建的调度引擎的 HDFS 数据源。
HDFS用户名 当前创建的调度引擎的 HDFS 用户名。
文件存储路径 当前创建的调度引擎的 HDFS 文件存储路径。

# 修改调度引擎

点击存算引擎列表右侧的【编辑】按钮,弹出"调度资源详情"弹窗,用户可以根据需求进行参数的修改。

点击【确定】按钮,完成参数的修改、保存。

点击【取消】按钮,取消本次修改操作。

修改调度引擎

修改调度引擎

# 删除调度引擎

点击调度引擎列表后边的【删除】按钮,弹出"删除确认"信息。按照要求解绑后才能继续删除操作。

点击弹框的【确认】按钮,完成删除操作。

点击弹框的【取消】按钮,取消本次删除操作。

删除调度引擎

# 执行资源配置

点击调度引擎列表后边的【执行资源配置】按钮,弹出"执行资源配置"弹窗。

点击【新增】按钮,可以添加执行资源的 Worker 分组。

执行资源配置

# 执行资源状态

点击调度引擎列表后边的【执行资源状态】按钮,弹出"执行资源状态"弹窗。可以查看对应调度引擎的 Master 和 Worker 的资源状态,包括:Master 和 Worker 的节点地址、心跳、CPU 使用率、内存使用率、磁盘可用容量。

执行资源状态

# 搜索

点击调度引擎列表右上方的【高级搜索】按钮,输入搜索条件"引擎编码"或者"引擎名称",点击【搜索】按钮,可以按照条件完成模糊查询,点击【重置】按钮,可以清空搜索条件。

搜索调度引擎

← 数据源管理 数据租户管理 →