普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
SDK开发指南
FAQ
  • 开发作业流示例
  • 新建作业流
  • 设计画布
  • 通用配置
  • 保存草稿
  • 运行
  • 提交版本

# 开发作业流示例

本示例主要介绍开发作业流的需求场景。

主要步骤如下:

  • 开发作业流示例
    • 新建作业流
    • 设计画布
    • 通用配置
    • 保存草稿
    • 运行
    • 提交版本

# 新建作业流

点击资源树"作业流"节点上的【...】,选择弹出菜单【新建作业流】,填写"作业流名称",点击【确定】按钮。

workflow

workflow

# 设计画布

在画布中拖拽"转换",选择"作业路径",其他属性可按用户要求进行配置,点击【确定】按钮。

在画布中拖拽"Shell程序",选择"程序路径",其他属性可按用户要求进行配置,点击【确定】按钮。

在"转换"图元与"Shell程序"图元之间建立连线。

workflow

workflow

# 通用配置

在通用配置中可以配置任务优先级、Worker 分组、命名参数、本地参数、超时告警。

workflow

参数说明:

参数 说明
作业名称 设置作业流的名称。
备注 该作业流的功能描述。
执行策略 并行:如果对于同一个作业流定义,同时有多个作业流实例,则并行执行作业流实例。
串行等待:如果对于同一个作业流定义,同时有多个作业流实例,则串行执行作业流实例,后生成的作业流状态为串行等待。
串行抛弃:如果对于同一个作业流定义,同时有多个作业流实例,则抛弃后生成的作业流实例,后生成的作业流状态为停止。
串行优先:如果对于同一个作业流定义,同时有多个作业流实例,则停止先生成的作业流,执行后生成的作业流实例。
默认是"串行优先"。
全局参数 作业流的用户自定义参数。
超时告警 勾选超时告警、超时失败,当任务超过”超时时间”后,会发送告警邮件并且任务执行失败。

# 保存草稿

如果所有组件属性都已设置完毕,点击【保存】按钮,可以看到保存过的历史草稿,并可以随意切换草稿。(草稿只保存最近 10 个)

可以参考示例关系型表数据同步示例 中的"保存草稿"说明。

# 运行

点击【运行】按钮,可以运行已经开发完毕的场景,在日志栏可以看运行日志及运行结果。

作业流中引入几个图元,日志栏就会有几个日志Tab页。用户可以切换页签查看不同任务的运行日志。

workflow

# 提交版本

当草稿运行正常后,点击【提交】按钮可以将该版本提交到作业调度,每次修改提交都会生成新的版本,可以看到提交的历史版本,并可以随意切换版本。

提交后的版本,可以在作业调度中进行"定时"调度配置。

可以参考示例关系型表数据同步示例 中的"提交版本"说明。

← Flink程序示例 开发作业流流程控制示例 →