普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 数据准备
  • 1. 创建存算引擎
  • 2. 创建数据源
  • 3. 创建调度引擎
  • 4. 创建数据模型
  • 5. 创建用户
  • 6.创建数据租户管理

# 数据准备

本章节包含以下步骤:

  • 数据准备
    • 1. 创建存算引擎
    • 2. 创建数据源
    • 3. 创建调度引擎
    • 4. 创建数据模型
    • 5. 创建用户
    • 6.创建数据租户管理

# 1. 创建存算引擎

  1. 点击上方菜单栏“公共资源”,进入公共资源管理界面,点击菜单栏的"存算引擎管理",进入存算引擎管理界面。在【存算引擎管理】页面,点击"新建存算引擎"按钮。

  2. 以创建MySQL类型引擎为例,点击关系型数据库分类下的MySQL图标,点击下一步,如下图。

  3. 输入必填项:引擎编码、引擎名称、环境选择、引擎地址及引擎端口,点击开始测试按钮,测试成功后点击确定按钮保存引擎数据。

  4. 重复上述步骤,创建环境为生产环境的存算引擎。

  5. 重复上述步骤,创建kafka的存算引擎。

# 2. 创建数据源

  1. 点击上方菜单栏“公共资源”,进入公共资源管理界面,点击菜单栏的"数据源管理",进入数据源管理界面。在【数据源管理】页面,点击"新建数据源"按钮。

  2. 输入数据源编码、数据源名称,选择数据源层次,输入其他非必填项(可选),点击"保存并配置环境"。

  3. 配置【开发环境】数据源信息,测试连接成功后,点击保存数据源。

    image-20231113150054204

    image-20231113150102633

  4. 点击操作中的环境信息的“增加环境,继续添加【生产环境】信息。

    image-20231113150217772

  5. 点击对应环境信息,可查看数据源配置信息

    image-20231113150250699

  6. 重复上述步骤,创建数据层为DWD层的数据源及kafka数据源。如下图

    image-20231113150622036

  7. 数据源信息配置完成。

    image-20231113151017023

# 3. 创建调度引擎

⚠️ 前提准备:需要部署两套dolphinscheduler环境,分别设置为开发环境和生产环境,两个调度引擎环境完全独立。可使用同一个zookeeper,但需要修改为不同的namespace。

  1. 点击【调度引擎管理】菜单,点击新建调度引擎。

  2. 输入引擎名称、引擎编码、选择环境:开发环境,点击下一步。

  3. 修改zookeeper注册地址,使用引擎所在的zookeeper地址。

  4. 重复上述步骤,创建生产环境的调度引擎。

# 4. 创建数据模型

在【MySQL-Source-Demo】所在的开发环境及生产环境数据库中执行以下脚本,创建表及插入数据,作为模型数据。

drop table if EXISTS orderinfo;

create table orderinfo
(
  ordercode    VARCHAR(32) not null comment '订单号',
  amount       int(11) comment '数量',
  price        VARCHAR(32) comment '价格',
  manufacturer VARCHAR(32) comment '厂商',
  createtime   DATE comment '创建时间',
  createuser   VARCHAR(32) comment '创建人',
  updatetime   DATE comment '更新时间'
) ENGINE=INNODB DEFAULT CHARSET=utf8;

alter table orderinfo add constraint ORDER_PRIMARYKEY primary key (ORDERCODE);

insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime) 
values ('001', 1000, '5000', 'xingyun', '2018-12-13', 'zhangcong', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('002', 500, '1000', '西安金属', '2018-12-13', '王强', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('003', 1500, '7000', '枫禾林木', '2018-12-13', '魏雨', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('004', 20000, '75000', '星峰', '2018-12-13', '王林', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('005', 1300, '8000', '天威科技', '2018-12-13', '王林', '2019-12-01');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('006', 2000, '5000', '微云科', '2018-12-13', '王林', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('007', 3000, '9000', '西安金属', '2018-12-13', '王强', '2022-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('008', 2300, '11589', '星峰', '2018-12-13', '王强', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('009', 5100, '12909', '星云制造', '2018-12-13', '魏雨', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('010', 1800, '5900', '天威科技', '2018-12-13', '魏雨', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('011', 1800, '5500', '微云科技zz', '2023-01-01', '魏雨', '2023-01-04');
commit;

在【MySQL-Front-Demo】所在的开发环境及生产环境数据库中执行以下脚本创建表,作为模型数据。

drop table if EXISTS orderinfo;

create table orderinfo
(
  ordercode    VARCHAR(32) not null comment '订单号',
  amount       int(11) comment '数量',
  price        VARCHAR(32) comment '价格',
  manufacturer VARCHAR(32) comment '厂商',
  createtime   DATE comment '创建时间',
  createuser   VARCHAR(32) comment '创建人',
  updatetime   DATE comment '更新时间'
) ENGINE=INNODB DEFAULT CHARSET=utf8;

# 5. 创建用户

  1. 点击上方菜单栏“组织中心”,再点击【组织管理】-【机构管理】菜单,在公司下点击【新建下级机构】

  2. 输入必填项后点击确定按钮,保存机构信息

  3. 在新建的机构下, 点击【新建员工】,输入必填项后保存,员工及对应账号创建成功。

# 6.创建数据租户管理

  1. 点击【数据租户管理】菜单,点击【新建数据租户】按钮

    image-20240517174141456

  2. 在弹出的新建租户框中,输入“租户编码”和“租户名称”,点击【保存并配置资源】

    image-20240517174551378

  3. 在弹出的【租户资源配置】页面,依次配置调度引擎、数据源、主题、成员

    image-20240517174908033

    image-20240517174926930

    image-20240517174943063

    image-20240517175640543

    image-20240517175703898

    image-20240517175712612

    image-20240517175726445

← 8.0LA升级8.0LA2指南 数据开发 →