普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
SDK开发指南
FAQ
  • 拉链表示例
  • 准备数据
  • 新建转换作业
  • 拖拽图元
  • 配置组件属性
  • 运行
  • 查看数据
  • 提交版本

# 拉链表示例

本示例主要演示通过维度查询/更新实现拉链表。

主要步骤如下:

  • 准备数据
  • 新建转换作业
  • 拖拽图元
  • 运行
  • 查看数据
  • 提交版本

# 准备数据

创建库dws_source_dev
创建表 user_source 和 user_dimension_table, 并INSERT 一些数据。

CREATE TABLE user_source(
user_id int,
name varchar(8),
job_title varchar(8),
phone varchar(16)
);
 
-- 创建用户维度表
CREATE TABLE user_dimension_table(
agency_it int,
user_id int,
name varchar(8),
job_title varchar(8),
phone varchar(16),
versionno int,
start_date date,
end_date date
);
 
-- 清空原始数据
TRUNCATE TABLE user_source;
TRUNCATE TABLE user_dimension_table;
 
-- 初始化员工数据
INSERT INTO user_source VALUES(1,'张三','CTO','13613518884');
INSERT INTO user_source VALUES(2,'李四','CFO','15321587651');

# 新建转换作业

点击数据加工上的【...】,选择弹出菜单【新建数据加工作业】,作业名称为:拉链表实例。

# 拖拽图元

依次拖拽输入中的关系型数据库输入组件、数据仓库的维度查询/更新组件,依次连线。如下图所示:

dimension

# 配置组件属性

1、双击"关系型数据库输入"组件,根据下图所示步骤依次配置。

dimension

2、双击"维度查询/更新"组件,根据下图所示步骤依次配置。

dimension

dimension

3、Ctrl+S保存该模型。

# 运行

点击【运行】按钮,可以运行已经开发完毕的场景。

参考CDC同步关系型数据库示例中的运行

1、运行第一次,此时user_dimension_table有数据且与user_source表相同。

2、执行SQL对原表进行更新,更新后再次运行。

UPDATE user_source SET phone='16666666666' WHERE user_id = 1;
UPDATE user_source SET job_title='COOOOOO' WHERE user_id = 2;

# 查看数据

通过图中操作查看数据情况 dimension

# 提交版本

当草稿运行正常后,点击【提交】按钮可以将该版本提交到作业调度,每次修改提交都会生成新的版本,可以看到提交的历史版本,并可以随意切换版本。

参考CDC同步关系型数据库示例中的提交版本

← 复制记录到结果及从结果获取记录示例 联合查询/更新示例 →