普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
SDK开发指南
FAQ
  • 数据连接示例
  • 准备数据
  • 新建转换作业
  • 拖拽图元
  • 配置组件属性
  • 运行
  • 查看数据
  • 提交版本

# 数据连接示例

本示例主要演示将两张表的数据进行INNER连接,并输出。

主要步骤如下:

  • 准备数据
  • 新建转换作业
  • 拖拽图元
  • 运行
  • 查看数据
  • 提交版本

# 准备数据

创建库dws_source_dev
创建表 depts 和 emps, 并INSERT 一些数据。

DROP TABLE IF EXISTS `depts`;
CREATE TABLE `depts`  (
  `DEPTNO` int NOT NULL COMMENT '部门编号',
  `DNAME` varchar(14) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL,
  `LOC` varchar(35) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '位置',
  PRIMARY KEY (`DEPTNO`) USING BTREE
);

-- ----------------------------
-- Records of depts
-- ----------------------------
INSERT INTO `depts` VALUES (10, 'HH', 'MM');
INSERT INTO `depts` VALUES (20, 'LI', 'GG');
INSERT INTO `depts` VALUES (30, 'SALES', 'CHICAGO');
INSERT INTO `depts` VALUES (40, '潘丽', '麻栗坡县 山东省 彰化县');
INSERT INTO `depts` VALUES (50, '罗勇', 'mjp');
INSERT INTO `depts` VALUES (60, 'ZHANG', '胜多负少');

-- ----------------------------
-- Table structure for emps
-- ----------------------------
DROP TABLE IF EXISTS `emps`;
CREATE TABLE `emps`  (
  `EMPNO` int NOT NULL,
  `ENAME` varchar(10) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL,
  `JOB` varchar(9) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL,
  `MGR` int NULL DEFAULT NULL,
  `HIREDATE` date NULL DEFAULT NULL,
  `SAL` decimal(15, 2) NULL DEFAULT NULL,
  `COMM` float NULL DEFAULT NULL,
  `DEPTNO` int NULL DEFAULT NULL,
  PRIMARY KEY (`EMPNO`) USING BTREE,
  INDEX `EMP_FK_DEPT`(`DEPTNO`) USING BTREE
) ;

-- ----------------------------
-- Records of emps
-- ----------------------------
INSERT INTO `emps` VALUES (2273, 'Robbie', 'quick', 497552, '1986-01-07', 561358.99, 376286, 851281);
INSERT INTO `emps` VALUES (2505, 'Kelsey', 'fox ju', 725724, '1982-11-03', 958960.90, 466305, 350512);
INSERT INTO `emps` VALUES (6967, 'Gertrude', 'dogThe q', 53371, '2011-08-05', 968808.80, 839751, 748438);
INSERT INTO `emps` VALUES (7468, 'Vicary', 'lazy d', 610421, '2017-11-19', 610853.40, 431591, 850718);
INSERT INTO `emps` VALUES (7521, 'WARD1', 'SALESMAN', 7698, '1981-02-22', 1250.00, 500, 30);
INSERT INTO `emps` VALUES (7566, 'JONES', 'MANAGER', 7839, '1981-04-02', 2975.00, 8000, 20);
INSERT INTO `emps` VALUES (7654, 'MARTIN', 'SALESMAN', 7698, '1981-09-28', 1250.00, 1400, 30);
INSERT INTO `emps` VALUES (7698, 'BLAKE', 'MANAGER', 7839, '1981-05-01', 2850.00, 5000, 30);
INSERT INTO `emps` VALUES (7738, 'Alec', 'quick bro', 949768, '1986-08-14', 933453.20, 103638, 725218);
INSERT INTO `emps` VALUES (7777, 'JACOB', 'SALESMAN', 7934, '1991-02-22', 2500.00, 1500, 20);
INSERT INTO `emps` VALUES (7782, 'CLARK', 'MANAGER', 7839, '1981-06-09', 2450.00, 8000, 10);
INSERT INTO `emps` VALUES (7788, 'SCOTT', 'ANALYST', 7566, '1982-12-09', 3000.00, 2500, 20);
INSERT INTO `emps` VALUES (7789, 'JACOB2', 'MANAGER', 7934, '1945-02-22', 3000.00, 2500, 30);
INSERT INTO `emps` VALUES (7839, 'KING', 'PRESIDENT', NULL, '1981-11-17', 5000.00, 2500, 10);
INSERT INTO `emps` VALUES (7902, 'FORD', 'ANALYST', 7566, '1981-12-03', 3000.00, 2500, 20);

# 新建转换作业

点击数据加工上的【...】,选择弹出菜单【新建数据加工作业】,作业名称为:数据连接。

# 拖拽图元

依次拖拽输入中的关系型数据库组件(depts)、关系型数据库组件(emps)、连接中的数据连接组件和通用中的写日志组件,依次连线。如下图所示:

dataconnect

# 配置组件属性

1、双击"关系型数据库"组件,根据下图所示步骤依次配置。

dataconnect

dataconnect

2、双击"数据连接"组件,根据下图所示步骤依次配置。

dataconnect

3、双击"写日志"组件,根据下图所示步骤依次配置。

dataconnect

4、Ctrl+S保存该模型。

# 运行

点击【运行】按钮,可以运行已经开发完毕的场景。

参考CDC同步关系型数据库示例中的运行

# 查看数据

通过图中操作查看数据情况 dataconnect

# 提交版本

当草稿运行正常后,点击【提交】按钮可以将该版本提交到作业调度,每次修改提交都会生成新的版本,可以看到提交的历史版本,并可以随意切换版本。

参考CDC同步关系型数据库示例中的提交版本

← 比对记录示例 批量加载示例 →