普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 数据层管理
  • 新增数据层:
  • 编辑数据层
  • 删除数据层
  • 上移/下移数据层
  • 查看数据源详情
  • 搜索

# 数据层管理

自顶向下的分层,平台默认内置的数据层分为:

  • 数据引用层(ODS,Operational Data Store):将原始数据几乎无处理地存放在数据仓库系统中,结构上与源系统基本保持一致,是数据仓库的数据准备区。这一层的主要职责是将基础数据同步。

  • 明细数据层(DWD,Data Warehouse Detail):基于每个具体的业务特点,构建最细粒度的明细事实表。可以结合企业的数据使用特点,将明细事实表的某些重要属性字段做适当冗余,也即宽表化处理。

  • 汇总数据层(DWS,Data Warehouse Summary):基于上层的应用和产品的指标需求,构建公共粒度的汇总指标表。以宽表化手段物理化模型,构建命名规范、口径一致的统计指标,为上层提供公共指标,建立汇总宽表、明细事实表。

  • 应用数据层(ADS,Application Data Store):存放数据产品个性化的统计指标数据,根据上层数据加工生成。

用户可按需对配置在平台中的数据层信息进行增、删、改、查、上移、下移的操作。

本模块涉及的操作包括:

  • 新增数据层
  • 编辑数据层
  • 删除数据层
  • 上移/下移数据层
  • 查看数据源详情
  • 搜索

点击上方菜单栏“公共资源”,点击菜单栏的"数据层管理",进入数据层管理界面。

数据层管理

数据层管理

# 新增数据层:

点击【新增】按钮,弹出新增数据层弹窗,按照界面要求录入新增的数据层信息,点击【确定】按钮后完成本次新增操作。

点击【取消】按钮,取消本次新增操作。

新增数据层 参数说明:

参数 说明
名称 当前创建的数据层名称,由用户自定义且不可为空。命名可包含汉子、字母、数字、下划线。
编码 当前创建的数据层编码,由用户自定义且不可为空。命名可包含字母、数字、下划线。
备注 当前创建的数据层备注信息,用于记录用户自定义内容。

# 编辑数据层

点击【...】按钮,点击弹出菜单的【编辑】,弹出数据层编辑界面。按照界面要求录入要修改的数据层信息,点击【确定】按钮后完成本次编辑操作。

点击【取消】按钮,取消本次编辑操作。

编辑数据层 编辑数据层

# 删除数据层

点击【...】按钮,点击弹出菜单的【删除】,弹出删除确认弹框,点击【确定】按钮后完成本次删除操作。

点击【取消】按钮,取消本次删除操作。

删除数据层 删除数据层

注意事项:

删除数据层的操作是不可逆的,一旦删除了指定的数据层,则该层相关的所有开发资源将会不可见(开发资源没有物理删除,仅是找不到与其关联的数据层)。

若要恢复开发资源可见,则必须重新创建数据层且数据层编码与已经删除的数据层编码一致。

# 上移/下移数据层

点击【...】按钮,点击弹出菜单的【上移】,完成数据层的上移操作。

上移数据层

点击【...】按钮,点击弹出菜单的【下移】,完成数据层的下移移操作。

下移数据层

注意事项:

数据层的上移/下移操作会影响数据层关联数据源的上下级关系及可见性。从数据仓库的概念上讲,数据引用层(ODS)、明细数据层(DWD)、汇总数据层(DWS)、应用数据层(ADS)这四级是向下可见/可引用的。

例如:

  • ODS 可以引用 ODS/DWD/DWS/ADS这四层的数据源
  • DWD 可以引用 DWD/DWS/ADS这三层的数据源
  • DWS 可以引用 DWS/ADS这四层的数据源
  • ADS 可以引用 ADS这一层的数据源
  • 依次类推……

# 查看数据源详情

选择某个数据层,会列出该数据层下关联的所有数据源列表。点击"数据源名称"的数据超链接,弹出"数据源详情"弹窗可以查看该数据源的详细信息。

查看数据层 查看数据层

# 搜索

点击右侧【高级】按钮,输入搜索条件"数据源编码"或者"数据源名称",点击【搜索】按钮,可以按照条件完成数据源的模糊查询,点击【重置】按钮,可以清空搜索条件。

搜索数据层

← 管理控制台 存算引擎管理 →