数据资产管理平台

2022-06-23 13:57:47   127  举报





AI智能生成

数据资产管理平台是一种集中管理企业数据资产的工具，它能够帮助企业更好地管理和利用其数据资产。这些平台通常提供数据采集、存储、清洗、分析和可视化等功能，帮助企业从海量数据中提取有价值的信息。此外，数据资产管理平台还能够帮助企业建立完善的数据治理体系，确保数据质量和安全。总之，数据资产管理平台为企业提供了一个全面、高效、安全的数据管理解决方案，有助于提高企业的运营效率和竞争力。

项目管理

中台架构图

数据资产

数据治理

作者其他创作

大纲/内容

二.建设目标

1、构建数据管理平台，对目前涉及的库表，指标进行纳管
通过平台代替人工管理，减少重复劳动，提高管理效率。

2、通过构建数据字典与指标体系，打通企业内部数据分享壁垒，提高数据利用效率。

3、通过构建数据血缘关系，追溯数据使用情况及影响分析。

4、梳理调度依赖关系并统一管理，减少因调度混乱出现的异常。

三、建设步骤

1、数据字典

手动登记

库表名

负责人

业务描述

数据抽取语句

抽取逻辑

抽取时间

抽取频率

优先级信息

数据库类型

数据质量信息

表级异常规则

字段级异常规则

告警方式

自动获取

基础信息

表字段信息

列名称

字段长度

字段类型

约束信息

数据总量

总表

分区

存储信息

物理地址

占用空间

总表

分区

文件格式

压缩方式

是否分区存储

文件数量

权限信息

变更记录

记录表及字段的变更

字段增减

类型改变

注释修改

数据使用情况

报表使用

血缘依赖

应用开发

2、数据血缘

血缘信息获取

sql解析

手动指定

构建血缘关系表

当前表ID

前置节点

后置节点

头部节点

尾部节点

构建血缘统计表

直接前置节点数量

前置节点总数

直接后置节点数量

后置节点总数

数据血缘应用

血缘可视化

节点定位

影响分析

数据销毁参考

数据质量评估

3、打通调度

1、获取所有调度任务

datax-web

dolphinSchedular

tableau

其他

2、任务与表绑定

3、表级调度启停

4、表级调度依赖

5、跨平台调度依赖

6、自动重启功能

4、指标体系

1、构建指标字典

指标名称

限定词/维度

业务主题

指标名称

量化词

指标层级

一级指标

二级指标

三级指标

层级关联

数据来源

来源表

来源字段

指标定义

业务表述

口径

计算逻辑

限定标准

指标变化

指标异常的判定条件

目标人/需求方

2、报表页面埋点

指标销毁参考

3、重要程度划分

根据浏览人划分

根据埋点数据划分

自定义划分

4、用户旅程地图

示例

1、梳理业务流程

2、绑定关键指标

3、影响分析

当前路径

前置业务指标

后置业务指标

数据资产

数据资产定义

数据资产（Data Asset）是指由组织（政府机构、企事业单位等）合法拥有或控制的数据资源，
以电子或其他方式记录，例如文本、图像、语音、视频、网页、数据库、传感信号等结构化或非
结构化数据，可进行计量或交易，能直接或间接带来经济效益和社会效益。

在组织中，并非所有的数据都构成数据资产，数据资产是能够为组织产生价值的数据资源，
数据资产的形成需要对数据资源进行主动管理并形成有效控制。

数据资产管理定义

数据资产管理（Data Asset Management）是指对数据资产进行规划、控制和提供的
一组活动职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，
从而控制、保护、交付和提高数据资产的价值。数据资产管理须充分融合政策、管理、业务、技
术和服务，确保数据资产保值增值。

一.目前痛点

1、元数据层面

负责人不清晰

创建者

抽取者

无业务描述

基础信息获取繁琐

库表名称

表字段信息

列名称

字段长度

字段类型