数据治理-数据资产管理（8大工具）

首先，大部分企业和政府部门的数据基础薄弱，存在数据标准混乱、数据质量层次不齐、各条块之间数据孤岛化严重等现象
阻碍了数据的共享应用

其次，受限于数据规范和数据源种类的丰富程度，多数企业的数据应用刚起步，主要集中在精准营销，舆情感知和风险控制等有限场景，应用深度不够，应用空间亟待开拓

再次，数据价值很难评估，企业难以对数据的成本以及对业务的贡献进行评价，从而难以像运营有形资产一样管理数据资产

对内增值、对外增效  精细化管理

数据架构、数据模型与设计、数据存储与操作、数据安全、数据集成与互操作性、文件和内容、参考数据和主数据、数据仓库和商务智能、元数据、数据质量

1.缺乏统一数据视图 无法感知数据的分布与更新情况，无法快速找到符合自己需求的数据，无法发现和识别有价值的数据并纳入数据资产

2.数据孤岛普遍存在  原因是技术、标准和管理制度，阻碍业务系统之间的数据共享，降低资源利用率和数据可得性

3.数据质量低下 数据资产发挥越来越大的价值，前提是数据质量的不断提升
不良的数据质量会额外花费15%-25%的成本

4.缺乏安全的数据环境

5.数据价值管理体系

解决释放数据价值过程中面临的诸多问题，以体系化的方式实现数据的可得、可用、好用，较小的数据成本获得较大数据收益

1.全面掌握数据资产现状，形成数据地图（数据资产盘点）帮助业务人员查找、帮助数据开发或使用者了解数据。

2.提升数据质量  数据质量监控体系，设计数据质量稽核规则，加强从源头控制数据质量，覆盖数据全生命周期管理。实现优质资产转变

3.实现数据互联互通  统一的
制定统一的数据标准，建立数据共享制度，完善数据登记、数据申请、数据审批、
数据传输、数据使用等数据共享相关流程规范

4.提高数据获取效率 

5.保障数据安全合规

6.数据价值持续释放

1.数据管理对象变化  数据量增大、数据格式多样、数据来源扩展（内、外、第三方）、实时数据

2.处理架构更新换代>云平台、分布式系统 计算&存储混搭的数据处理架构 支持跑批和实时数据以及灵活的业务需求
数据预处理 ETL>ELT  数据仓库>数据湖  先建模  原始数据建模分析

3.组织职能变迁  IT》数据管理

4.管理手段自动职能

5.应用范围不断扩大

保障内外部使用和交换的一致性和准确性的规范性约束

基础类数据标准

指标类数据标准

数据标准三要素

关键活动
理解数据标准化需求；构建数据标准体系和规范；
规划制定数据标准化的实施路线和方案；
制定数据标准管理办法和实施流程要求；
建设数据标准管理工具，推动数据标准的执行落地；
评估数据标准化工作的开展情况。

目标：数据标准管理的目标是通过统一的数据标准制定和发布，结合制
度约束、系统控制等手段，实现企业大数据平台数据的完整性、有效
性、一致性、规范性，推动数据的共享开放，构建统一的数据资产地
图，为数据资产管理活动提供参考依据

数据模型是现实世界数据特征的抽象，用于描述一组数据的概念
和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和
约束条件。

数据模型管理包括对数据模型的设计、数据
模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、版本管理等

 定义和分析企业数据需求；
 定义标准化的业务用语、单词、域、编码等；
 设计标准化数据模型，遵循数据设计规范；
 制定数据模型管理办法和实施流程要求；
 建设数据模型管理工具，统一管控企业数据模型。

目标：数据模型是数据资产管理的基础，一个完整、可扩展、稳定的数
据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理
可以清楚地表达企业内部各种业务主体之间的数据相关性，使不同部
门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务
数据的统一完整视图

技术元数据

业务元数据

管理元数据

元数据管理的内容可以从以下六个角度进行概括

关键活动

元数据管理内容描述了数据在使用流程中的信息，通过血缘分析
可以实现关键信息的追踪和记录，影响分析帮助了解分析对象的下游
数据信息，快速掌握元数据变更可能造成的影响，有效评估变化该元
数据带来的风险，逐渐成为数据资产管理发展的关键驱动力。

主数据（Master Data）是指用来描述企业核心业务实体的数据，
是企业核心业务对象、交易业务的执行主体。是在整个价值链上被重
复、共享应用于多个业务流程的、跨越各个业务部门和系统的、高价
值的基础数据，是各业务应用和各系统之间进行数据交互的基础。从
业务角度，主数据是相对“固定”的，变化缓慢。主数据是企业信息系
统的神经中枢，是业务运行和决策分析的基础。例如供应商、客户、
企业组织机构和员工、产品、渠道、科目 COA、BOM 等

关键活动

目标或价值：主数据管理通过对主数据值进行控制，使得企业可以跨系统的使
用一致的和共享的主数据，提供来自权威数据源的协调一致的高质量
主数据，降低成本和复杂度，从而支撑跨部门、跨系统数据融合应用

数据质量是保证数据应用效果的基础

数据质量管理是指运用相关技术来衡量、提高和确保数据质量的
规划、实施与控制等一系列活动

关键活动

目的或价值

数据安全管理是指对数据设定安全等级，按照相应国家/组织相
关法案及监督要求，通过评估数据安全风险、制定数据安全管理制度
规范、进行数据安全分级分类，完善数据安全管理相关技术规范，保
证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据
安全管理，规划、开发和执行安全政策与措施，提供适当的身份以确
认、授权、访问与审计等功能。

关键活动

目标或价值

概念

子主题

进行数据价值管理的关键性活动包括：
 确定企业数据集成度水平；
 确定企业数据的应用场景；
 确定数据存储、计算和运维的成本预算；
 明确数据成本和收益的具体计量指标；
 计算数据在不同应用场景下的成本和收益；
 计算企业数据资产的总体成本和收益；
 制定数据成本优化方案和提升数据增值方案；
 审核、改进方案。

数据共享管理主要是指开展数据共享和交换，实现数据内外部价
值的一系列活动

数据共享管理的关键活动包括：
 定义数据资产内部共享和运营流通监控指标；
 设计数据资产内部共享和运营流通管理方案；
 制定数据资产内部共享和运营流通管理办法和实施流程要求；
 监控数据资产内部共享和运营实施；
 监督落实数据内部共享与外部流通等合规性管理要求；
 分析内部共享与运营流通指标，评价运营效果并改进

重视数据资产管理、运营、流通可以为企业带来未来经济利益，
同时这也是数据保值增值的重要手段数据资产运营流通是使数据资
产流动和发挥价值的核心，它将推动数据价值创造模式的不断创新，
从根本上改变企业管理、社会管理和政府治理的发展趋势

数据资产管理相关的工具：比较成熟的工具有数据标准管理工具、数据模型管理工具、元数据管理工具、主数据管理工具、数据质量管理工具、数据安全管理工具和数据生命周期管理工具等七类工具

在大数据能力构建中，一般还要利用“数据集成工具”、“数据共享交换平台”等

1. 数据标准管理工具
数据标准制定及维护工具可以规范数据资产格式、命名的准确性和口径的一致性，该工具针对数据标准管理职能而开发，需具备以下基础功能：
 标准生成：可按照业务领域、业务主题、信息分类、信息项等生成标准细则；
 标准映射：可以将制定的标准与实际数据进行关联映射，即实现数据标准的落地执行，维护标准与元数据之间
的落地映射关系,包括元数据与数据标准的映射、元数据与数据质量的映射，以及数据标准和数据质量的映射，能提供在
线的手工映射配置功能，并能对映射结果做页面展示；
 变更查询：是查询发布或废止的标准的变更轨迹；
 映射查询：是查询标准项与元数据之间的落地情况并提供下载功能；
 维护标准：是指对标准状态进行管理，包括增删改、审核、定版、发布、废止等；
 标准版本查询：是指对发布状态的标准进行版本管理；
 标准导出：是指按照当前系统中发布的最新标准或者选择版本来下载标准信息；
 标准文档管理：指对标准相关说明文档或手册的管理，包括创建、修改、链接查询等。

2. 数据模型管理工具
针对企业在不同业务发展阶段建设的一个个竖井式系统，最大的挑战莫过于系统集成过程中数据模型的不一致，解决这个问题的唯一方法就是从全局入手，设计标准化数据模型，构建统一的数据模型管控体系，数据模型管理工具负责对企业数据模型的管理、比对、分析、展示提供技术支撑，需要提供统一、多系统、基于多团队并行协作的数据模型管理。解决企业数据模型管理分散，无统一的企业数据模型视图、数据模型无有效的管控过程，数据模型标准设计无法有效落地、数据模型设计与系统实现出现偏差等多种问题。该工具针对数据模型管理职能而开发，需具备以下基础功能：
 数据模型设计：支持对于新建系统的正向建模能力，还应支持对原有系统的逆向工程能力，通过对数据模型进行
标准化设计，能够将数据模型与整个企业架构保持一致，从源头上提高企业数据的一致性；
 模型差异稽核：提供数据模型与应用数据库之间自动数据模型审核、稽核对比能力，解决数据模型设计与实现
不一致而产生的“两张皮”现象，针对数据库表结构、关系等差别形成差异报告，辅助数据模型管理人员监控数据模型质量问题；提升数据模型设计和实施质量；
 数据模型变更管控：支持数据模型变更管控过程，提供数据模型从设计、提交、评审、发布、实施到消亡的在
线、全过程、流程化变更管理。同时，实现各系统数据模型版本化管理，自动生成版本号、版本变更明细信息，可以辅助
数据模型管理人员管理不同版本的数据模型。通过工具可以简单回溯任意时间点的数据模型设计状态以及数据模型设计
变更的需求来由，实现各系统数据模型的有效管控和管治，强化用户对其数据模型的掌控能力；
 模型可视化：支持将管理的数据模型 E-R 图（实体关系图）转换为图片、数据建模脚本（DDL）等可视化展示
形式，方便数据模型管理人员以全局视角监控系统中各类数据实体结构及实体间关系。

3. 元数据管理工具
元数据管理工具可以了解数据资产分布及产生过程，该工具针对元数据管理职能而开发，需具备以下基础功能：
 元数据采集：能够适应异构环境，支持从传统关系型数据库和大数据平台中采集从数据产生系统到数据加工处
理系统到数据应用报表系统的全量元数据，包括过程中的数据实体（系统、库、表、字段的描述）以及数据实体加工处理过程中的逻辑，也可通过自动化的方式完成元数据采集，比如用户维护好数据源连接信息后，可以根据数据源的更新频
率，设定元数据同步周期，元数据管理会根据数据源的连接信息、同步周期以及开始时间，定时自动解析、获取、并更新
元数据信息，保证平台元数据信息的及时有效；
 元数据识别：能够从本身不包含元数据信息的数据（比如非结构化数据）中提取特征，并以此识别元数据；
 元数据分类：能够根据业务特点和管理需要，动态分类元数据，包括技术元数据、业务元数据和管理元数据等；
 元数据展示：能够根据类别、类型等信息展示各个数据实体的信息及其分布情况，展示数据实体间的组合、依
赖关系，以及数据实体加工处理上下游的逻辑关系；
 元数据应用：能够利用元数据发现数据之间的关联性，一般包括数据地图、数据血缘分析、影响分析、全链分析、热度分析等；
 元数据搜索：可根据数据源库、类型等搜索元数据信息。

4. 主数据管理工具
数据管理工具用来定义、管理和共享企业主数据信息，可通过数据整合工具（如 ETL）或专门的主数据管理工具来实施主数据管理，具有企业级主数据存储、整合、清洗、监管以及分发等五大功能，并保证这些主数据在各个信息系统间的准确性、一致性、完整性。简单说来，存储、整合是数据的“入口”，分发为数据的“出口”，而中间的
清洗与监管将担负起数据质量提升的重要任务。该工具针对主数据管理职能而开发，需具备以下基础功能：
 主数据存储、整合：实现主数据整合、清洗、校验、合并等功能，根据企业业务规则和企业数据质量标准对收集
到的主数据进行加工和处理，用于提取分散在各个支撑系统中的主数据集中到主数据存储库，合并和维护唯一、完整、
准确的主数据信息；
 主数据管理：支持对企业主数据的操作维护，包括主数据申请与校验、审批、变更、冻结/解冻、发布、归档等全生命周期管理；
 主数据分析：实现对主数据的变更情况监控，为主数据系统管理员提供对主数据进行分析、优化、统计、比较等功能；
 主数据分发与共享：实现主数据对外查询和分发服务，前者用于在其它系统发出针对主数据实时响应类查询请求时，返回所需数据，后者则用于提供批量数据分发服务，一般采用企业服务总线（ESB 工具）实现方式。

5. 数据质量管理工具
数据质量管理工具从数据使用角度监控管理数据资产的质量，针对数据质量管理职能而开发，需具备以下基础功能：
 质量需求管理：对数据使用过程中产生的问题进行收集、存储、分类并提供查询检索功能，为质量规则的制定提供依据；
 规则设置：能够提供稽核规则设置功能，用于设置一个稽核规则应用于哪类数据；
 规则校验：能够对所关注的数据执行数据质量规则的校验任务；
 任务管理：能够提供稽核任务调度功能，指定稽核任务周期执行；
 监控分析：对规则校验的结果进行监控和分析，校验结果能够定位到原始数据项；
 质量报警：能够对质量问题及时进行报警，避免数据污染的发生，造成成本或业务损失；
 报告生成：能够对校验结果的质量问题进行记录，积累形成问题知识库，并生成报告，在此基础上，能够根据检核结果，生成对问题数据的质量提高建议，并可直接操作修改数据。

6. 数据安全管理工具
数据安全管理工具是结合信息安全的技术手段保证数据资产使用和交换共享过程中的安全。数据管理人员开展数据安全管理，是指执行数据安全政策和措施，为数据和信息提供适当的认证、授权、访问和审计，以防范可能的数据安全隐患。需具备以下基础功能：
 数据获取安全：能够支持数据获取需要经过申请与审批流程，保障数据获取安全；
 数据脱敏：能够支持数据脱敏规则、脱敏算法及脱敏任务的管理及应用，一般情况下，脱敏方式有动态脱敏和静态脱敏两种；
 统一认证：定义数据安全策略，定义用户组设立和密码标准等；
 租户隔离：管理用户，密码，用户组和权限；
 角色授权：划分信息等级，使用密级分类模式，对企业数据和信息产品进行分类；
 日志审计：审计数据安全，监控用户身份认证和访问行为，支持经常性分析；
 异常监控：指对账号异常行为的监控，如同一账号异地登录、同时多 IP 登录、多次重复登录等；
 数据分类分级：能够支持对数据资产安全进行敏感分级管理，并支持根据各级别生成对应的数据安全策略。

7. 数据价值管理工具
数据价值管理通过对数据内在价值的评估、数据成本和收益的管理，实现数据资产化管理，需具备以下基础功能：
 数据需求分析：通过数据库或者数据平台的各种数据分布分析和访问状态分析，协助数据管理人员对数据生命
周期管理策略，有效发现和挖掘当前数据平台或者数据库中历史数据增长最快的关键数据，同时，为管理业务部门需求，
满足业务部门对数据使用的要求提供有效的数据化支撑；
 数据价值评估：依据数据需求分析，建立合适的数据价值评估模型，主要包括数据成本和收益的评估方法、评估指标等，并支持对数据价值评估方法与各项指标的动态更新；
 数据成本管理：能够完成数据成本（主要包括存储成本和计算成本等）的优化，并给出影响成本的分析报告（如包含重复计算、代码质量差等）；
 数据收益管理：能够动态调整数据收益评价指标，依据指标对数据应用进行全流程管理，增加数据收益；
 数据服务：通过构建服务目录、授权数据服务等有效完整的记录数据服务信息，并最终生成数据服务报告，展示数据服务的价值；
 数据资产价值统计：能够可视化展示数据资产的一段时间内的统计视图，展现数据使用和成本的变动。

8. 数据服务管理工具
数据服务管理是指在数据管理平台上提供数据或数据分析结果的服务，包括企业内部数据共享和外部数据流通，通过构建服务目录、授权数据服务等有效完整的记录数据服务信息，最终生成数据服务报
告，展示数据服务的价值，需具备以下基础功能和辅助功能：
 服务目录：能够精确的展示各目录下能够提供的数据服务类型、服务流程、数据资产目录等，其实数据资产目录能够按照业务要求和企业标准，自定义构建数据资产目录层级，并描述数据资产相关属性，包括表级属性（如表名、目录、更新周期、业务类别等）和字段结构（如字段名称、字段类型、字段长度等）；
 服务目录版本管理：能够记录数据资产目录变更版本信息，包括具体变更情况；其中数据资产目录可以通过元数据关联导入，在元数据有变更时，自动同步；
 数据资产共享和流通：提供数据资产下载、共享、流通及服务接口等，支持按共享属性（如无条件共享、有条件共享、不共享等）对资源目录下的数据资产进行分类，支持直接提供数据和数据分析结果；
 其他功能：数据服务可以通过“数据超市”的形式开展，用户通过订阅具体服务获取和使用数据。