数据资产管理实践白皮书4.0
2021-10-01 23:14:43 39 举报
AI智能生成
信通院数据资产管理白皮书,核心内容,知识结构思维导图
作者其他创作
大纲/内容
数据资产管理和应用面临的挑战
1. 大部分企业和政府部门的数据基础薄弱
标准混乱
质量参差不齐
孤岛化
2. 多数企业的数据应用刚起步
主要集中在精准营销、舆情感知、风险防控等有限场景
应用深度不够
应用空间亟待拓展
3. 数据的价值难以评估
企业难以对数据的成本以及其对业务的贡献进行评估
难以像有形资产一样管理数据资产
数据资产管理概述
数据资产管理的定义与内涵
数据是资产,但是,缺乏有效的管理,数据也会成为一种负债。
数据资产管理是数据和实体经济深度融合、新旧动能转换、经济转向高质量发展阶段的重要工作内容。
数据资产管理是数据和实体经济深度融合、新旧动能转换、经济转向高质量发展阶段的重要工作内容。
概念
数据资产(Data Asset)
企业拥有或控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源。
并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。
数据资产管理(Data Asset Management)
规划、控制和提供数据及信息资产的一组业务职能,从而控制、保护、交付和提高数据资产的价值。
数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。
内涵
承上启下的作用
对上,支持以价值创造为导向的数据应用开发
对下,依托大数据平台实现数据全生命周期的管理
企业管理数据资产就是对数据进行全生命周期的资产化管理,
促进数据在“内增值,外增效”两方面的价值变现,同时控制数据在整个管理流程中的成本消耗。
促进数据在“内增值,外增效”两方面的价值变现,同时控制数据在整个管理流程中的成本消耗。
数据资产管理的重要性
数据作为土地、劳动力、资本、技术之外的新的生产要素,将成为比石油、煤矿等更核心的生产资源。
如何加工利用数据,释放数据价值,实现企业数字化转型,是每个企业面临的重要课题。
如何加工利用数据,释放数据价值,实现企业数字化转型,是每个企业面临的重要课题。
1. 数据价值难以有效发挥的原因
缺乏统一的数据视图
数据孤岛普遍存在
技术
标准
管理
数据质量低下
根据数据质量专家Larry English的统计,不良的数据质量使企业额外花费15%-25%的成本
数据能作为资产,并发挥越来越大的价值,前提是数据质量不断提升
缺乏安全的数据环境
缺乏数据价值管理体系
缺乏有效的价值评估、成本管理
数据服务和数据应用缺乏合规性指导,没有释放数据价值的“最优路径”
2. 数据资产管理是充分发挥数据价值的必经之路
以体系化的方式,实现数据的可得、可用、好用,用较小的数据成本,获得较大的数据收益
全面掌握数据资产现状
数据资产管理的切入点是全面盘点数据家当,构建数据地图,为业务应用和数据获取夯实基础
数据地图作为数据资产盘点的输出物之一,本身不承载具体数据内容
数据的查找
数据的监控
提升数据质量
切实可行的数据质量监控体系
设计数据质量稽核规则
加强从数据源头控制数据质量
形成覆盖数据全生命周期的数据质量管理
实现数据向优质资产的转变
实现数据互联互通
制定统一的数据标准
建立数据共享制度
完善数据登记、申请、审批、传输、使用的流程规范
搭建数据流通开放平台
提高数据获取效率
保障数据安全合规
数据价值持续释放
存储和管理数据的最终目的,是实现数据的价值
从企业高管到业务人员、技术人员,全员都要以持续释放数据价值为理念来重视数据资源管理工作
数据资产管理是各方关注的重要议题
政府
大数据管理局
数字政府
行业
金融行业
医疗
工业领域
国家层面
2017.6.1 《中华人民共和国网络安全法》
2018.05.25 通用数据保护条例(GDPR)欧盟
数据资产管理的现状与发展
1. 数据管理对象变化
2. 处理架构更新换代
3. 组织职能升级变迁
4. 管理手段自动智能
5. 应用范围不断扩大
数据资产管理的主要内容
管理职能是落实数据资产管理的一系列具体行为;
保障措施是为了支持管理职能实现的一些辅助的组织架构和制度体系
保障措施是为了支持管理职能实现的一些辅助的组织架构和制度体系
管理职能
1. 数据标准管理
数据标准是保障数据的内外部使用和交换的一致性和准确性的规范性约束。
数据标准管理是数据标准制定和实施的一系列活动。
数据标准管理是数据标准制定和实施的一系列活动。
基础类数据标准
参考数据和主数据标准
逻辑数据模型标准
物理数据模型标准
元数据标准
公共代码和编码标准
指标类数据标准
基础指标标准
计算指标(又称组合指标)标准
由两个以上基础指标计算得出
数据标准3要素
标准分类
标准信息项(标准内容)
相关公共代码和编码(如国标、行标等)
关键活动
理解数据标准化需求
构建数据标准体系和规范
规划制定数据标准化的实施路线和方案
制定数据标准管理办法和实施流程要求
建设数据标准管理工具,推动数据标准的执行落地
评估数据标准化工作的开展情况
目的
实现数据的完整性、有效性、一致性、规范性
2. 数据模型管理
内容
静态特征
动态行为
约束条件
抽象层次
概念数据模型
面向用户、客观世界的
逻辑数据模型
面向业务实现的
物理数据模型
面向计算机物理表示的
关键活动
定义和分析企业数据需求
定义标准化的业务用语、单词、域、编码等
设计标准化数据模型,遵循数据设计规范
制定数据模型管理办法和实施流程要求
建设数据模型管理工具,统一管控企业数据模型
3. 元数据管理
分类
技术元数据
结构定义
数据映射
数据转换等
业务元数据
业务术语
信息分类
指标
统计口径
管理元数据
人员角色
岗位职责
管理流程
6个角度的概括
向前看
“我”是谁加工出来的
向后看
“我”又支持了谁的加工
看历史
过去的“我”是什么样的
看本体
“我”的定义和格式
向上看
“我”的父节点
向下看
“我”的子节点
关键活动
理解企业元数据管理需求
开发和维护元数据标准
建设元数据管理工具
创建、采集、整合元数据
管理元数据存储库
分发和使用元数据
元数据分析(血缘分析、影响分析、数据地图等)
4. 主数据管理(MDM,Master Data Management)
主数据
主数据(Master Data)是指用来描述企业核心业务实体的数据,是企业核心业务对象、交易业务的执行主体。
是在整个价值链上被重复、共享应用于多个业务流程的、跨越各个业务部门和系统的、高价值的基础数据,
是各业务应用和各系统之间进行数据交互的基础。
从业务角度,主数据是相对“固定”的,变化缓慢。
主数据是企业信息系统的神经中枢,是业务运行和决策分析的基础。
是在整个价值链上被重复、共享应用于多个业务流程的、跨越各个业务部门和系统的、高价值的基础数据,
是各业务应用和各系统之间进行数据交互的基础。
从业务角度,主数据是相对“固定”的,变化缓慢。
主数据是企业信息系统的神经中枢,是业务运行和决策分析的基础。
常见主数据
供应商
客户
企业组织机构和员工
产品
渠道
科目COA
BOM
关键活动
理解主数据的整合需求
识别主数据的来源
定义和维护数据整合架构
实施主数据解决方案
定义和维护数据匹配规则
根据业务规则和数据质量标准对收集到的主数据进行加工清理
建立主数据创建、变更的流程审批机制
实现各个关联系统与主数据存储库数据同步
方便修改、监控、更新关联系统主数据变化
意义
主数据管理通过对主数据值进行控制,使得企业可以跨系统的使用一致和共享的主数据,
提供来自权威数据源的协调一致的高质量主数据,降低成本和复杂度,从而支撑跨部门、跨系统数据融合应用。
提供来自权威数据源的协调一致的高质量主数据,降低成本和复杂度,从而支撑跨部门、跨系统数据融合应用。
5. 数据质量管理
数据质量是描述价值含量的指标,可以类比矿石
典型指标
完整性
数据是否缺失
规范性
数据是否按照要求的规则存储
一致性
数据的值是否存在信息含义上的冲突(跨表)
准确性
数据是否错误
唯一性
数据是否是重复的
时效性
数据是否按照时间的要求进行上传
关键活动
提升数据质量意识
定义数据质量需求
剖析、分析、评估数据质量
定义数据质量测量指标
定义数据质量业务规则
测试和验证数据质量需求
确定与评估数据质量服务水平
持续测量和监控数据质量
管理数据质量问题
分析产生数据质量问题的根本原因
制定数据质量改善方案
清洗和纠正数据质量缺陷
设计并实施数据质量管理工具
监控数据质量管理操作程序和绩效
6. 数据安全管理
数据安全管理是指对数据设定安全等级,按照相应国家/组织相关法案及监督要求,通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类,完善数据安全管理相关技术规范,保证数据被合法合规、安全地采集、传输、存储和使用。
关键活动
理解数据安全需求及监管要求
定义数据安全策略
定义数据安全标准
定义数据安全控制及措施
管理用户、密码和用户组成员
管理数据访问视图与权限
监控用户身份认证和访问行为
定义数据安全强度,划分信息等级
部署数据安全防控系统或工具
审计数据安全
目标
建立完善的体系化的安全策略措施,全方位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个环节中的安全,
做到“事前可管,事中可控,事后可查”。
做到“事前可管,事中可控,事后可查”。
7. 数据价值管理
数据成本管理
数据收益管理
评估维度
评估方法
关键活动
确定企业数据集成度水平
确定企业数据的应用场景
确定数据存储、计算和运维的成本预算
明确数据成本和收益的具体计量指标
计算数据在不同应用场景下的成本和收益
计算企业数据资产的总体成本和收益
制定数据成本优化方案和提升数据增值方案
审核、改进方案
8. 数据共享管理(数据资产的运营流通)
分类
数据内部共享
企业内部跨组织、部门的数据交换
打通部门间共享瓶颈,建立统一的数据标准和数据共享制度
外部流通(企业间的数据交换)
数据直接交易
提供数据分析信息
对外开放
数据直接交易
提供数据分析信息
四类角色
数据提供者
数据消费者
数据服务者
数据运营者
关键活动
定义数据资产内部共享和运营流通监控指标
设计数据资产内部共享和运营流通管理方案
制定数据资产内部共享和运营流通管理办法和实施流程要求
监控数据资产内部共享和运营实施
监督落实数据内部共享与外部流通等合规性管理要求
分析内部共享与运营流通指标,评价运营效果并改进
重视数据资产管理、运营、流通可以为企业带来未来经济利益,同时这也是数据保值增值的重要手段。
数据资产运营流通是使数据资产流动和发挥价值的核心,它将推动数据价值创造模式的不断创新,从根本上改变企业管理、社会管理和政府治理的发展趋势。
数据资产运营流通是使数据资产流动和发挥价值的核心,它将推动数据价值创造模式的不断创新,从根本上改变企业管理、社会管理和政府治理的发展趋势。
保障措施
通过管理的手段,确定“责权利”以保障数据资产管理工作的有序开展。
1. 制定战略规划
2. 完善组织架构
数据认责是数据资产管理在服务各领域、各环节工作落到实处的有效手段。
3. 建立制度体系
覆盖整个生产运营过程的数据管理规范
元数据管理规范
数据生命周期管理规范
数据质量管理规范
数据安全管理规范
典型的制度体系架构实例
4. 设置审计机制
5. 开展培训宣贯
数据资产管理的实施要点
实施步骤
第一阶段:统筹规划
内容
制定数据资产管理战略规划
明确数据资产管理目标
建立数据资产管理组织和制度作为保障措施
盘点数据资产
制定数据资产标准规范
三步走
1. 建立组织责任体系,制定数据资产管理制度规范
交付物
《数据资产管理规划》
《数据资产管理认责机制》
《数据资产管理工作指引》
《数据资产管理考核评价办法》
2.结合业务盘点数据资产,评估数据管理能力
交付物
《数据资产盘点清单》
《数据管理现状评估》
3. 制定数据资产管理相关的标准规范
交付物
《数据资产标准管理办法》
重点
定义、规划、梳理
第二阶段:管理实施
重点
对第一阶段成果的落地实施
目标
为企业打造核心的管理数据资产的能力,同时为企业内部数据资产管理部门形成数据管理的工作环境
概括起来,就是企业数据资产可管理、可落地
概括起来,就是企业数据资产可管理、可落地
交付物
《数据资产管理办法》
《数据资产管理实施细则》
数据标准管理
数据质量管理
元数据管理
主数据管理
数据安全管理
数据应用管理
第三阶段:稽核检查
四个常态化
数据标准执行情况检查的常态化
标准制定检查
与国家标准、行业标准的一致性
与本地标准、数据模型的结核性
标准执行检查
落地情况
数据质量稽核的常态化
提升数据质量意识
建立良性循环、动态更新的数据质量管理流程
灵活配置数据存储策略的常态化
数据资产安全检查的常态化
交付物
《数据资产管理稽核办法》
《数据资产管理问题管理办法》
第四阶段:资产运营
前三个阶段,企业已经能够建立基本的数据资产管理能力
在此基础上,还需要具备以实现业务价值为导向,以用户为中心,为企业内外部不同层面用户提供数据价值的能力。
数据资产运营阶段是数据资产管理实现价值的最终阶段。
在此基础上,还需要具备以实现业务价值为导向,以用户为中心,为企业内外部不同层面用户提供数据价值的能力。
数据资产运营阶段是数据资产管理实现价值的最终阶段。
内容
数据资产价值评估
数据资产运营、流通
交付物
《数据资产价值评估方法》
《数据资产成本管理方法》
《数据资产共享流通管理办法》
实施模式
两个思考维度
组织方式
自上而下的顶层设计模式
长远战略规划
自下而上的各个击破模式
以探索需求为驱动力
以问题为导向
建设策略
生产系统优先
数据系统优先
1. 数据资产管理的建设策略
自上而下建设策略(特点:规范、标准先行)
调研数据资产分布现状
评估数据资产管理水平
建设数据资产管理体系
自下而上建设策略(特点:问题导向、系统建设先行、快速见效)
以元数据管理、数据质量管理两项核心数据资产管理任务为切入点
逐步扩展至数据模型管理、数据标准管理、数据安全管理等
2. 数据资产管理的切入方式
生产系统入手
大型生产系统开发建设模式
企业数据模型建设模式
主数据建设模式
数据系统入手
统一数据平台模式
企业化数仓建设
数据集市模式
各业务独立子数仓建设
软件工具
1. 数据标准管理工具
标准生成
根据业务领域、主题、信息分类、信息项生成标准细则
标准映射
标准与实际数据的关联映射,实现数据标准的落地执行
元数据与数据标准映射
元数据与数据质量映射
数据标准与数据质量映射
可以在线手工配置映射
映射结果的页面展示
变更查询
发布、废止的标准的变更轨迹
映射查询
标准项与元数据之间的落地情况查询及下载
标准维护
增删改、审核、定版、发布、废止等
标准版本查询
发布标准的版本管理
标准导出
发布的标准,选定版本导出
标准文档管理
标准说明文档和手册的管理
2. 数据模型管理工具
数据模型设计
新建系统的正向工程
旧有系统的逆向工程
模型差异稽核
数据模型与应用系统库之间的差异自动检测
避免设计与实现不一致的“两张皮”现象
数据模型变更管控
设计、提交、评审、发布、实施、消亡
版本化管理
支持任意时间点回溯
数据模型可视化
3. 元数据管理工具
元数据采集
结构化数据
元数据识别
从本身不包含元数据信息的数据(如非结构化数据)中提取特征,识别元数据
元数据分类
技术元数据
业务元数据
管理元数据
元数据展示
分布
血缘
元数据应用
数据地图
数据血缘分析
影响分析
全链分析
热度分析
元数据搜索
数据源库
基于类型搜索
4. 主数据管理工具
主数据存储、整合
主数据管理
主数据分析
主数据分发、共享
5. 数据质量管理工具
质量需求管理
规则设置
规则校验
任务管理
监控分析
质量报警
报告生成
校验结果的质量问题记录
形成问题知识库
生成报告
6. 数据安全管理工具
数据获取安全
申请
审批
数据脱敏
动态脱敏
静态脱敏
统一认证
安全策略
用户组
租户隔离
角色授权
日志审计
认证
访问行为
异常监控
异地登录
多IP登录
多次重复登录
数据分类分级
7. 数据价值管理工具
数据需求分析
数据价值评估
数据成本管理
数据收益管理
数据服务
数据资产价值统计
可视化
8. 数据服务管理工具
服务目录
服务目录版本管理
数据资产共享和流通
其他功能
数据超市的形式
成功要素
1. 明确责权利标,有效推进管理
2. 合理引进技术,提升治理能力
3. 着眼业务应用,释放数据价值
4. 加强数据合规,注重风险风控
5. 持续迭代完善,形成良性闭环
总结与展望
0 条评论
下一页