数据治理详解
2023-10-09 15:20:17 2 举报
AI智能生成
数据治理是一种组织内的数据管理策略,其目标是确保数据的质量、安全性和可用性。这包括数据的收集、存储、处理和使用等各个环节的管理。数据治理涉及到数据质量管理、数据安全管理、数据隐私管理等多个方面。数据治理不仅需要制定明确的政策和程序,还需要建立相应的组织结构和技术支持。通过有效的数据治理,组织可以提高数据的利用效率,减少数据错误和风险,提升业务决策的准确性和效果。
作者其他创作
大纲/内容
数据治理概述
全面认识数据治理
数据治理是什么
管理视角
数据治理是企业发展战略
的组成部分,是指导整个集团进行数字化变革的基石,要将数据治理纳入
企业的顶层规划,各分/子公司、各业务部门都需要按照企业的顶层战略要
求进行工作部署,以实现企业数字驱动的转型的目标
的组成部分,是指导整个集团进行数字化变革的基石,要将数据治理纳入
企业的顶层规划,各分/子公司、各业务部门都需要按照企业的顶层战略要
求进行工作部署,以实现企业数字驱动的转型的目标
业务视角
数据治理不是信
息部门的事情吗?我们只是做一些配合工作。当然,我也知道数据的重要
性,我们想通过数据进行客户分析,增加销量。但现在我连我们企业有哪
些数据都不知道,更别说使用了。
息部门的事情吗?我们只是做一些配合工作。当然,我也知道数据的重要
性,我们想通过数据进行客户分析,增加销量。但现在我连我们企业有哪
些数据都不知道,更别说使用了。
技术视角
数据治理应包含三部
分:一是ETL,即数据的抽取、转换、加载,保障数据仓库内有数据可
用;二是对数据的处理、转换和融合,保障数据仓库内的数据准确、可
用;三是元数据管理,保障数据仓库内的数据可进行血统溯源和影响分
析
分:一是ETL,即数据的抽取、转换、加载,保障数据仓库内有数据可
用;二是对数据的处理、转换和融合,保障数据仓库内的数据准确、可
用;三是元数据管理,保障数据仓库内的数据可进行血统溯源和影响分
析
定义
“数据治理是对数据资产管理行使权力和控制的活动集合
企业数据治理非常必要,它是企业实现数字化转型的基础,是企业的
一个顶层策略,一个管理体系,也是一个技术体系,涵盖战略、组织、文
化、方法、制度、流程、技术和工具等多个层面的内容
一个顶层策略,一个管理体系,也是一个技术体系,涵盖战略、组织、文
化、方法、制度、流程、技术和工具等多个层面的内容
数据治理什么
数据治理不是对‘数据’的治理,而是
对‘数据资产’的治理,是对数据资产所有利益相关方的协调与规范
对‘数据资产’的治理,是对数据资产所有利益相关方的协调与规范
6个价值
降低业务运营成本
提升业务处理效率
改善数据质量
控制数据风险
增强数据安全
赋能管理决策
诺兰模型
诺兰模型给我们的启示
任何组织在从手工信息系统向以计算机为基础的信息系
统发展的过程中,都存在着一定的客观发展道路和规律。他将这个规律
分为6个阶段:起步阶段、扩展阶段、控制阶段、集成阶段、数据管理阶
段和成熟阶段
统发展的过程中,都存在着一定的客观发展道路和规律。他将这个规律
分为6个阶段:起步阶段、扩展阶段、控制阶段、集成阶段、数据管理阶
段和成熟阶段
3个现状
企业拥有雄厚的经济实力,信息化起步较早,企业的业务对
信息化和数据的依赖程度较高
信息化和数据的依赖程度较高
BAT等互联网企业、金融业的各大
银行、三大电信公司、国家电网等企业
银行、三大电信公司、国家电网等企业
企业已经有了相对完善的数据治理体系,需要注重
加强数据应用,加快数据驱动的创新步伐,稳固提升数据质量和数据变现
能力。
加强数据应用,加快数据驱动的创新步伐,稳固提升数据质量和数据变现
能力。
企业有一定的经济实力,建设的信息系统较多,在单业务条
线上信息化的应用程度较高
线上信息化的应用程度较高
国内的大型生产制造企业
企业的信息系统多,“信息孤岛”问题严重,数据不
能互联互通,不能按照用户的指令进行有意义的交流,数据的价值不能充
分发挥,其数据治理已迫在眉睫。这类企业应加强数据资源的整合和治
理,充分释放数据的价值
能互联互通,不能按照用户的指令进行有意义的交流,数据的价值不能充
分发挥,其数据治理已迫在眉睫。这类企业应加强数据资源的整合和治
理,充分释放数据的价值
企业的经济实力相对薄弱,信息化刚刚起步,部分企业使用
了财务软件、OA系统、ERP系统,数据存放在部门的系统中,甚至有些数
据存放在个人电脑中,数据的共享程度较低
了财务软件、OA系统、ERP系统,数据存放在部门的系统中,甚至有些数
据存放在个人电脑中,数据的共享程度较低
我国的中小企业多
数属于这一类
数属于这一类
在数字化浪潮下,企业的信息化虽然薄弱,但如果
打好数据基础,未必不是企业改革创新、实现“弯道超车”的最佳时机
打好数据基础,未必不是企业改革创新、实现“弯道超车”的最佳时机
5类问题
黑暗数据
黑暗数据也叫睡眠数据,是指被收集和处理但又不用于任何用途的数
据
据
数据孤岛
很多企业在信息化建设的早期,由于缺乏信息化的整体规划,业务系
统都是基于业务部门需求建设的,各业务部门都有自己的信息系统,这些
系统都是各自定义、各自存储的,彼此间相互独立,数据之间没有关联,
而形成了一个个数据孤岛。
统都是基于业务部门需求建设的,各业务部门都有自己的信息系统,这些
系统都是各自定义、各自存储的,彼此间相互独立,数据之间没有关联,
而形成了一个个数据孤岛。
数据“巴别塔”
在很多企业中存在着数据“巴别塔”。不同部门、不同员工之间因为数
据定义不清、口径不同、缺乏规范而无法顺畅交流和沟通。
据定义不清、口径不同、缺乏规范而无法顺畅交流和沟通。
糟糕的数据质量
数据的可信性是影响数据分析和管理决策的重要因素,然而企业数
据普遍存在着不一致、不完整、不准确、不正确、不及时等问题
据普遍存在着不一致、不完整、不准确、不正确、不及时等问题
数据的安全风险
数据收集和提取的合法性、数据
隐私的保护与数据隐私应用之间的权衡正成为当前制约大数据发展和应用
的一大瓶颈
隐私的保护与数据隐私应用之间的权衡正成为当前制约大数据发展和应用
的一大瓶颈
6个挑战
对数据治理的业务价值认识不足
缺乏企业级数据治理的顶层设计
高层领导对数据治理不够重视
数据标准不统一,数据整合困难
业务人员普遍认为数据治理是IT部门的事
缺乏数据治理组织和专业的人才
数据治理框架和标准
国际数据治理框架
ISO
ISO(国际标准组织)于2008年推出第一个IT治理国际标准——
ISO/IEC 38500。2015年,ISO发布ISO/IEC 38505标准,该标准阐述了数据
治理的目标、基本原则和数据治理模型,是一套完整的数据治理方法论
ISO/IEC 38500。2015年,ISO发布ISO/IEC 38505标准,该标准阐述了数据
治理的目标、基本原则和数据治理模型,是一套完整的数据治理方法论
数据治理的目标:促进组织高效、合理地利用组织数据资源。
数据治理的6个基本原则:职责、策略、采购、绩效、符合和人员行
为。这些原则阐述了指导决策的推荐行为,每个原则描述了应该采
取的措施,但并未说明如何、何时及由谁来实施。
数据治理模型:提出了数据治理的“E(评估)-D(指导)-M(监
督)”方法论,通过评估现状和将来的数据利用情况,编制和执行数
据战略和政策,以确保数据的使用服务于业务目标,指导数据治理
的准备和实施,并监督数据治理实施的符合性等
数据治理的6个基本原则:职责、策略、采购、绩效、符合和人员行
为。这些原则阐述了指导决策的推荐行为,每个原则描述了应该采
取的措施,但并未说明如何、何时及由谁来实施。
数据治理模型:提出了数据治理的“E(评估)-D(指导)-M(监
督)”方法论,通过评估现状和将来的数据利用情况,编制和执行数
据战略和政策,以确保数据的使用服务于业务目标,指导数据治理
的准备和实施,并监督数据治理实施的符合性等
ISO/IEC 38505数据治理标准
DGI
DGI(数据治理研究所)是业内最早、最知名的研究数据治理的专业
机构。DGI于2004年推出DGI数据治理框架,为企业根据数据做出决策和
采取行动的复杂活动提供新方法。该框架认为,企业决策层、数据治理专
业人员、业务利益干系人和IT领导者可以共同制定决策和管理数据,从而
实现数据的价值,最小化成本和复杂性,管理风险并确保数据管理和使用
遵守法律法规与其他要求。
机构。DGI于2004年推出DGI数据治理框架,为企业根据数据做出决策和
采取行动的复杂活动提供新方法。该框架认为,企业决策层、数据治理专
业人员、业务利益干系人和IT领导者可以共同制定决策和管理数据,从而
实现数据的价值,最小化成本和复杂性,管理风险并确保数据管理和使用
遵守法律法规与其他要求。
DGI数据治理框架的设计采用“5W1H”法则,将数据治理分为人员与治
理组织、规则、流程3个层次,共10个组件:数据利益干系人、数据治理办
公室和数据管理员;数据治理的愿景,数据治理的目标、评估标准和推动
策略,数据规则与定义,数据的决策权,数据的职责,数据的控制;数据
治理流程。
理组织、规则、流程3个层次,共10个组件:数据利益干系人、数据治理办
公室和数据管理员;数据治理的愿景,数据治理的目标、评估标准和推动
策略,数据规则与定义,数据的决策权,数据的职责,数据的控制;数据
治理流程。
DGI数据治理框架
DAMA
DAMA(国际数据管理协会)是一个由全球性数据管理和业务专业的
志愿人士组成的非营利协会,致力于数据管理的研究和实践。其出版的
《DAMA数据管理知识体系指南》(简称DAMA-DMBOK)一书被业界奉
为“数据管理的圣经”,目前已出版第2版,即DAMA-DMBOK2
志愿人士组成的非营利协会,致力于数据管理的研究和实践。其出版的
《DAMA数据管理知识体系指南》(简称DAMA-DMBOK)一书被业界奉
为“数据管理的圣经”,目前已出版第2版,即DAMA-DMBOK2
DAMA数据治理框架
国内数据治理框架
GB/T34960
我国发布的信息化标准GB/T34960《信息技术服务治理》中包含五部
分内容。
第1部分:通用要求。
第2部分:实施指南。
第3部分:绩效评价。
第4部分:审计导则。
第5部分:数据治理规范。
其中,第5部分《数据治理规范》(GB/T 34960.5—2018)中提出了数
据治理的总则和要求,为企业数据治理体系的建设提供了参考
分内容。
第1部分:通用要求。
第2部分:实施指南。
第3部分:绩效评价。
第4部分:审计导则。
第5部分:数据治理规范。
其中,第5部分《数据治理规范》(GB/T 34960.5—2018)中提出了数
据治理的总则和要求,为企业数据治理体系的建设提供了参考
GB/T 34960数据治理架构
DCMM
GB/T 36073—2018《数据管理能力成熟度评估模型》(Data
Management Capability Maturity Assessment Model,DCMM)是在国家标准
化管理委员会指导下,由全国信息技术标准化技术委员会编制的一份国家
标准,于2018年发布并实施
Management Capability Maturity Assessment Model,DCMM)是在国家标准
化管理委员会指导下,由全国信息技术标准化技术委员会编制的一份国家
标准,于2018年发布并实施
数据管理能力成熟度评估模型
数据战略:数据战略规划、数据战略实施、数据战略评估。
数据治理:数据治理组织、数据制度建设、数据治理沟通。
数据架构:数据模型、数据分布、数据集成与共享、元数据管理。
数据应用:数据分析、数据开放共享、数据服务。
数据安全:数据安全策略、数据安全管理、数据安全审计。
数据质量:数据质量需求、数据质量检查、数据质量分析、数据质
量提升。
数据标准:业务术语、参考数据和主数据、数据元、指标数据。
数据生存周期:数据需求、数据设计和开放、数据运维、数据退
役。
数据治理:数据治理组织、数据制度建设、数据治理沟通。
数据架构:数据模型、数据分布、数据集成与共享、元数据管理。
数据应用:数据分析、数据开放共享、数据服务。
数据安全:数据安全策略、数据安全管理、数据安全审计。
数据质量:数据质量需求、数据质量检查、数据质量分析、数据质
量提升。
数据标准:业务术语、参考数据和主数据、数据元、指标数据。
数据生存周期:数据需求、数据设计和开放、数据运维、数据退
役。
DCMM数据管理能力成熟度等级
企业数据怎么治
企业数据治理体系的内涵
数据治理、数据管理、数据管控的关系
9要素
企业数据治理的9个要素
4个层面
企业数据治理的4个层面
3个机制
数据战略-数字化转型的灯塔
数据战略主要包括战略目标、范围和内容、实施策略、实施路径和行
动计划
动计划
组织机制-敏捷的治理组织
在敏捷的组织机制中,企业各部门的工作导向不是“以职能为中心”,
而是“以客户为中心”,更加强调数据的作用;IT与业务的边界将模糊化,
IT不再作为企业的支撑部门(成本中心),而是能够持续赋能业务、创造
价值的能力中心(利润中心)。
而是“以客户为中心”,更加强调数据的作用;IT与业务的边界将模糊化,
IT不再作为企业的支撑部门(成本中心),而是能够持续赋能业务、创造
价值的能力中心(利润中心)。
数据文化-数据思维融入企业文化
企业数字化转型需要将企业文化融入转型、管理、经营,而企业文化
建设的目标是将数据文化“内化于心,外化于行,固化于制”
建设的目标是将数据文化“内化于心,外化于行,固化于制”
8项举措
企业数据治理的8项举措
企业数据治理之法是一套完整的数据治理
实施方法论,包括理现状与定目标、能力成熟度评估、路线图规划、保障
体系建设、技术体系建设、策略执行与监控、绩效考核以及长效运营。
实施方法论,包括理现状与定目标、能力成熟度评估、路线图规划、保障
体系建设、技术体系建设、策略执行与监控、绩效考核以及长效运营。
7种能力
企业数据治理的7种能力
企业数据治理的技术有很多,常用的有数据梳理与建
模、元数据管理、数据标准管理、主数据管理、数据质量管理、数据安全
治理、数据集成与共享等7种核心技术能力
模、元数据管理、数据标准管理、主数据管理、数据质量管理、数据安全
治理、数据集成与共享等7种核心技术能力
7把利剑
企业数据治理的7把“利剑”
,数据治理平台和工具主要包含以下组件:
数据模型管理、元数据管理、数据标准管理、主数据管理、数据质量管
理、数据安全治理、数据集成与共享等
数据模型管理、元数据管理、数据标准管理、主数据管理、数据质量管
理、数据安全治理、数据集成与共享等
数据治理之道
数据战略:数字化转型的灯塔
数据战略的定义
DAMA
“一组选择和决定,这些选择和决定共同制定了实现高级目标的高级行
动方案。
动方案。
激动人心的数据管理愿景;
数据管理商业案例摘要,附带精选案例;
指导原则、价值观和管理远景;
数据管理的使命和长远目标;
数据管理成功的关键措施;
短期(1~2年,具体、可度量、可操作、可实现、有时限)的数据
管理方案目标;
数据管理的组织和角色及其职责;
数据管理的实施路线图;
数据管理的项目章程;
数据管理的范围说明
数据管理商业案例摘要,附带精选案例;
指导原则、价值观和管理远景;
数据管理的使命和长远目标;
数据管理成功的关键措施;
短期(1~2年,具体、可度量、可操作、可实现、有时限)的数据
管理方案目标;
数据管理的组织和角色及其职责;
数据管理的实施路线图;
数据管理的项目章程;
数据管理的范围说明
DCMM
数据战略是组织开展数据工作的愿景、目的、目标
和原则。它包含数据战略规划、数据战略实施和数据战略评估。
和原则。它包含数据战略规划、数据战略实施和数据战略评估。
数据战略规划:数据战略规划为组织的数据管理工作定义愿景、目
的、目标和原则,并使其在所有利益干系人之间达成共识;从宏观
及微观两个层面确定开展数据管理及应用的动因,并综合反映数据
提供方和消费方的需求。
数据战略实施:组织完成数据战略规划并逐渐实现数据职能框架的
过程。在实施过程中,应评估组织数据管理和数据应用的现状,确
定现状与愿景、目标之间的差距;依据数据职能框架制定阶段性数
据任务目标,并确定实施步骤。
数据战略评估:在数据战略评估过程中,应建立对应的业务案例和
投资模型,并在整个数据战略实施过程中跟踪进度,同时做好记
录,以供审计和评估使用。
的、目标和原则,并使其在所有利益干系人之间达成共识;从宏观
及微观两个层面确定开展数据管理及应用的动因,并综合反映数据
提供方和消费方的需求。
数据战略实施:组织完成数据战略规划并逐渐实现数据职能框架的
过程。在实施过程中,应评估组织数据管理和数据应用的现状,确
定现状与愿景、目标之间的差距;依据数据职能框架制定阶段性数
据任务目标,并确定实施步骤。
数据战略评估:在数据战略评估过程中,应建立对应的业务案例和
投资模型,并在整个数据战略实施过程中跟踪进度,同时做好记
录,以供审计和评估使用。
笔者
数据战略是一个用数据驱动业务,
为了实现企业业务目标而制定的一系列高层次数据管理策略的组合,它指
导企业开展数据治理工作,指明了企业数据应用的方向
为了实现企业业务目标而制定的一系列高层次数据管理策略的组合,它指
导企业开展数据治理工作,指明了企业数据应用的方向
数据战略规划
数据战略与企业战略、数据架构的关系
数据战略与企业战略、数据架构的关系
数据战略与数据架构
数据架构用于定义数据需求,指导对数据资产的整合和控制,是数据
投资和业务战略相匹配的一套完整的数据构建规范。数据架构定义了与组
织战略相协调的管理数据资产的框架,用于描述现状,定义数据需求,指
导数据集成,控制数据策略
投资和业务战略相匹配的一套完整的数据构建规范。数据架构定义了与组
织战略相协调的管理数据资产的框架,用于描述现状,定义数据需求,指
导数据集成,控制数据策略
描述现状:描述企业数据管理的现状,包括数据资产的分布、数据
存储和管理情况、数据管理能力的成熟度等。
定义数据需求:通过数据模型、数据目录和元数据等技术,对企业
的数据现状、数据分布、数据流向、数据应用等需求进行完整描
述。
指导数据集成:规划数据分布和数据流向,明确数据流转的环境和
技术条件。
控制数据策略:控制数据全生命周期中的数据管理策略,包括数据
的收集、存储、安排、使用和删除的标准
存储和管理情况、数据管理能力的成熟度等。
定义数据需求:通过数据模型、数据目录和元数据等技术,对企业
的数据现状、数据分布、数据流向、数据应用等需求进行完整描
述。
指导数据集成:规划数据分布和数据流向,明确数据流转的环境和
技术条件。
控制数据策略:控制数据全生命周期中的数据管理策略,包括数据
的收集、存储、安排、使用和删除的标准
数据战略与企业战略
数据战略目标应与企业战略目标一致,通过有效的数据治理让
数据得到更加合理、有效、充分的使用,驱动业务目标的实现。脱离了使
用,数据治理就没有了意义;脱离了业务目标,数据资产就没有了价值
数据得到更加合理、有效、充分的使用,驱动业务目标的实现。脱离了使
用,数据治理就没有了意义;脱离了业务目标,数据资产就没有了价值
数据战略3要素
战略定位
战略定位回答了“做什么”“不做什么”的根本问题,用来定义战略目
标。企业数据战略的规划设计不仅要有对齐企业战略的“长期目标”,还要
兼顾解决当前问题的“短期目标”
标。企业数据战略的规划设计不仅要有对齐企业战略的“长期目标”,还要
兼顾解决当前问题的“短期目标”
企业的痛点需求是什么?
企业的业务目标有哪些?它们与数据需求是什么关系?
企业确定数据管理业务目标的依据是什么?
为确保数据管理能实现业务目标,可以采用哪些衡量标准或关键绩
效指标?
数据管理的组成部分是如何实施的?如何测量其有效性?
如何确定长期和阶段性成果?
数据治理的投资计划(人力和资金)如何?期望的投资回报率是多
少?
企业的业务目标有哪些?它们与数据需求是什么关系?
企业确定数据管理业务目标的依据是什么?
为确保数据管理能实现业务目标,可以采用哪些衡量标准或关键绩
效指标?
数据管理的组成部分是如何实施的?如何测量其有效性?
如何确定长期和阶段性成果?
数据治理的投资计划(人力和资金)如何?期望的投资回报率是多
少?
数据战略的3个层次
实施策略
实施策略解决的是“怎么做”“由谁做”“做的条件”“成功原因”等问题,
是战略落地的“制胜逻辑”
是战略落地的“制胜逻辑”
案例
成功案例:某大型装备制造企业的“五统一”数据战略
这是国内的一家大型装备制造企业。经过多年的信息化建设,企业
已经建立了PDM、ERP、MES、CRM等多个业务系统,但由于系统之间
缺乏统一的数据标准,“一物多码”的问题十分严重,对企业上下游之间
的业务协同造成了较大影响。于是,该企业在2014年启动了“五统一”的
数据战略,目标是实现企业核心主数据的标准化。
该策略是由公司总经理挂帅、CIO主导、IT部门与业务部门协同推
进的。“五统一”包括统一数据定义、统一数据编码、统一数据口径、统
一数据来源及统一参照数据。通过对分散在各部门、各系统中的主数据
进行统一,为企业的应用集成和业务协同提供了基础。
该企业的数据战略定位非常清晰:以主数据为基础,夯实企业数字
化根基。这项举措为该企业后来的集团管控、财务共享、业财融合奠定
了坚实的基础,取得的成效十分明显。
已经建立了PDM、ERP、MES、CRM等多个业务系统,但由于系统之间
缺乏统一的数据标准,“一物多码”的问题十分严重,对企业上下游之间
的业务协同造成了较大影响。于是,该企业在2014年启动了“五统一”的
数据战略,目标是实现企业核心主数据的标准化。
该策略是由公司总经理挂帅、CIO主导、IT部门与业务部门协同推
进的。“五统一”包括统一数据定义、统一数据编码、统一数据口径、统
一数据来源及统一参照数据。通过对分散在各部门、各系统中的主数据
进行统一,为企业的应用集成和业务协同提供了基础。
该企业的数据战略定位非常清晰:以主数据为基础,夯实企业数字
化根基。这项举措为该企业后来的集团管控、财务共享、业财融合奠定
了坚实的基础,取得的成效十分明显。
失败案例:某工业制造企业的数据治理和运营策略
这是一家大型的工业制造集团型企业,集团为主数据治理成立了“数
据标准管理委员会”的虚拟组织,并采用集中管控模式实施集团主数据治
理。
数据标准管理委员会中的5名数据治理专员是从集团下属的5家子公
司抽调来的业务专家,从每家子公司中抽调一人,由其兼职负责集团主
数据标准制定和数据运营工作。
在实际数据治理执行过程中,5名数据治理专员达成了默契:各自审
核自家单位的数据。这导致了在集团层面,主数据集中化管控的模式成
了摆设。运营不久之后,集团层面主数据的重复、不完整、不准确等问
题又暴露无遗。
据标准管理委员会”的虚拟组织,并采用集中管控模式实施集团主数据治
理。
数据标准管理委员会中的5名数据治理专员是从集团下属的5家子公
司抽调来的业务专家,从每家子公司中抽调一人,由其兼职负责集团主
数据标准制定和数据运营工作。
在实际数据治理执行过程中,5名数据治理专员达成了默契:各自审
核自家单位的数据。这导致了在集团层面,主数据集中化管控的模式成
了摆设。运营不久之后,集团层面主数据的重复、不完整、不准确等问
题又暴露无遗。
行动计划
行动计划是为落实战略目标或指导方针而采取的具有协调性的计划安
排。行动计划回答了“谁”“在什么时间”“做什么事”“达成什么目标”的具体
问题。行动计划要可执行、可量化、可度量,遵循PDCA的闭环管理,并
需要定期进行复盘和总结
排。行动计划回答了“谁”“在什么时间”“做什么事”“达成什么目标”的具体
问题。行动计划要可执行、可量化、可度量,遵循PDCA的闭环管理,并
需要定期进行复盘和总结
案例:某能源企业的数字化转型三年行动计划
某能源企业数字化转型战略的实施强调用“数字化的技术和数据”来
支撑企业的管理决策、业务协同、业务流程优化及信息系统整合。为了
实现这一战略目标,该企业提出了“总体规划,分步实施,试点先行,重
点突破”的总体策略,并制定了三年行动计划
支撑企业的管理决策、业务协同、业务流程优化及信息系统整合。为了
实现这一战略目标,该企业提出了“总体规划,分步实施,试点先行,重
点突破”的总体策略,并制定了三年行动计划
5个步骤
环境因素分析
环境因素分析模型
内部环境因素
企业发展和运营的业务战略规划;
企业的主价值链;
企业的相关制度和政策;
企业信息化建设现状和未来发展方向;
高层领导和业务部门对数据战略的支持情况;
业务部门的业务需求痛点等
企业的主价值链;
企业的相关制度和政策;
企业信息化建设现状和未来发展方向;
高层领导和业务部门对数据战略的支持情况;
业务部门的业务需求痛点等
外部环境因素
影响数据战略的外部环境有社会、经济、法律、政治、文化、技术
等,以及以上各个因素可能发生的变化。
等,以及以上各个因素可能发生的变化。
确定战略目标
数据战略来源于企业战略并服务于企业战略
数据战略的制定要立足于企业现状
数据战略目标需要全员贯彻
制定行动方案
在确定了数据战略目标之后,需要对战略目标进行分解,将一个大目
标分解成若干个可执行、可量化、可评估的小目标。根据这些小目标,可
以将数据战略划分为若干个阶段并设置一些战略控制点,确定每个阶段的
起止时间、负责部门/岗位/角色/人员、明确输入和输出成果等,渐进式地
逼近终极目标。在此过程中,将短期利益与长远利益相结合,兼顾局部利
益与整体利益,既要积极推进又要确保稳妥,在这些因素的约束下选择相
对合理的实施路线图
标分解成若干个可执行、可量化、可评估的小目标。根据这些小目标,可
以将数据战略划分为若干个阶段并设置一些战略控制点,确定每个阶段的
起止时间、负责部门/岗位/角色/人员、明确输入和输出成果等,渐进式地
逼近终极目标。在此过程中,将短期利益与长远利益相结合,兼顾局部利
益与整体利益,既要积极推进又要确保稳妥,在这些因素的约束下选择相
对合理的实施路线图
数据战略目标:企业数据管理的愿景和目标。
数据治理指标:定义了数据治理目标的衡量方法。
数据治理规则:包括与数据治理相关的政策、标准、合规要求、业
务规则和数据定义等。
数据治理权责:规定了由谁来负责制定数据相关的决策、何时实
施、如何实施,以及组织和个人在数据治理策略中该做什么
数据治理指标:定义了数据治理目标的衡量方法。
数据治理规则:包括与数据治理相关的政策、标准、合规要求、业
务规则和数据定义等。
数据治理权责:规定了由谁来负责制定数据相关的决策、何时实
施、如何实施,以及组织和个人在数据治理策略中该做什么
案例:某外贸企业的数据战略行动计划
数据战略目标:
建立重视数据、促进数据共享的文化,如利用数据指导决策,促
进各部门、各系统间的数据流通等;
保护数据,保护数据完整性,确保流通数据的合规性和真实性,
确保数据存储的安全性等;
探索有效使用数据的方案,增强数据管理和分析能力。
数据治理指标:
建立数据治理制度和考核指标;
识别解决企业核心问题所需的数据资料;
评估数据和相关基础设施的成熟度;
培训以提高员工的数据管理和应用技能;
确定企业优先治理的数据集;
发布和更新数据目录。
数据治理规则:
符合GDPR法规要求;
建立客户、供应商、员工、组织等核心数据的数据标准和质量规
则;
设计核心数据的数据模型;
设计数据架构以及业务流、数据流;
梳理企业数据资源目录,以满足企业内外部的数据共享要求。
数据治理权责:
设立数据标准管理委员会,由其主导数据管理工作;
设立数据治理办公室,由其负责数据管理的标准、制度、流程和
考核;
设立专项数据管理员,由其负责专项数据管理工作;
数据确权,产权方负责提出数据标准和数据应用需求。
数据治理计划:略
建立重视数据、促进数据共享的文化,如利用数据指导决策,促
进各部门、各系统间的数据流通等;
保护数据,保护数据完整性,确保流通数据的合规性和真实性,
确保数据存储的安全性等;
探索有效使用数据的方案,增强数据管理和分析能力。
数据治理指标:
建立数据治理制度和考核指标;
识别解决企业核心问题所需的数据资料;
评估数据和相关基础设施的成熟度;
培训以提高员工的数据管理和应用技能;
确定企业优先治理的数据集;
发布和更新数据目录。
数据治理规则:
符合GDPR法规要求;
建立客户、供应商、员工、组织等核心数据的数据标准和质量规
则;
设计核心数据的数据模型;
设计数据架构以及业务流、数据流;
梳理企业数据资源目录,以满足企业内外部的数据共享要求。
数据治理权责:
设立数据标准管理委员会,由其主导数据管理工作;
设立数据治理办公室,由其负责数据管理的标准、制度、流程和
考核;
设立专项数据管理员,由其负责专项数据管理工作;
数据确权,产权方负责提出数据标准和数据应用需求。
数据治理计划:略
落实保障措施
保障体系
数据治理组织:由参与企业数据治理活动以及与数据利益相关的业
务组、IT团队、数据架构师和DBA等组成,其职责是推动数据战略
的实施。
数据标准规范体系:建立数据标准化的过程,通过统一梳理数据,
识别数据资产,并对数据的分类、编码、属性、业务规则、安全策
略、存储策略、管理要求等内容进行规范化定义,在组织范围内形
成对数据的一致性认知。
数据管理流程:定义数据的创建、变更、使用流程和相关策略。
数据管理制度:定义数据管理归口/主责部门,明确数据管理的角色
分工、岗位职责、操作要求以及相应的考核措施等
务组、IT团队、数据架构师和DBA等组成,其职责是推动数据战略
的实施。
数据标准规范体系:建立数据标准化的过程,通过统一梳理数据,
识别数据资产,并对数据的分类、编码、属性、业务规则、安全策
略、存储策略、管理要求等内容进行规范化定义,在组织范围内形
成对数据的一致性认知。
数据管理流程:定义数据的创建、变更、使用流程和相关策略。
数据管理制度:定义数据管理归口/主责部门,明确数据管理的角色
分工、岗位职责、操作要求以及相应的考核措施等
技术和工具体系
数据战略目标不同,数据治理技术和工具也是不同的。通常来说,数
据治理技术和工具包括元数据管理、主数据管理、数据质量管理、数据安
全管理、数据标准管理、数据集成等
据治理技术和工具包括元数据管理、主数据管理、数据质量管理、数据安
全管理、数据标准管理、数据集成等
战略评估与优化
战略评估是以战略实施过程及其结果为核心,通过对影响并反映战略
管理质量的各要素进行总结和分析,判断战略能否实现预期目标,以便对
数据战略做出优化和调整
管理质量的各要素进行总结和分析,判断战略能否实现预期目标,以便对
数据战略做出优化和调整
1)将数据战略目标关联业务价值,形成可定性和定量评估的衡量指
标;
2)在整个数据战略实施过程中跟踪进度并做好记录,以供审计和评估
使用;
3)由管理层定义和批准数据战略业务案例和投资模型,以确定如何将
数据治理工作落实到位;
4)由企业数据利益相关方直接参与评估指标的创建和验证;
5)将预期结果与实际执行结果进行比较,发现问题和不足;
6)采取必要的纠正措施以保证行动与计划的一致性,从而不断完善和
优化数据战略
标;
2)在整个数据战略实施过程中跟踪进度并做好记录,以供审计和评估
使用;
3)由管理层定义和批准数据战略业务案例和投资模型,以确定如何将
数据治理工作落实到位;
4)由企业数据利益相关方直接参与评估指标的创建和验证;
5)将预期结果与实际执行结果进行比较,发现问题和不足;
6)采取必要的纠正措施以保证行动与计划的一致性,从而不断完善和
优化数据战略
案例:企业数据战略评估业务案例
1. 收益预测
业务量增长假设如图所示。
(1)可量化的收益预测
用户量增加
产品直销销售收入增加
渠道销售收入增加
……
(2)可节约的成本预测
经营成本节省
广告费用节省
渠道费用节省
库存成本节省
运输、包装费用节省
……
(3)不可量化的收益预测
库存周转率提升
应收账款降低
品牌及市场影响力增加
……
2. 投资预测
(1)可量化的投资
软件投资
硬件投资
……
(2)不可量化的投资
……
3. 成本预测
(1)可量化的成本
直接人力成本
……
(2)不可量化的成本
……
4. 风险分析
(1)环境风险(对收益、投资、成本的影响)
合规性风险,不合规造成的罚款和企业名誉损失
个人隐私及数据伦理风险
……
(2)技术风险(对收益、投资、成本的影响)
网络安全风险,如黑客攻击造成的投资、成本的影响
流程自动化风险,如系统宕机、网络问题带来的损失
……
(3)实施风险(对收益、投资、成本的影响)
董事会对数据战略的支持程度
人员的数字化素养
……
业务量增长假设如图所示。
(1)可量化的收益预测
用户量增加
产品直销销售收入增加
渠道销售收入增加
……
(2)可节约的成本预测
经营成本节省
广告费用节省
渠道费用节省
库存成本节省
运输、包装费用节省
……
(3)不可量化的收益预测
库存周转率提升
应收账款降低
品牌及市场影响力增加
……
2. 投资预测
(1)可量化的投资
软件投资
硬件投资
……
(2)不可量化的投资
……
3. 成本预测
(1)可量化的成本
直接人力成本
……
(2)不可量化的成本
……
4. 风险分析
(1)环境风险(对收益、投资、成本的影响)
合规性风险,不合规造成的罚款和企业名誉损失
个人隐私及数据伦理风险
……
(2)技术风险(对收益、投资、成本的影响)
网络安全风险,如黑客攻击造成的投资、成本的影响
流程自动化风险,如系统宕机、网络问题带来的损失
……
(3)实施风险(对收益、投资、成本的影响)
董事会对数据战略的支持程度
人员的数字化素养
……
组织机制:敏捷的治理组织
什么是敏捷的组织
敏捷组织(agile organization)就是能灵敏感
知环境并迅速应对的组织。麦肯锡的一项研究报告形象地把敏捷组织形容
为生物型组织——成长快、非常有活力的组织
知环境并迅速应对的组织。麦肯锡的一项研究报告形象地把敏捷组织形容
为生物型组织——成长快、非常有活力的组织
敏捷组织的组织机
制是扁平化的,由小规模、跨职能的团队组成,团队承担着业务端到端的
责任,能够更快地响应变化。在团队中,各种职能角色有清晰的职责定
位,但为了共同的愿景和目标,往往会自发做出一些跨职能的行为,具有
较强的执行力和行动力
制是扁平化的,由小规模、跨职能的团队组成,团队承担着业务端到端的
责任,能够更快地响应变化。在团队中,各种职能角色有清晰的职责定
位,但为了共同的愿景和目标,往往会自发做出一些跨职能的行为,具有
较强的执行力和行动力
特点
架构灵活
数据驱动
员工能动
领导作用
动态资源
为什么数据治理需要敏捷组织
首先,数据治理是企业的顶层策略,指明了企业的哪些决策需要制
定,由谁来负责。数据治理在组织模式上强调IT部门与业务部门融合,构
成IT部门与业务部门分工明确的项目型组织,解决传统由IT部门驱动的专
项数据管理难以推进、协调困难等问题,从而从根本上解决业务和管理上
用数难的问题。
定,由谁来负责。数据治理在组织模式上强调IT部门与业务部门融合,构
成IT部门与业务部门分工明确的项目型组织,解决传统由IT部门驱动的专
项数据管理难以推进、协调困难等问题,从而从根本上解决业务和管理上
用数难的问题。
其次,企业数据治理本质上关注的既不是治理,也不是数据,而是如
何获得数据中蕴含的商业价值。数据治理的一切活动都是为实现企业的业
务价值服务的,而企业的业务需求是灵活多变的,数据治理组织必须具备
应对业务需求变化的能力。传统的金字塔式的层级组织模式在应对需求变
化的灵活性上显然有很大不足,要实现数据驱动业务、数据驱动管理,就
需要打破层层上报、层层决策的管理模式,形成扁平化的敏捷型组织模
式,将一切聚焦到目标和行动上。
何获得数据中蕴含的商业价值。数据治理的一切活动都是为实现企业的业
务价值服务的,而企业的业务需求是灵活多变的,数据治理组织必须具备
应对业务需求变化的能力。传统的金字塔式的层级组织模式在应对需求变
化的灵活性上显然有很大不足,要实现数据驱动业务、数据驱动管理,就
需要打破层层上报、层层决策的管理模式,形成扁平化的敏捷型组织模
式,将一切聚焦到目标和行动上。
最后,企业数据治理不是靠一个人或一个部门就能够做好的。为达到
支撑企业数字化转型的目的,数据治理需要企业全员参与,建立“数据治
理,人人有责”的企业文化。这种文化的建设依靠的不是上级的权威或命
令,而是员工围绕绩效目标形成的自我驱动、协同协作的模式
支撑企业数字化转型的目的,数据治理需要企业全员参与,建立“数据治
理,人人有责”的企业文化。这种文化的建设依靠的不是上级的权威或命
令,而是员工围绕绩效目标形成的自我驱动、协同协作的模式
如何构架敏捷组织
构建敏捷组织是为了应对瞬息万变的客户需求和市场趋势,敏捷的数
据治理组织机制更加灵活,沟通与协调更加简单,更有利于企业数据战略
的落地
据治理组织机制更加灵活,沟通与协调更加简单,更有利于企业数据战略
的落地
以客户为中心
以客户需求为导向,快速响应客户需求,为
客户交付高质量的产品和服务,从而实现端到端的低成本运作,成就客
户,成就自我。
客户交付高质量的产品和服务,从而实现端到端的低成本运作,成就客
户,成就自我。
以数据驱动
敏捷组织需要有成熟的IT团队来构建和运行先进的平台与系统,从而
以数据为驱动,敏捷响应业务需求。“以数据为驱动”能够让业务人员、管
理者随时随地看到他们所需要的真实数据,并根据数据及时做出决策
以数据为驱动,敏捷响应业务需求。“以数据为驱动”能够让业务人员、管
理者随时随地看到他们所需要的真实数据,并根据数据及时做出决策
案例:某著名车企“一次触达”的营销策略
在传统销售模式中,汽车主机厂与经销商各有侧重:主机厂专注于
品牌与产品,除部分营销活动外,与客户的直接交流有限;经销商(4S
店)承担了日常销售和售后服务管理的职责,是线下最主要的客户触
点。而传统的车辆销售场景不外乎在客户到店后为之提供与车辆销售和
维修相关的服务。
本案例中的车企采用了更加扁平的敏捷组织,执行全渠道数字化营
销策略,通过数据平台实现各渠道数据的全面采集、汇聚和处理。
在4S店中,公司为每一个销售顾问都配置了一台平板电脑,它具备
查看所有车型的信息、即时生成定制化配置视图、预约试驾、了解最新
价格折扣、查看库存等功能,所有信息“一次触达”,为客户提供了极佳
的数字化体验。
通过人脸识别技术,快速识别进店的客户,并将客户信息(如客户
的基本信息、消费偏好等)及时反馈给销售顾问。有了这些数据,销售
顾问就能为客户定制个性化的营销策略,为客户提供更好的服务。在为
车主提供服务的时候,系统提供了维保服务查询和提醒功能,从而驱动
业务员为客户提供更好的增值服务。
品牌与产品,除部分营销活动外,与客户的直接交流有限;经销商(4S
店)承担了日常销售和售后服务管理的职责,是线下最主要的客户触
点。而传统的车辆销售场景不外乎在客户到店后为之提供与车辆销售和
维修相关的服务。
本案例中的车企采用了更加扁平的敏捷组织,执行全渠道数字化营
销策略,通过数据平台实现各渠道数据的全面采集、汇聚和处理。
在4S店中,公司为每一个销售顾问都配置了一台平板电脑,它具备
查看所有车型的信息、即时生成定制化配置视图、预约试驾、了解最新
价格折扣、查看库存等功能,所有信息“一次触达”,为客户提供了极佳
的数字化体验。
通过人脸识别技术,快速识别进店的客户,并将客户信息(如客户
的基本信息、消费偏好等)及时反馈给销售顾问。有了这些数据,销售
顾问就能为客户定制个性化的营销策略,为客户提供更好的服务。在为
车主提供服务的时候,系统提供了维保服务查询和提醒功能,从而驱动
业务员为客户提供更好的增值服务。
重新定义IT
IT部门的处境
第一,在传统观念中,企业的IT部门往往被定位成业务支撑部门,花
钱却不能直接创造利润。在追求利润的企业目标下,花钱的部门总被要求
钱花得越少越好
钱却不能直接创造利润。在追求利润的企业目标下,花钱的部门总被要求
钱花得越少越好
第二,IT人员不懂公司业务,但业务人员却会使用互联网工具。业务
人员会发掘可用到业务中的新IT工具,某种意义上这是在挑战IT部门的权
威,而IT人员满足业务人员对新IT工具的需求的能力远远落后于外部供应
商。
人员会发掘可用到业务中的新IT工具,某种意义上这是在挑战IT部门的权
威,而IT人员满足业务人员对新IT工具的需求的能力远远落后于外部供应
商。
第三,IT部门不受重视,却经常为信息化问题“背锅”。在很多公司中
IT部门往往不受重视,经常被动实现业务需求和IT系统的构建。地位不
高,但责任却一点也不小,系统应用效果不佳,数据存在质量问题,数据
遭到破坏或泄露等,只要出现与信息系统、数据有关的问题,IT部门都会
是第一责任单位和“背锅侠”。
IT部门往往不受重视,经常被动实现业务需求和IT系统的构建。地位不
高,但责任却一点也不小,系统应用效果不佳,数据存在质量问题,数据
遭到破坏或泄露等,只要出现与信息系统、数据有关的问题,IT部门都会
是第一责任单位和“背锅侠”。
IT即业务,IT即管理
两个转变
第一,IT部门需要从传统职能部门转变为赋能平台,将数据化思维、
数据技术传播给企业中的每个人,通过数字化技术为前端多变的业务提供
灵活的支撑;
数据技术传播给企业中的每个人,通过数字化技术为前端多变的业务提供
灵活的支撑;
第二,IT部门需要从传统的保障部门(成本中心)转变为能够为企业
创造价值的能力中心(利润中心)。
创造价值的能力中心(利润中心)。
如何入手
夯实基础支撑平台
在单体应用时
代、信息化时代、数字化时代,同样是运维工作,所需要的业务、技术等
知识是不同的。如果你连本职工作都没做好,就谈为业务赋能,那么你很
难获得业务人员的信任
代、信息化时代、数字化时代,同样是运维工作,所需要的业务、技术等
知识是不同的。如果你连本职工作都没做好,就谈为业务赋能,那么你很
难获得业务人员的信任
技术、业务两手抓,两手都要硬
IT部门完全可以利用自身的优势来保持在企业中的技术地
位,因为IT部门要比外部供应商更了解企业的系统现状、业务现状、数据
现状,更了解企业的痛点。技术上的不足可以联合外部供应商,导入新技
术、新平台来弥补。新的业务需求不一定要完全自己开发,也可以借助外
部供应商的力量
位,因为IT部门要比外部供应商更了解企业的系统现状、业务现状、数据
现状,更了解企业的痛点。技术上的不足可以联合外部供应商,导入新技
术、新平台来弥补。新的业务需求不一定要完全自己开发,也可以借助外
部供应商的力量
IT人员需要走到业务人员中去,去学习企业的业务,理解业务
人员的工作内容和思维模式。
人员的工作内容和思维模式。
打造赋能业务的能力中心
通过建设或引入低代码工具和平台,让业务人员将自己的想法快速变
成一个可以运行的系统,并通过小范围的试用来检验想法的可行性,实现
敏捷迭代。这样既能保证组织的创新能力,也能让业务和IT人员更加理解
彼此的工作。
成一个可以运行的系统,并通过小范围的试用来检验想法的可行性,实现
敏捷迭代。这样既能保证组织的创新能力,也能让业务和IT人员更加理解
彼此的工作。
业务与IT深度融合
业务与IT融合就是让业务人员懂数据和技术,让IT人员懂业务,让企
业骨干人员既懂业务,也懂技术,还懂数据。当然,这是不能一蹴而就
的,要一步步来,让企业人员逐步建立数据思维,提升数据管理和应用的
能力
业骨干人员既懂业务,也懂技术,还懂数据。当然,这是不能一蹴而就
的,要一步步来,让企业人员逐步建立数据思维,提升数据管理和应用的
能力
建立业务与IT连接的桥梁
一个促成业务与IT融合的有效方式是在业务部门设立一个数据岗位,
这个岗位需要对业务、技术、数据都有一定的了解,并具备一定的数据敏
感性,能够将业务语言翻译成IT人员能够听懂的数据语言。这个岗位的职
责不是业务,也不是数据,更不是技术,而是桥梁——连接业务和IT的桥
梁
这个岗位需要对业务、技术、数据都有一定的了解,并具备一定的数据敏
感性,能够将业务语言翻译成IT人员能够听懂的数据语言。这个岗位的职
责不是业务,也不是数据,更不是技术,而是桥梁——连接业务和IT的桥
梁
培养复合型人才
敏捷组织中需要培养和引入既懂技术,又懂业务,还懂数据的复合型
人才,才能满足企业数据战略落地所需
人才,才能满足企业数据战略落地所需
懂业务:熟悉企业的业务流程和业务规则,清楚企业数字化的业务
需求,能够站在企业整体层面提出业务需求和痛点问题。
懂数据:不仅要熟悉企业的基础数据和业务数据,还要对数据如何
支撑业务、反哺业务有着清晰的认识,对“分析什么”“如何分析”“如
何使用”“如何管理”这4个数据问题有明确的答案。
懂技术:掌握数据分析软件的使用,熟悉统计学、大数据、机器学
习、人工智能等数据分析和挖掘相关的技术与工具,掌握数据分析
模型的设计和开发技术,能够主动利用数据产生的洞察指导业务的
开展和管理的决策。
需求,能够站在企业整体层面提出业务需求和痛点问题。
懂数据:不仅要熟悉企业的基础数据和业务数据,还要对数据如何
支撑业务、反哺业务有着清晰的认识,对“分析什么”“如何分析”“如
何使用”“如何管理”这4个数据问题有明确的答案。
懂技术:掌握数据分析软件的使用,熟悉统计学、大数据、机器学
习、人工智能等数据分析和挖掘相关的技术与工具,掌握数据分析
模型的设计和开发技术,能够主动利用数据产生的洞察指导业务的
开展和管理的决策。
数据文化:数据思维融入企业文化
数字转型,文化先行
缺乏数据思维和数据文化土壤的主要表现
领导层觉得他们在推行数字化,但是员工并不认为他们的企业文化
是“数字化”的;
中层领导认为他们的权力不够,推行不了企业的组织转型;
员工不知道企业的数据战略是什么,也没有人跟他们沟通数据治理
的战略愿景
是“数字化”的;
中层领导认为他们的权力不够,推行不了企业的组织转型;
员工不知道企业的数据战略是什么,也没有人跟他们沟通数据治理
的战略愿景
数据文化从建立数据思维开始
在企业中,决策人员缺乏数据思维,就很难从战略的高度进行数字化
部署;管理人员缺乏数据思维,就很难建立起“用数据思考,用数据说话,
用数据管理”的数据文化;业务人员缺乏数据思维,就很难将错综复杂的业
务问题转换为技术人员擅长的数据应用问题;技术人员缺乏数据思维,就
无法正确理解业务需求,无法设计出满足业务需要的数据产品
部署;管理人员缺乏数据思维,就很难建立起“用数据思考,用数据说话,
用数据管理”的数据文化;业务人员缺乏数据思维,就很难将错综复杂的业
务问题转换为技术人员擅长的数据应用问题;技术人员缺乏数据思维,就
无法正确理解业务需求,无法设计出满足业务需要的数据产品
什么是数据思维
用数据思考就是要实事求是,坚持以数据为基础进行理性思考,避免
情绪化、主观化,避免负面思维、以偏概全、单一视角、情急生乱
情绪化、主观化,避免负面思维、以偏概全、单一视角、情急生乱
用数据说话就是要杜绝“大概”“也许”“可能”“差不多”之类的词,而是
要以数据为依据,进行合乎逻辑的推论
要以数据为依据,进行合乎逻辑的推论
用数据决策就是要以事实为基础,以数据为依据,通过数据的关联分
析、预测分析和事实推理得出结论,避免凭直觉做决策,做出情绪化的决
策。
析、预测分析和事实推理得出结论,避免凭直觉做决策,做出情绪化的决
策。
数据思维3个特点
抓重点,善于简化
就是聚焦核心问题,从结果或最终目标出发,收集信息,
评估情况,寻找多种视角,找到高效解决方案
评估情况,寻找多种视角,找到高效解决方案
求精确,注重量化
数据思维是求精确、注重量化的,强调具体和准确,强调能力聚焦、
问题聚焦,在一个个具体的点上解决问题。“大数据,小应用”说的就是这
个道理。只有将大数据聚焦到具体的问题、具体的应用场景上,才能发挥
出其真正的价值
问题聚焦,在一个个具体的点上解决问题。“大数据,小应用”说的就是这
个道理。只有将大数据聚焦到具体的问题、具体的应用场景上,才能发挥
出其真正的价值
知不知,追求真理
数据不是万能的,世界万物的关系复杂,
而简化可能带来误差;数据都是历史数据,万物却是动态变化的,现有的
知识也有真伪之分,拥有数据思维的人能够去伪存真,做数据真正的主
人,而非数据的奴隶
而简化可能带来误差;数据都是历史数据,万物却是动态变化的,现有的
知识也有真伪之分,拥有数据思维的人能够去伪存真,做数据真正的主
人,而非数据的奴隶
如何建立数据思维
自上而下的推动
高层领导首先需要建立数据思维。在研讨目标、商议工作、布置任务
的时候,都要用数据说话,用数据决策,用数据指导行动。在开会的时
候,要通过数据看问题,通过数据听汇报,通过数据定目标
的时候,都要用数据说话,用数据决策,用数据指导行动。在开会的时
候,要通过数据看问题,通过数据听汇报,通过数据定目标
营造数据驱动的文化氛围
“数据驱动”是近年来IT、互联网领域使用频率很高的一个词。它是指
通过数据采集和数据处理,将数据组织成信息流,并在做业务和管理决策
或者进行产品、运营方案优化时,根据不同需求对信息流进行提炼与总
结,从而帮助管理者做出科学决策,指导业务人员具体执行
通过数据采集和数据处理,将数据组织成信息流,并在做业务和管理决策
或者进行产品、运营方案优化时,根据不同需求对信息流进行提炼与总
结,从而帮助管理者做出科学决策,指导业务人员具体执行
数据驱动可以从以下3个方面入手
持续产生数据是数据驱动的前提
“让数据用起来”是数据驱动的核心
数据思维内化于心是“数据驱动”的基础
建立循序渐进的培训机制
数据战略培训
宣贯数据战略的使命、愿景、目标和计划,普及数据战略
的必要性、重要性,以及数据战略实施对企业和个人的要求
的必要性、重要性,以及数据战略实施对企业和个人的要求
数据标准培训
让员工
对企业的数据标准、数据管理流程和制度达成一致
对企业的数据标准、数据管理流程和制度达成一致
数据工具培训
说明工具的
使用方法,帮助员工学会使用数据工具
使用方法,帮助员工学会使用数据工具
培训过程控制
在培训前,应做好培训规划,包括培训计划、培训目标、培训内容、
参与人等。如有必要,将培训的动机和计划提前告知参与人
参与人等。如有必要,将培训的动机和计划提前告知参与人
在培训中,高层领导最好出席并强调相关内容,以传达变革的决心。
每个层级必须给下一层级做培训,并由相关部门进行跟踪检查,为每次培
训打分
每个层级必须给下一层级做培训,并由相关部门进行跟踪检查,为每次培
训打分
在培训后,可要求每个参与培训的员工填写反馈问卷,必要时可进行
培训效果测试
培训效果测试
从实践中求真知
要想建立数据思维,必须通过大量的实践,从实践中学会使用数据思
考的框架
考的框架
培养数据文化的3个方法
打破数据孤岛,实现共享数据
技术屏障
数据成为企业的重要生产要素,那些曾经推动了企业
业务和管理进步的信息系统反而成为企业业务协同和团队协作的瓶颈
业务和管理进步的信息系统反而成为企业业务协同和团队协作的瓶颈
部门墙
数据驱动的企业需要信赖可信的数据。实际上,每个人要想顺利完成
工作都离不开他人的帮助。
工作都离不开他人的帮助。
建立制度体系,固化数据文化
数据文化需要相适应的管理制度来进行固化,数据文化与管理制度之
间是互动、互补的关系。数据文化是管理制度形成和创新的依据,而管理
制度又要反映数据文化的要求;管理制度强化数据文化,即管理制度是数
据文化的载体,管理制度是对数据文化的巩固与发展,又具有强化作用
间是互动、互补的关系。数据文化是管理制度形成和创新的依据,而管理
制度又要反映数据文化的要求;管理制度强化数据文化,即管理制度是数
据文化的载体,管理制度是对数据文化的巩固与发展,又具有强化作用
第一,对数据文化宣贯情况进行考核,从本企业的实际出发,结合国
内外标杆企业的文化评价体系和建设经验,提出符合企业特色的数据文化
评价体系
内外标杆企业的文化评价体系和建设经验,提出符合企业特色的数据文化
评价体系
第二,将数据文化内容纳入绩效考核和员工招聘中
第三,将数据文化理念运用到企业的各项工作中,即以数据为驱动来
开展各种业务活动,指导管理和决策
开展各种业务活动,指导管理和决策
推行数据治理,增强数据文化
数据治理是企业数字化转型的必经之路。良好的数据治理同时涉及组
织与人员、制度与流程、技术与工具,既是数据文化的驱动力,也是数据
文化的理想结果
织与人员、制度与流程、技术与工具,既是数据文化的驱动力,也是数据
文化的理想结果
体现在5个方面
数据安全
通过建立数据安全问责机制,明确分割
责任和数据访问权,让适当的人在适当的时间获得适当的数据,这既是数
据治理的重要目标,也是数据文化的理想结果
责任和数据访问权,让适当的人在适当的时间获得适当的数据,这既是数
据治理的重要目标,也是数据文化的理想结果
数据质量
高质量的
数据是产生洞见的前提,数据治理的直接目的就是提升数据质量,让数据
变得更有价值
数据是产生洞见的前提,数据治理的直接目的就是提升数据质量,让数据
变得更有价值
数据治理组织与人员
建立数据治理的组织机构,明确数据治理的岗位职责,普及数据治理
的知识和方法,让人们认识到数据的重要性,并在工作中建立以数据为基
础的协助模式,促进数据文化的形成
的知识和方法,让人们认识到数据的重要性,并在工作中建立以数据为基
础的协助模式,促进数据文化的形成
数据治理制度与流程
建立有效的数据治理制度和流程,对数据的生产、采集、处理、加
工、分析、应用等环节的操作进行约束和规范,以输出高质量数据并保障
数据安全合规使用。
工、分析、应用等环节的操作进行约束和规范,以输出高质量数据并保障
数据安全合规使用。
数据治理技术与工具
通过借助大数据、云搜
索、微服务等先进技术,搭建企业数据治理技术体系,推动企业数据资产
管理规范和创新,丰富数据应用工具,提升数据应用价值,解决企业数据
资产查找难、应用难、管理难等问题,实现企业数据价值挖掘及数据资产
的变现和升值
索、微服务等先进技术,搭建企业数据治理技术体系,推动企业数据资产
管理规范和创新,丰富数据应用工具,提升数据应用价值,解决企业数据
资产查找难、应用难、管理难等问题,实现企业数据价值挖掘及数据资产
的变现和升值
数据治理之法
理现状,定目标
现状调研
现状调研主要采用信息化摸底、业务部门调研、高层领导访谈等形
式,充分了解企业的数据管理现状和亟待解决的业务问题,获取客户对数
据治理的具体需求及期望,进而明确数据治理的目标
式,充分了解企业的数据管理现状和亟待解决的业务问题,获取客户对数
据治理的具体需求及期望,进而明确数据治理的目标
信息化摸底
信息化摸底是通过对企业信息化建设情况进行摸底,厘清企业的信息
化现状,从IT视角观察和理解企业数据管理的痛点和需求
化现状,从IT视角观察和理解企业数据管理的痛点和需求
调研对象:企业IT部门和数据部门
调研方法:问卷调查、现场访谈
调研内容:企业的信息化摸底,调研的内容包括但不限于以下几个方
面。
系统的建设情况:厘清运行中、在建中、待建中的信息系统有哪
些,绘制成企业信息化的整体框架图。
系统的基本情况:系统架构、自建/外购、开发语言、数据库、系统
厂商、使用范围、归口管理部门、管理人员等。
系统的功能情况:系统包含的功能模块有哪些数据,有哪些数据质
量问题,数据安全是否可控等。
系统的集成情况:是否与其他系统有数据接口,有哪些接口,对接
了哪些数据
面。
系统的建设情况:厘清运行中、在建中、待建中的信息系统有哪
些,绘制成企业信息化的整体框架图。
系统的基本情况:系统架构、自建/外购、开发语言、数据库、系统
厂商、使用范围、归口管理部门、管理人员等。
系统的功能情况:系统包含的功能模块有哪些数据,有哪些数据质
量问题,数据安全是否可控等。
系统的集成情况:是否与其他系统有数据接口,有哪些接口,对接
了哪些数据
业务部门调研
业务部门调研是根据数据治理所涉及的实施范围,针对各业务部门开
展的调研活动,目的是厘清各业务部门的数据管理存在的问题、核心需求
等,从业务视角理解企业数据管理的痛点和需求
展的调研活动,目的是厘清各业务部门的数据管理存在的问题、核心需求
等,从业务视角理解企业数据管理的痛点和需求
调研对象:数据治理范围所涉及的各业务部门
调研方法:问卷调查、现场访谈
调研内容:从业务部门的组织机构入手,按照业务部门的职能划分,
明确每个职能所涉及的业务流程、关键数据、支持系统等。以人力资源域
为例,调研内容见表
明确每个职能所涉及的业务流程、关键数据、支持系统等。以人力资源域
为例,调研内容见表
重点梳理业
务域的业务需求、数据管理及应用需求等,包含但不限于以下几个方面
务域的业务需求、数据管理及应用需求等,包含但不限于以下几个方面
业务需求:描述业务目标和业务痛点,例如降低成本、提升效率。
数据管理需求:描述业务目标对数据标准、数据质量、数据安全等
的需求,例如通过统一数据标准提升业务部门之间的沟通效率。
数据集成需求:描述业务目标对数据及数据集成的需求,例如某业
务数据的共享。
数据应用需求:描述业务目标对数据应用或数据产品的需求,例如
基于数据分析和挖掘提升业务的洞察力。
数据分析需求:描述业务目标对数据分析与挖掘、数据可视化等的
需求,例如领导驾驶舱、业务看板、数字化大屏。
数据管理需求:描述业务目标对数据标准、数据质量、数据安全等
的需求,例如通过统一数据标准提升业务部门之间的沟通效率。
数据集成需求:描述业务目标对数据及数据集成的需求,例如某业
务数据的共享。
数据应用需求:描述业务目标对数据应用或数据产品的需求,例如
基于数据分析和挖掘提升业务的洞察力。
数据分析需求:描述业务目标对数据分析与挖掘、数据可视化等的
需求,例如领导驾驶舱、业务看板、数字化大屏。
高层领导调研
高层领导调研即针对企业高级管理人员的数据治理需求调研。高层领
导调研有助于深刻理解企业的业务战略、数据思维和认知、对数据治理的
重视程度,掌握企业主要领导的数据治理思路、目标、方向、期望和要
求
导调研有助于深刻理解企业的业务战略、数据思维和认知、对数据治理的
重视程度,掌握企业主要领导的数据治理思路、目标、方向、期望和要
求
调研对象:企业的高级管理人员,不限于CEO、CFO、CIO和CDO
调研方法:问卷调查、现场访谈
调研内容:高层领导调研需要聚焦于企业发展和数字化目标,可以从
以下4个方面入手
以下4个方面入手
对企业业务战略的理解,如企业的经营目标、经营状态、业务布
局、业务发展的机遇和挑战等
局、业务发展的机遇和挑战等
对企业所处行业的理解,如企业所处行业的内外部环境、竞争态
势,以及可以学习和借鉴的行业标杆企业等
势,以及可以学习和借鉴的行业标杆企业等
对信息化、数字化的理解,如企业在信息化、数字化方面的投资情
况,信息化的成效,亟待改进的问题等
况,信息化的成效,亟待改进的问题等
对企业数据治理的理解,如数据对企业的重要性、数据治理在业务
发展中发挥的作用、数据治理的内涵、当前在企业数据管理和使用
上存在的问题和不足、对数据治理实施的期望等
发展中发挥的作用、数据治理的内涵、当前在企业数据管理和使用
上存在的问题和不足、对数据治理实施的期望等
现状评估
数据思维和认知现状
缺乏数据思维
数据思维与信息化意识略有不同,具备信息化意识的管理者未必具备
数据思维,数据思维是“抓重点,善于简化;求精确,注重量化;知不知,
追求真理”的思维模式,是运用数据理性地分析和处理事物。很多管理者惯
于依靠自身经验或根据某件事情的规律来判断和解读事物,而不是用数据
说话,用数据管理,用数据决策
数据思维,数据思维是“抓重点,善于简化;求精确,注重量化;知不知,
追求真理”的思维模式,是运用数据理性地分析和处理事物。很多管理者惯
于依靠自身经验或根据某件事情的规律来判断和解读事物,而不是用数据
说话,用数据管理,用数据决策
原因有二:一是没有意识到数据思维的
重要性;二是有意忽略数据思维,即便个人判断可能出错,也要维护自己
的权威性。这些都会造成数据的重要性被弱化,数据架构出现断层
重要性;二是有意忽略数据思维,即便个人判断可能出错,也要维护自己
的权威性。这些都会造成数据的重要性被弱化,数据架构出现断层
盲目跟风
数据领域的新概念层出不穷,如数据仓库、大数据、数据可视化、数
据挖掘、领导驾驶舱、人工智能、数据湖、数据中台等,这些新概念为行
业带来了活力,加速了人们对数据重要性的认知,但也给企业带来了困
惑。新概念还没来得及消化,更新的概念就又出来了。再加上一些商家的
不断炒作和过度宣传,给整个行业带来了一定的误导,甚至有的企业还没
搞清楚概念就盲目跟风了。于是,就出现了争先恐后上“数据中台”,稀里
糊涂搞“数据治理”的现象
据挖掘、领导驾驶舱、人工智能、数据湖、数据中台等,这些新概念为行
业带来了活力,加速了人们对数据重要性的认知,但也给企业带来了困
惑。新概念还没来得及消化,更新的概念就又出来了。再加上一些商家的
不断炒作和过度宣传,给整个行业带来了一定的误导,甚至有的企业还没
搞清楚概念就盲目跟风了。于是,就出现了争先恐后上“数据中台”,稀里
糊涂搞“数据治理”的现象
IT系用现状
系统架构。列出每个IT系统的技术架构,如开发语言、数据库、C/S
或B/S,单体架构、SOA架构或微服务架构,依赖的中间件等
或B/S,单体架构、SOA架构或微服务架构,依赖的中间件等
系统集成。列出每个系统的接口现状,包括是否存在外部接口、有
哪些接口、有哪些接口方式等,并说明系统集成的问题,如数据库
点对点集成、接口数据丢失等
哪些接口、有哪些接口方式等,并说明系统集成的问题,如数据库
点对点集成、接口数据丢失等
系统使用。列出每个系统的使用单位、部门、主要用户,并说明系
统使用过程中经常存在的问题
统使用过程中经常存在的问题
系统数据。列出每个系统包含的关键数据,并说明这些关键数据在
使用和管理过程中存在的核心问题,例如数据孤岛问题、数据质量
问题、数据安全问题等
使用和管理过程中存在的核心问题,例如数据孤岛问题、数据质量
问题、数据安全问题等
数据分布现状
数据域划分。数据是从业务中产生的,可以根据企业的业务域划分
数据域。这里根据业务域所处企业管理的层级,将企业的数据域分为战略
层、经营层、支撑层三个层次
数据域。这里根据业务域所处企业管理的层级,将企业的数据域分为战略
层、经营层、支撑层三个层次
数据资源归类。根据信息化及业务部门调研结果,将梳理出的数据
资源归类到对应的数据域中,形成数据资源分布图
资源归类到对应的数据域中,形成数据资源分布图
数据管理现状
数据管理评估的维度
数据定义是否清晰
数据模型是否完整
数据是否在多个系统共享
确权认责是否明确
数据标准是否健全
数据管理的流程是否已建立
数据管理的制度是否已建立
数据质量是否满足
数据是否实现了集成或共享
数据安全是否受控
数据模型是否完整
数据是否在多个系统共享
确权认责是否明确
数据标准是否健全
数据管理的流程是否已建立
数据管理的制度是否已建立
数据质量是否满足
数据是否实现了集成或共享
数据安全是否受控
人力资源业务域数据管理现状示例
数据管理现状分析
组织方面:企业是否拥有专业的数据治理组织,是否明确了岗位职
责和分工,是否明确指定了数据管理的角色和权责
责和分工,是否明确指定了数据管理的角色和权责
人员方面:厘清企业数据人才的配置情况,包括数据标准化人员、
数据建模人员、数据分析人员、数据开发人员等,以及这些数据人
才的占比。另外,除了专业的数据人员,是否明确了业务人员在数
据治理中应发挥的作用,以确保业务人员和数据人员在项目实施过
程中紧密协作
数据建模人员、数据分析人员、数据开发人员等,以及这些数据人
才的占比。另外,除了专业的数据人员,是否明确了业务人员在数
据治理中应发挥的作用,以确保业务人员和数据人员在项目实施过
程中紧密协作
制度和流程方面:企业数据治理是否有明确的主责部门,在数据的
新增、变更、流转、处理、使用、销毁的全生命周期中是否有相应
的管理流程和管理制度保障
新增、变更、流转、处理、使用、销毁的全生命周期中是否有相应
的管理流程和管理制度保障
技术平台和工具方面:在管理数据标准、数据质量、元数据方面,
是否有专业的技术平台和工具,以及这些技术平台和工具在企业数
据管理中起到的作用、存在的问题和改进的方向
是否有专业的技术平台和工具,以及这些技术平台和工具在企业数
据管理中起到的作用、存在的问题和改进的方向
应用方面:在数据分析、数据挖掘、数据报表等方面的应用情况和
存在的问题。例如:数据的准确性无法识别,数据分析展示的信息
不准,分析结果与实际偏差较大
存在的问题。例如:数据的准确性无法识别,数据分析展示的信息
不准,分析结果与实际偏差较大
资金方面:企业的数据治理投入情况。要说明的是,数据治理是一
项周期长、投入大的工程,需要长时间投入资金来运维。在实施过
程中,经常会出现企业对项目的建设不够重视,不肯投入足够多的
资金,或者选择较为便宜的工具进行构建,最终导致项目烂尾
项周期长、投入大的工程,需要长时间投入资金来运维。在实施过
程中,经常会出现企业对项目的建设不够重视,不肯投入足够多的
资金,或者选择较为便宜的工具进行构建,最终导致项目烂尾
数据质量现状
企业数据质量不高表现为多种形式
缺乏统一的数据标准,同一数据在各系统中有着不同的定义,容易
给业务分析带来歧义
给业务分析带来歧义
缺乏规范的数据标准定义流程,单个业务部门也无力推动系统间数
据不一致问题的解决
据不一致问题的解决
企业对数据质量不够重视,业务操作没有标准和约束,录入随意,
导致基础数据质量差
导致基础数据质量差
缺乏有效的管理工具,杂乱无序的数据存储于企业内外部的各个业
务应用系统中,系统之间的数据无法互联互通,形成大量信息孤
岛
务应用系统中,系统之间的数据无法互联互通,形成大量信息孤
岛
业务系统数据普遍存在数据不完整、不准确、不真实、不及时,以
及数据关系混乱等问题
及数据关系混乱等问题
数据质量问题会对企业的业务和管理产生较大影响
没有统一的数据标准,大量同名不同义、同义不同名的数据对业务
部门之间的沟通造成了很大困扰,增加了业务人员的沟通成本
部门之间的沟通造成了很大困扰,增加了业务人员的沟通成本
业务系统中的主数据不一致,导致系统之间的数据无法打通,应用
集成无法开展,数据分析缺乏统一的口径和维度
集成无法开展,数据分析缺乏统一的口径和维度
业务数据不准确,影响数据分析,分析结果不仅无法支持决策,还
可能带来误导
可能带来误导
确定目标
通过需求调研、现状评估,建立对企业数据治理的现状的清晰认知,
为制定合理的数据治理目标奠定基础
为制定合理的数据治理目标奠定基础
1)企业战略理解。通过高层调研、业务调研获得,明确企业的战略方
向。
向。
2)业务需求分析。通过业务调研和现状评估获得,明确数据能够影响
的业务目标。
的业务目标。
3)IT需求分析。通过信息化摸底和现状评估获得,明确数据管理存在
的问题、改进的方向,并对能够满足业务需求的数据管理技术组件进行标
识
的问题、改进的方向,并对能够满足业务需求的数据管理技术组件进行标
识
4)综合企业的业务目标、数据管理目标,以确定企业的数据治理目
标。要强调的是,数据治理本身不是目的,它只是企业实现业务目标的一
个手段
标。要强调的是,数据治理本身不是目的,它只是企业实现业务目标的一
个手段
示例:某银行数据治理项目
治理目标:
1)制定数据治理政策,引入国家数据标准,保障数据安全,满足监
管要求,提高风险管理能力;
2)保障数据安全,保护数据完整性,确保流通数据的合规性和真实
性,确保数据存储的安全性,保护个人隐私数据;
3)探索有效使用数据的方案,增强在数字化营销、金融风控方面的
业务能力。
1)制定数据治理政策,引入国家数据标准,保障数据安全,满足监
管要求,提高风险管理能力;
2)保障数据安全,保护数据完整性,确保流通数据的合规性和真实
性,确保数据存储的安全性,保护个人隐私数据;
3)探索有效使用数据的方案,增强在数字化营销、金融风控方面的
业务能力。
数据治理能力成熟度评估
模型
DMM
简介
DMM(Data Management Maturity,数据管理成熟度)模型是一个独
特的数据管理学科综合参考模型,由卡耐基·梅隆大学旗下机构CMMI研究
所以CMMI(能力成熟度模型集成)的各项原则为基础开发
特的数据管理学科综合参考模型,由卡耐基·梅隆大学旗下机构CMMI研究
所以CMMI(能力成熟度模型集成)的各项原则为基础开发
DMM模型为企业提供了一个建立、改进和衡量其数据管理能力的标
准,帮助企业制定数据治理改进方案和实施路线图
准,帮助企业制定数据治理改进方案和实施路线图
DMM模型由25个过程域组成,其中包括20个数据管理过程域和5个支
持过程域。按照不同的数据管控维度,这25个过程域分布在数据战略、数
据治理、数据质量、数据运营、平台与架构、支撑流程6个分类中,如图
持过程域。按照不同的数据管控维度,这25个过程域分布在数据战略、数
据治理、数据质量、数据运营、平台与架构、支撑流程6个分类中,如图
DMM数据管理能力成熟度
DMM数据管理能力成熟度定义
DMM模型使用
DMM数据管理能力成熟度评估工具
DCMM
DCMM数据管理能力成熟度
DCMM模型评估工具
开展DCMM评估
启动阶段
建立评估工作小组
A公司高层对DCMM评估高度重视,公司CEO、CIO等数字化转型小
组的高层领导亲自主导,抽调了公司内部IT域、各业务域若干骨干,并聘
请了外部评估专家,组成评估工作小组,开展DCMM评估工作
组的高层领导亲自主导,抽调了公司内部IT域、各业务域若干骨干,并聘
请了外部评估专家,组成评估工作小组,开展DCMM评估工作
制定评估计划
结合A公司的评估的范围,制定了评估工作的时间计划,明确了各项
工作的评估时间、负责人等。该计划经过评估决策组的审核后正式执行
工作的评估时间、负责人等。该计划经过评估决策组的审核后正式执行
召开项目启动会
A公司的DCMM评估启动会议由CIO主持,CEO亲自宣讲企业数字化
战略及DCMM评估的重要性,并对DCMM评估作出了重要指示。通过启动
会的召开,与会人员对DCMM评估的目的、意义、主要工作范围和时间计
划都有了一个清晰的认知,为评估工作的开展打下了基础
战略及DCMM评估的重要性,并对DCMM评估作出了重要指示。通过启动
会的召开,与会人员对DCMM评估的目的、意义、主要工作范围和时间计
划都有了一个清晰的认知,为评估工作的开展打下了基础
宣贯阶段
DCMM宣贯
评估小组根据A公司的需求制定了DCMM培训计划,明确了培训对
象、培训内容、培训时间、培训地点、培训目标等
象、培训内容、培训时间、培训地点、培训目标等
资料收集及分析
在评估小组牵头,各业务部门的配合下,A公司收集了各业务部门与
数据管理活动相关的过程记录、统计报表、规章制度、管理流程等资料。
收集和分析资料是开展自评估的前提条件,特别是业务过程中的记录文
件,这些文件能够表明与数据管理相关的制度、规范是否得到了良好的执
行。
数据管理活动相关的过程记录、统计报表、规章制度、管理流程等资料。
收集和分析资料是开展自评估的前提条件,特别是业务过程中的记录文
件,这些文件能够表明与数据管理相关的制度、规范是否得到了良好的执
行。
企业自评估
基于设计好的工具和问卷,由A公司评估人员根据自己的理解进行评
估,评估过程中专家团队提供远程指导和服务:
根据自评表格了解自身情况;
收集、整理数据能力成熟度评估资料;
对成熟度评估的各项指标打分。
估,评估过程中专家团队提供远程指导和服务:
根据自评表格了解自身情况;
收集、整理数据能力成熟度评估资料;
对成熟度评估的各项指标打分。
评估阶段
现场分析
乙方评估人员结合前期对企业资料的解读、自评情况的分析,在A公
司评估人员的配合下,对DCMM涉及的各个方面进行现场分析,过程中需
要A公司团队对关键工作过程进行展示,并调取相关资料进行佐证
司评估人员的配合下,对DCMM涉及的各个方面进行现场分析,过程中需
要A公司团队对关键工作过程进行展示,并调取相关资料进行佐证
面对面访谈
通过前期的沟通和了解,基本掌握了企业数据管理的状况,同时根据
企业数据管理的重点进行针对性的面对面访谈,了解企业数据管理的关键
问题及关键诉求
企业数据管理的重点进行针对性的面对面访谈,了解企业数据管理的关键
问题及关键诉求
各主题域成熟度评估
根据DCMM的指标体系,对各主题域的成熟度进行评分,并根据评分
结果确定企业在该主题域的成熟度等级
结果确定企业在该主题域的成熟度等级
报告阶段
评估报告输出
根据企业各主题域及整体的数据能力成熟度评估报告,提出整体的数
据管理成熟度方面的关键发现及改进建议,并结合企业数据管理发展的需
求和业界数据管理的最佳实践,提出有针对性的数据治理改进路线图,
据管理成熟度方面的关键发现及改进建议,并结合企业数据管理发展的需
求和业界数据管理的最佳实践,提出有针对性的数据治理改进路线图,
专家评审
由数据治理相关的专家对评估团队的评估过程、评估结果、分析报告
等进行评审,验证过程的合规性、结果的合理性
等进行评审,验证过程的合规性、结果的合理性
数据治理路线图规划
概述
什么是数据治理路线图
数据治理路线图是对企业数据治理的战略要素、发展方向、建设顺
序、实施路径的综合表达,可以指明企业数据治理的方向和路径。它以时
间为轴,确定随时间向前推移的各个节点,并采取量化的方式明确每个节
点的目标、建设内容,为数据治理的实施和操作提供较为具体的参照和依
据
序、实施路径的综合表达,可以指明企业数据治理的方向和路径。它以时
间为轴,确定随时间向前推移的各个节点,并采取量化的方式明确每个节
点的目标、建设内容,为数据治理的实施和操作提供较为具体的参照和依
据
数据治理路线图的5个要素
数据治理的目标任务:基于对企业数据管理现状和支撑条件的可行
性分析,确定数据治理的目标和建设任务
性分析,确定数据治理的目标和建设任务
数据治理的需求分析:针对企业数据治理现状与规划目标之间的差
距,找出薄弱环节,对数据治理的建设提出具体需求和量化指标
距,找出薄弱环节,对数据治理的建设提出具体需求和量化指标
数据治理的技术路径:依据技术发展趋势和经费保障条件,选择可
行的技术和技术体制,确定正确的建设方向
行的技术和技术体制,确定正确的建设方向
数据治理的建设步骤:根据企业数据治理的目标,基于“总体规划,
分步实施”的原则,采取工程化建设思路,明确数据治理的顺序、建
设重点和时间节点
分步实施”的原则,采取工程化建设思路,明确数据治理的顺序、建
设重点和时间节点
数据治理的实施保障:把握影响企业数据治理的相关要素,创造有
利于实现路线图构想的必要条件和良好环境
利于实现路线图构想的必要条件和良好环境
明确目标,量化指标
大处着眼,小处入手
“大处着眼”是从战略层面推进数据治理项目,“小处入手”是从操作层
面启动数据治理项目,该原则是企业实施数据治理的最佳方式。数据治理
项目的目标必须贴近企业的整体业务目标,要将数据视为一种战略资产,
构建统一的数据架构和管控体系以满足企业经营和管理的整体要求,并制
定路线图,分步实现企业的整体战略目标
面启动数据治理项目,该原则是企业实施数据治理的最佳方式。数据治理
项目的目标必须贴近企业的整体业务目标,要将数据视为一种战略资产,
构建统一的数据架构和管控体系以满足企业经营和管理的整体要求,并制
定路线图,分步实现企业的整体战略目标
例如:某大型超市推行数据驱动的数字化转型策略,将数据治理定位
为数字化转型的第一步,构建企业的数据资源池,其中包括用户信息及消
费行为数据、商品数据、场景数据、消费数据等。它这样做的目的不是达
成单笔交易,而是让企业长期拥有对一群价值用户的运营和变现能力。通
过数据治理实现对人(ID)、货(SKU)、场(P)三者的数字化重构,
建立“人、货、场”三者之间的连接关系,为后续数据分析挖掘提供支撑,
以实现数据驱动的营销市场客户细分、会员全渠道精准营销、媒体广告精
准投放的目标
为数字化转型的第一步,构建企业的数据资源池,其中包括用户信息及消
费行为数据、商品数据、场景数据、消费数据等。它这样做的目的不是达
成单笔交易,而是让企业长期拥有对一群价值用户的运营和变现能力。通
过数据治理实现对人(ID)、货(SKU)、场(P)三者的数字化重构,
建立“人、货、场”三者之间的连接关系,为后续数据分析挖掘提供支撑,
以实现数据驱动的营销市场客户细分、会员全渠道精准营销、媒体广告精
准投放的目标
量化数据治理指标
建议选取当前业务部门的强烈数据需求和数据质量痛点为着力
点,倒推出其数据来源问题进行重点整治,在该类数据治理得到价值体现
后,再总结治理经验,逐步开展其他类型的数据治理
点,倒推出其数据来源问题进行重点整治,在该类数据治理得到价值体现
后,再总结治理经验,逐步开展其他类型的数据治理
组织人员。企业是否缺乏数据治理的组织?需要建一个什么样的组
织,虚拟组织还是实体组织?需要设置哪些岗位,这些岗位的职责
如何确定?需要获得哪些人员的支持,如何让他们在数据治理过程
中发挥作用?
织,虚拟组织还是实体组织?需要设置哪些岗位,这些岗位的职责
如何确定?需要获得哪些人员的支持,如何让他们在数据治理过程
中发挥作用?
数据架构。实现业务目标会涉及哪些数据模型?这些数据模型的结
构是什么?关系是什么?它们的业务定义是否一致?数据模型的稳
定性、普适性、扩展性如何?
构是什么?关系是什么?它们的业务定义是否一致?数据模型的稳
定性、普适性、扩展性如何?
数据标准。企业已有的数据标准是否齐全?数据标准的执行情况如
何?还缺少哪些数据标准?是否建立了与数据标准相匹配的元数据
标准、数据集成共享标准、数据传输协议、数据质量标准等?
何?还缺少哪些数据标准?是否建立了与数据标准相匹配的元数据
标准、数据集成共享标准、数据传输协议、数据质量标准等?
主数据管理。在客户、供应商、产品、渠道等主数据中,哪些应纳
入治理的范围?这些数据的数据质量情况如何?需要采取哪些措施
来保证其完整性、唯一性、正确性和一致性?
入治理的范围?这些数据的数据质量情况如何?需要采取哪些措施
来保证其完整性、唯一性、正确性和一致性?
数据质量管理。数据质量低是否会影响到企业业务目标的实现?企
业哪些数据的质量有待提高?与业务相关的数据质量评估指标有哪
些?数据质量管理和监控的工具是否缺失?
业哪些数据的质量有待提高?与业务相关的数据质量评估指标有哪
些?数据质量管理和监控的工具是否缺失?
数据安全管理。企业的数据是否涉及数据安全和隐私保护问题?针
对这些问题企业是否采取了一定的措施?(比如对敏感数据进行加
密,在共享和交换数据的时候进行脱敏处理,建立数据安全访问控
制机制,让合适的人在合适的时间访问合适的数据。)
对这些问题企业是否采取了一定的措施?(比如对敏感数据进行加
密,在共享和交换数据的时候进行脱敏处理,建立数据安全访问控
制机制,让合适的人在合适的时间访问合适的数据。)
数据应用。如何充分利用数据?如何进行业务流程优化来提升业务
效率?如何基于数据的深度加工、挖掘分析产生洞察力,从而为业
务人员及管理者提供更好的数据服务?
效率?如何基于数据的深度加工、挖掘分析产生洞察力,从而为业
务人员及管理者提供更好的数据服务?
保障体系。为达成数据治理目标,除了关注数据治理的组织人员和
核心治理领域外,还要有流程及制度的保障。在流程制度方面,企
业的现状是什么?有哪些不足?是否建立了数据管理制度?是否明
确了数据的责任主体?是否明确了数据治理的考核目标和指标?是
否将数据治理与组织或个人绩效绑定?
核心治理领域外,还要有流程及制度的保障。在流程制度方面,企
业的现状是什么?有哪些不足?是否建立了数据管理制度?是否明
确了数据的责任主体?是否明确了数据治理的考核目标和指标?是
否将数据治理与组织或个人绩效绑定?
选择合适的技术路径
数据治理包含多个技术领域,例如元数据管理、数据标准管理、数据
质量管理、主数据管理、数据安全管理、数据集成共享等。不同的数据治
理技术领域解决问题的侧重点和方式是有差异的,每个技术领域也都可以
自成体系,企业不可能将每个领域挨着个做一遍,而应根据自身的需求选
择相应的技术领域。在明确了数据治理的技术领域之后,需要根据技术发
展趋势和企业经费保障条件,选择可行的数据治理技术路线,确定正确的
建设方向和道路。
质量管理、主数据管理、数据安全管理、数据集成共享等。不同的数据治
理技术领域解决问题的侧重点和方式是有差异的,每个技术领域也都可以
自成体系,企业不可能将每个领域挨着个做一遍,而应根据自身的需求选
择相应的技术领域。在明确了数据治理的技术领域之后,需要根据技术发
展趋势和企业经费保障条件,选择可行的数据治理技术路线,确定正确的
建设方向和道路。
常见的企业数据治理技术路径
自主研发
自主研发适合于大型组织,原因有两条:一是大型组织有强大的资金
和资源保障,这是自主研发的前提;二是大型组织的组织机构复杂,数据
体量庞大,数据标准参差不齐,数据应用的个性化需求多样,自主研发具
有较好的灵活性,能够应对不同部门的个性化需求
和资源保障,这是自主研发的前提;二是大型组织的组织机构复杂,数据
体量庞大,数据标准参差不齐,数据应用的个性化需求多样,自主研发具
有较好的灵活性,能够应对不同部门的个性化需求
自主研发虽然具有灵活可变、自主可控、量体裁衣、适用性高等优
势,但在细节管理上存在不足且需要专业的人才团队,是否选择自主研发
关键要看能否创造出具有企业特色的平台。如果不能,建议选择采购成熟
的技术平台
势,但在细节管理上存在不足且需要专业的人才团队,是否选择自主研发
关键要看能否创造出具有企业特色的平台。如果不能,建议选择采购成熟
的技术平台
采购平台
成熟的数据治理平台一般通用性较强,但对于企业的个性化需求支撑
不足,企业经常会陷入“让业务来适应平台”的窘境,而不是让平台满足业
务
不足,企业经常会陷入“让业务来适应平台”的窘境,而不是让平台满足业
务
PaaS服务
阿里云的DataWorks(数据工场)套件为企业提供全链路智能大数据
及AI开发和治理服务。DataWorks是阿里云的重要PaaS产品,为企业提供
包含数据集成、数据开发、数据地图、数据质量和数据服务在内的全方位
产品服务,并提供一站式开发管理的界面,帮助企业专注于数据价值的挖
掘和探索。DataWorks支持多种计算和存储引擎服务,包括离线计算
MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机
器学习PAI、图计算服务和交互式分析服务等,并且支持用户自定义接入
计算和存储服务
及AI开发和治理服务。DataWorks是阿里云的重要PaaS产品,为企业提供
包含数据集成、数据开发、数据地图、数据质量和数据服务在内的全方位
产品服务,并提供一站式开发管理的界面,帮助企业专注于数据价值的挖
掘和探索。DataWorks支持多种计算和存储引擎服务,包括离线计算
MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机
器学习PAI、图计算服务和交互式分析服务等,并且支持用户自定义接入
计算和存储服务
华为云的DAYU(智能数据湖运营平台)为企业提供数据全生命周期
管理、具有智能数据管理能力的一站式数据治理和运营,主要包含数据集
成、规范设计、数据开发、数据质量监控、数据资产管理、数据服务等功
能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎
等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据
系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型
管理、具有智能数据管理能力的一站式数据治理和运营,主要包含数据集
成、规范设计、数据开发、数据质量监控、数据资产管理、数据服务等功
能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎
等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据
系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型
亚马逊的AWS从其简单存储服务(S3)开始构建数据治理解决方案,
其中包括Elastic MapReduce Athena,这是一种针对存储在S3中的数据的查
询引擎。为了配置企业的云环境,AWS CloudFormation允许企业使用简单
的文本文件为其应用程序建模和配置所需的资源。Amazon CloudWatch监
控并收集所有资源的指标。AWS Systems Manager允许企业监控所有资
源,并自动执行常见操作任务
其中包括Elastic MapReduce Athena,这是一种针对存储在S3中的数据的查
询引擎。为了配置企业的云环境,AWS CloudFormation允许企业使用简单
的文本文件为其应用程序建模和配置所需的资源。Amazon CloudWatch监
控并收集所有资源的指标。AWS Systems Manager允许企业监控所有资
源,并自动执行常见操作任务
制定数据治理路线图
确定数据治理优先级
要先找到企业的业务痛点,解决由这些痛点引起的业务线之间的协同
问题,再通过解决每条业务线上的数据问题,达到“以点连线,以线带
面”,逐步实现企业数据治理的目标
问题,再通过解决每条业务线上的数据问题,达到“以点连线,以线带
面”,逐步实现企业数据治理的目标
案例:某大型制造企业主数据治理项目
该企业的数据治理规划是从主数据管理入手的,首先通过对企业范
围内的数据进行统一梳理,识别出需要纳入企业的主数据范围;然后结
合企业的数据管理现状以及数据问题紧急程度、业务实施的难度、技术
实施的难度对主数据实施的优先级进行综合评估(见图9-2),确定主数
据实施优先级,分阶段完成主数据的治理。
围内的数据进行统一梳理,识别出需要纳入企业的主数据范围;然后结
合企业的数据管理现状以及数据问题紧急程度、业务实施的难度、技术
实施的难度对主数据实施的优先级进行综合评估(见图9-2),确定主数
据实施优先级,分阶段完成主数据的治理。
主数据治理实施优先级有5个影响因素
第一,根据数据对业务的影响程度进行识别,识别出哪些数据对业务
影响较大(数据对业务影响越大,实施后对业务的价值也越大),并按业
务影响程度为这些数据打分,影响业务的范围越大,分值越高。
影响较大(数据对业务影响越大,实施后对业务的价值也越大),并按业
务影响程度为这些数据打分,影响业务的范围越大,分值越高。
第二,根据数据在各个业务系统中的共享情况进行识别,按照主数据
的共享级别进行打分,数据共享程度越高,分值越高。
的共享级别进行打分,数据共享程度越高,分值越高。
第三,对不同分类数据的管理成熟度进行分析,并按照管理的成熟度
进行打分,数据管理成熟度越高,分值越高。
进行打分,数据管理成熟度越高,分值越高。
第四,按照数据统一的难度进行打分,数据统一难度越低,分值越
高。
高。
第五,按照主数据在业务中的需求紧迫度进行打分,需求紧迫度越
高,分值越高。
高,分值越高。
绘制数据治理路线图
实施路线图主要包含以下内容:分几个阶段实施,每个阶段的目标、
工作内容、时间节点要求、环境条件等。笔者一贯的观点是,任何企业的
数据治理都不是一蹴而就、一步到位的,需要循序渐进,持续优化。实施
路线图也是如此,它具有可实现性、可衡量性,因而也是获取利益干系人
支持的一个重要手段
工作内容、时间节点要求、环境条件等。笔者一贯的观点是,任何企业的
数据治理都不是一蹴而就、一步到位的,需要循序渐进,持续优化。实施
路线图也是如此,它具有可实现性、可衡量性,因而也是获取利益干系人
支持的一个重要手段
案例:X集团依据数据治理的需求,结合数据治理的成熟度,规划了
数据治理实施路线图
数据治理实施路线图
第一阶段:数据治理体系的建设
主要包括:成立数据治理组织,明确岗位分工;建立数据治理标准,
统一主数据与参考数据、数据指标体系、业务术语表等核心数据标准;建
立数据治理的管理制度,明确数据生产方、数据拥有方、数据使用方等各
方的职责和权力,制定数据质量考核指标和考核办法;建立数据治理技术
平台,初步实现数据标准的统一管理
统一主数据与参考数据、数据指标体系、业务术语表等核心数据标准;建
立数据治理的管理制度,明确数据生产方、数据拥有方、数据使用方等各
方的职责和权力,制定数据质量考核指标和考核办法;建立数据治理技术
平台,初步实现数据标准的统一管理
第二阶段:数据治理的运行完善
主要目标是将数据标准推广至集团总部以及其他下属单位。在组织层
面,需要将集团总部部门设置为数据治理的主导部门,并且由集团领导牵
头推进治理工作。在治理能力层面,对各项数据治理的标准、制度、流程
进行细化,以满足集团上下级企业、各兄弟单位的数据治理需求,并进行
常态化数据治理评估和报告,以及定期的主数据治理专项工作。在技术平
台方面,完善元数据、数据质量、数据标准等功能,以满足集团数据治理
的需要。
面,需要将集团总部部门设置为数据治理的主导部门,并且由集团领导牵
头推进治理工作。在治理能力层面,对各项数据治理的标准、制度、流程
进行细化,以满足集团上下级企业、各兄弟单位的数据治理需求,并进行
常态化数据治理评估和报告,以及定期的主数据治理专项工作。在技术平
台方面,完善元数据、数据质量、数据标准等功能,以满足集团数据治理
的需要。
第三阶段:数据治理的持续优化
主要目标是形成集团总部和下属分/子公司两级联动的数据治理体系。
在组织层面,分/子公司设置数据治理专员,负责本组织的数据治理工作。
在治理能力层面,建立面向两级联动的数据治理规范和多级共享的数据管
理制度,并建立两级联动的数据治理评价和考核办法,实现全集团范围的
数据治理绩效考核。在技术平台层面,实现两级数据的互联互通,打通集
团与各下属单位的数据通道,实现集团范围的数据共享,为集团数字化应
用、数据分析挖掘奠定基础。
在组织层面,分/子公司设置数据治理专员,负责本组织的数据治理工作。
在治理能力层面,建立面向两级联动的数据治理规范和多级共享的数据管
理制度,并建立两级联动的数据治理评价和考核办法,实现全集团范围的
数据治理绩效考核。在技术平台层面,实现两级数据的互联互通,打通集
团与各下属单位的数据通道,实现集团范围的数据共享,为集团数字化应
用、数据分析挖掘奠定基础。
数据治理保障体系建设
数据治理组织机构
设置数据治理组织的3个原则
原则1:数据治理需要从企业利益出发
数据治理应从企业的利益出发统筹规划,全面保障数据的质量。数据
治理组织的建立是对数据管理职责的确认,由企业高级管理者或董事会授
权其对数据相关事项的行使权和决策权
治理组织的建立是对数据管理职责的确认,由企业高级管理者或董事会授
权其对数据相关事项的行使权和决策权
原则2:数据治理工作需要合理的分工
数据管理者不一定是数据所有者,而是由数据所有者授权进行数据管
理的托管单位。数据质量应由数据所有者负责。数据管理者并不包揽所有
的数据治理和管理工作,部分数据治理和管理工作需要由业务部门和IT部
门共同承担。
理的托管单位。数据质量应由数据所有者负责。数据管理者并不包揽所有
的数据治理和管理工作,部分数据治理和管理工作需要由业务部门和IT部
门共同承担。
原则3:数据治理需要各方的通力合作
数据管理者需要与各业务领域中的业务专家合作,共同定义数据标
准,制定数据质量规则,并促进数据质量的提升。数据生产者和使用者对
数据的新增、变更、传输、存储、处理与使用也需要数据管理者或IT部门
给予一定的技术支持,这一系列活动都需要数据管理者监督和核查,以确
保数据质量。
准,制定数据质量规则,并促进数据质量的提升。数据生产者和使用者对
数据的新增、变更、传输、存储、处理与使用也需要数据管理者或IT部门
给予一定的技术支持,这一系列活动都需要数据管理者监督和核查,以确
保数据质量。
数据治理组织与职责分工
数据治理委员会
作为企业数据治理的决策机构,数据治理委员会由企业业务部门及IT
部门的代表联合组成,一般为主管业务的高管以及CIO、CDO等。数据治
理委员会负责制定企业的数据战略,指明数据治理方向,并对公司董事会
负责。数据治理委员会拥有整个企业数据的管理权,包括:签发数据标
准,批准实施数据管理制度及流程;对数据治理过程的重大事项进行审核
和决策;对数据治理工作给予相应的人力、物力和资金支持
部门的代表联合组成,一般为主管业务的高管以及CIO、CDO等。数据治
理委员会负责制定企业的数据战略,指明数据治理方向,并对公司董事会
负责。数据治理委员会拥有整个企业数据的管理权,包括:签发数据标
准,批准实施数据管理制度及流程;对数据治理过程的重大事项进行审核
和决策;对数据治理工作给予相应的人力、物力和资金支持
数据治理办公室
在一些大型企业的数据治理组织机构中会设置数据治理办公室或数据
管理岗,来协助数据治理委员会执行数据治理策略、流程和管理制度。数
据治理办公室是理解和传达数据含义与使用的专家,其主要职责是:负责
数据管理细则的制定、数据质量稽核、数据治理技术的导入、数据质量问
题处理等;协调相关数据的生产者、拥有者和使用者来完成数据标准、数
据质量规则、数据安全策略的制定和执行;对数据治理过程进行监控和管
理,以符合数据标准、管理制度和流程规范的要求。当数据治理办公室无
法解决数据问题时,会将该问题“上诉”到数据治理委员会进行决策
管理岗,来协助数据治理委员会执行数据治理策略、流程和管理制度。数
据治理办公室是理解和传达数据含义与使用的专家,其主要职责是:负责
数据管理细则的制定、数据质量稽核、数据治理技术的导入、数据质量问
题处理等;协调相关数据的生产者、拥有者和使用者来完成数据标准、数
据质量规则、数据安全策略的制定和执行;对数据治理过程进行监控和管
理,以符合数据标准、管理制度和流程规范的要求。当数据治理办公室无
法解决数据问题时,会将该问题“上诉”到数据治理委员会进行决策
数据标准管理岗:牵头组织数据标准的编制、评审、维护、更新,
以及相关制度的编制、修订、解释、推广落地。
以及相关制度的编制、修订、解释、推广落地。
元数据管理岗:牵头元数据的采集、梳理、存储、维护和更新,以
及元数据管理相关管理办法的编制、修订、解释、推广落地。
及元数据管理相关管理办法的编制、修订、解释、推广落地。
主数据管理岗:牵头主数据标准制定,数据质量稽核,以及主数据
管理相关制度和流程的编制、修订、解释、推广落地。
管理相关制度和流程的编制、修订、解释、推广落地。
数据质量管理岗:牵头数据质量标准、数据质量检查规则的订立和
维护,数据质量评估模型的制定和维护,数据质量相关管理办法的
编制、修订、解释、推广落地,以及专项数据质量的整顿和改造工
作。
维护,数据质量评估模型的制定和维护,数据质量相关管理办法的
编制、修订、解释、推广落地,以及专项数据质量的整顿和改造工
作。
数据架构岗:牵头目标数据架构,数据生命周期管理策略的制定、
维护和更新,以及数据架构和数据生命周期相关管理办法的编制、
修订、解释、推广落地。
维护和更新,以及数据架构和数据生命周期相关管理办法的编制、
修订、解释、推广落地。
系统协调岗:协调/牵头数据治理工作中涉及的系统建设改造、工具
建设改造、平台建设改造等。例如牵头数据管理平台的建设,协调
数据质量整顿工作中对相关业务系统的改造,协调数据标准在新系
统建设中落地等。此岗位也可以分散由以上岗位各自执行。
建设改造、平台建设改造等。例如牵头数据管理平台的建设,协调
数据质量整顿工作中对相关业务系统的改造,协调数据标准在新系
统建设中落地等。此岗位也可以分散由以上岗位各自执行。
数据所有者
数据所有者即拥有或实际控制数据的组织或个人。数据所有者负责特
定数据域内的数据,确保其域内的数据能够跨系统和业务线受到管理。数
据所有者需要主导或配合数据治理委员会完成相关数据标准、数据质量规
则、数据安全策略、管理流程的制定。数据所有者一般由企业的相关业务
部门人员组成,根据企业发布的数据治理策略、数据标准和数据治理规则
要求,执行数据标准,优化业务流程,提升数据质量,释放数据价值。在
企业中,数据所有者并不是管理数据库的部门,而是生产和使用数据的主
体单位。
定数据域内的数据,确保其域内的数据能够跨系统和业务线受到管理。数
据所有者需要主导或配合数据治理委员会完成相关数据标准、数据质量规
则、数据安全策略、管理流程的制定。数据所有者一般由企业的相关业务
部门人员组成,根据企业发布的数据治理策略、数据标准和数据治理规则
要求,执行数据标准,优化业务流程,提升数据质量,释放数据价值。在
企业中,数据所有者并不是管理数据库的部门,而是生产和使用数据的主
体单位。
数据生产者
数据生产者即数据的提供方,对于企业来说,数据生产者来自人、系
统和设备。例如:企业员工的每一次出勤、财务人员的每一笔账单、会员
的每一次消费都能一一被记录;企业的ERP、CRM等系统每天都会产生大
量的交易数据和日志数据;企业的各类设备会源源不断地生产大量数据,
并通过IoT整合到企业的数据平台中。
统和设备。例如:企业员工的每一次出勤、财务人员的每一笔账单、会员
的每一次消费都能一一被记录;企业的ERP、CRM等系统每天都会产生大
量的交易数据和日志数据;企业的各类设备会源源不断地生产大量数据,
并通过IoT整合到企业的数据平台中。
数据使用者
数据使用者是申请、下载、使用数据的组织或个人。在企业中,数据
的生产者、所有者和使用者有可能是同一个部门。例如,销售部门以CRM
系统为依托,既是客户数据的生产者,也是客户数据的使用者,还是客户
数据的所有者。
的生产者、所有者和使用者有可能是同一个部门。例如,销售部门以CRM
系统为依托,既是客户数据的生产者,也是客户数据的使用者,还是客户
数据的所有者。
谁该对数据负责
先回答以下几
个问题。
个问题。
认识问题:什么是好的数据质量?为什么它很重要?
定义问题:测量数据质量的维度有哪些?数据一致性、完整性、正
确性、及时性?
确性、及时性?
衡量问题:数据质量对业务使用和管理决策有何影响?
分析问题:找到数据质量问题的根本原因,是管理问题、业务问题
还是技术问题?
还是技术问题?
改善问题:哪些关键业务流程的改善有利于提高数据质量?如何改
善?
善?
控制问题:是否有数据质量管理章程,包括问题和目标描述、范
围、里程碑、角色和职责、沟通计划?
围、里程碑、角色和职责、沟通计划?
数据质量人人有责:谁生产谁负责,谁拥有谁负责,谁管
理谁负责,谁使用谁负责
理谁负责,谁使用谁负责
数据治理组织的演进
数据建设阶段的组织机构
在项目建设阶段,项目组织人员需要梳理业务流程,盘点数据资源,
制定数据标准,清理存量数据,建立数据平台,开发数据服务,同时还需
要管控项目进度、质量、成本等。每一项工作都要有对应的角色和人员来
完成,为不同的项目角色安排合适的人员对于项目的建设十分重要
制定数据标准,清理存量数据,建立数据平台,开发数据服务,同时还需
要管控项目进度、质量、成本等。每一项工作都要有对应的角色和人员来
完成,为不同的项目角色安排合适的人员对于项目的建设十分重要
数据运营阶段的组织机构
运营阶段的数据治理组织是以业务目标驱动的敏捷组织,一切围绕业
务运营的目标而开展,成立实体的组织机构,配置专业的专职人员,为业
务运营提供数据服务,并保障数据质量和安全
务运营的目标而开展,成立实体的组织机构,配置专业的专职人员,为业
务运营提供数据服务,并保障数据质量和安全
重建设,更需重运营
对于项目建设阶段和数据运营阶段,数据治理的组织机构形态和管理
制度细则会有所侧重和不同,企业应根据自身需求和数据发展要求灵活调
整
制度细则会有所侧重和不同,企业应根据自身需求和数据发展要求灵活调
整
打造“一把手工程”
数据治理需要“一把手工程”
第一,数据治理不单是一个项目,更是一项持续的数据服务——数据
治理即服务。数据治理是战略层面的策略,而不是战术层面的方法,从数
据策略的定义到实施路线的制定,都需要企业高层领导参与并最终决策。
高层领导是企业战略制定的直接参与者,也是企业战略落实的执行者,他
们需要对企业数据战略的细化和实施充分授权,要积极支持与配合数据治
理执行层的工作
治理即服务。数据治理是战略层面的策略,而不是战术层面的方法,从数
据策略的定义到实施路线的制定,都需要企业高层领导参与并最终决策。
高层领导是企业战略制定的直接参与者,也是企业战略落实的执行者,他
们需要对企业数据战略的细化和实施充分授权,要积极支持与配合数据治
理执行层的工作
第二,与传统信息化项目不同,数据治理是一项需要不断迭代、持续
优化的综合工程。高层领导对数据治理项目仅支持是远远不够的,他们需
要深度参与,做好领导带头和模范作用,让业务部门、IT部门在数据治理
的战略方向和目标上保持一致
优化的综合工程。高层领导对数据治理项目仅支持是远远不够的,他们需
要深度参与,做好领导带头和模范作用,让业务部门、IT部门在数据治理
的战略方向和目标上保持一致
第三,数据治理项目涉及范围广,牵涉范围为整个公司,需要各个部
门的紧密合作,相互协同。只要有一个部门领导不积极,他所管辖的部门
就有可能成为推行数据治理的障碍。只有高层领导牵头数据治理项目,才
能顺利打通各部门之间的部门墙,各业务条线之间的业务墙,各信息系统
之间的数据墙,让信息流得更加通顺。
门的紧密合作,相互协同。只要有一个部门领导不积极,他所管辖的部门
就有可能成为推行数据治理的障碍。只有高层领导牵头数据治理项目,才
能顺利打通各部门之间的部门墙,各业务条线之间的业务墙,各信息系统
之间的数据墙,让信息流得更加通顺。
第四,数据治理项目具有周期长、范围广、过程复杂等特点,随时可
能会遇到重新调整预算,重新分配资源,让所有的关键利益干系人合作,
并随时调用各种数据的问题,而高层领导的关注和深度参与能帮助数据治
理项目向成功迈进一大步。
能会遇到重新调整预算,重新分配资源,让所有的关键利益干系人合作,
并随时调用各种数据的问题,而高层领导的关注和深度参与能帮助数据治
理项目向成功迈进一大步。
第五,要全面开展数据治理,需要数据创建、采集、加工、处理、存
储、使用各环节涉及的每个业务部门积极投入,同时需要企业内的利益干
系人对企业的数据治理统一认知,统一思想,齐心协力配合,上下一致行
动,而这一切都离不开企业高层领导的领导和支持。
储、使用各环节涉及的每个业务部门积极投入,同时需要企业内的利益干
系人对企业的数据治理统一认知,统一思想,齐心协力配合,上下一致行
动,而这一切都离不开企业高层领导的领导和支持。
数据治理需要4类人的支持
(1)倡导者
倡导者非常欢迎数据治理的各种变革措施,认为这些变革能够为组织
绩效带来大幅提升,他们不介意改变习惯,并积极适应新的做法。他们在
数据治理实施过程中不仅能够积极配合,还能够献计献策
绩效带来大幅提升,他们不介意改变习惯,并积极适应新的做法。他们在
数据治理实施过程中不仅能够积极配合,还能够献计献策
(2)跟随者
跟随者都有随大流的想法:如果大家都按新的方案执行,他们也会支
持;但如果大多数人不动,他们也不会反对按旧方式操作。在数据治理过
程中,跟随者大多是非关键干系人,给予适当的引导和鼓励,就能得到他
们的配合。
持;但如果大多数人不动,他们也不会反对按旧方式操作。在数据治理过
程中,跟随者大多是非关键干系人,给予适当的引导和鼓励,就能得到他
们的配合。
(3)观望者
观望者有着不想改变的心态,但也知道数字化转型是大势所趋,而数
据治理是必经之路。他们的态度往往是“随机应变”的:高层领导提倡,他
们赞成;高层领导排斥,他们就反对;高层领导在观望,他们就会在反对
和赞成之间摇摆不定。所以,实施“一把手工程”,能够让大部分观望者成
为跟随者,甚至倡导者。
据治理是必经之路。他们的态度往往是“随机应变”的:高层领导提倡,他
们赞成;高层领导排斥,他们就反对;高层领导在观望,他们就会在反对
和赞成之间摇摆不定。所以,实施“一把手工程”,能够让大部分观望者成
为跟随者,甚至倡导者。
(4)抵制者
抵制者是对数据治理有着强烈抵触情绪的人,他们怀念旧有的操作方
式,不愿意改变,并且认为数据治理没有作用,只会给他们带来约束和不
便。抵制者中有很多人是业务的直接操作人员,是数据治理的重要干系
人,他们的配合对于项目的成功实施非常关键。如果没有高层领导的干
预,他们通常会比较抵触,这会给项目的正常推进带来巨大的风险。
式,不愿意改变,并且认为数据治理没有作用,只会给他们带来约束和不
便。抵制者中有很多人是业务的直接操作人员,是数据治理的重要干系
人,他们的配合对于项目的成功实施非常关键。如果没有高层领导的干
预,他们通常会比较抵触,这会给项目的正常推进带来巨大的风险。
如何获得高层领导的支持
将数据治理与企业战略绑定
敢于暴露数据的问题
(1)管理方面
(2)业务方面
(3)技术方面
选择价值显而易见的数据治理策略
增加收入:通过更好的数据分析和预测,改善管理决策,提高盈利
能力。
能力。
降低成本:通过企业数据源映射和企业对业务数据定义的访问,降
低数据管理和集成的成本
低数据管理和集成的成本
提升效率:使用可信数据改善决策,利用准确的数据实现流程优
化
化
控制风险:通过数据治理提供更好的洞察力,防范商业欺诈,保护
个人隐私
个人隐私
提供明确的落地方向
普查
了解有哪些数据,有多少数据,它们都在何处收集、管理和存储;
了解数据管理中的组织问题、流程问题、规范性问题;
了解各个业务系统的应用情况、发展情况和数据管理情况;
了解数据结构是怎样的,有多少结构化数据,有多少非结构化数
据;
据;
了解数据质量的整体情况,数据的时效性、完整性和准确性,各数
据的标准化程度如何。
据的标准化程度如何。
了解当前数据处理的方式如何,手动处理还是自动化处理,线上数
据还是线下数据。
据还是线下数据。
引导更多的人支持
要找到现成的支持数据治理策略的高管,最简单的方法是找到与高管
利益相关的项目。比如,主管销售的高管一定会关注客户数据和销售数
据。你的项目目标是通过数据治理改善客户数据从而实现交叉销售和追加
销售,实现产品自动化推荐,增加销售业绩。这样的项目目标与销售人员
的业务目标是一致的,他们可以从可靠的客户数据中获得更多的收益。销
售负责人或销售高管就是客户数据治理的现成的支持者
利益相关的项目。比如,主管销售的高管一定会关注客户数据和销售数
据。你的项目目标是通过数据治理改善客户数据从而实现交叉销售和追加
销售,实现产品自动化推荐,增加销售业绩。这样的项目目标与销售人员
的业务目标是一致的,他们可以从可靠的客户数据中获得更多的收益。销
售负责人或销售高管就是客户数据治理的现成的支持者
高层领导如何发挥作用
深度参与
在数据治理项目的预研、立项、启动、调研、设计、实施、
验收等各个关键环节,项目经理要清楚在哪些环节、哪个会议需要哪些高
层领导参与,他们能够提供什么帮助。在项目执行过程中,项目经理要主
动向高层领导汇报各个关键步骤,并告诉他们你的目标是什么,目前进展
到了什么程度,遇到了什么问题,需要哪方面的帮助等,让他们及时了解
项目的进展和需要改进的地方。
验收等各个关键环节,项目经理要清楚在哪些环节、哪个会议需要哪些高
层领导参与,他们能够提供什么帮助。在项目执行过程中,项目经理要主
动向高层领导汇报各个关键步骤,并告诉他们你的目标是什么,目前进展
到了什么程度,遇到了什么问题,需要哪方面的帮助等,让他们及时了解
项目的进展和需要改进的地方。
充分授权
企业中高层领导代表着更高的职权,在对项目经理授权的方式上可以
很灵活,有时需要一些技巧。比如:将项目经理权责写入“项目章程”并以
正式的文件形式发布;在项目启动会、阶段汇报会议等公共场合强调项目
经理的权责重要性;在项目取得一定进展时,给予当面的肯定和表扬;等
等。积极鼓励式的授权可以让项目经理增强信心,同时也让企业的利益干
系人尤其是数据治理的抵制者清楚地知道,项目经理背后有高层领导的支
持,项目经理的意见一定程度上代表了高层领导的意见
很灵活,有时需要一些技巧。比如:将项目经理权责写入“项目章程”并以
正式的文件形式发布;在项目启动会、阶段汇报会议等公共场合强调项目
经理的权责重要性;在项目取得一定进展时,给予当面的肯定和表扬;等
等。积极鼓励式的授权可以让项目经理增强信心,同时也让企业的利益干
系人尤其是数据治理的抵制者清楚地知道,项目经理背后有高层领导的支
持,项目经理的意见一定程度上代表了高层领导的意见
数据治理技术体系建设
以元数据为核心的数据治理
银行案例
1)以元数据为基础,对银行内部的数据资源进行盘点,形成数据资产
清单,实现数据资产在各部门、各系统中的集成与共享。
清单,实现数据资产在各部门、各系统中的集成与共享。
2)基于元数据构建银行数据标准体系,从业务、技术和操作三个层面
制定数据标准。
制定数据标准。
3)基于元数据解决数据质量问题,实现全生命周期的质量保障。
4)基于元数据进行敏感数据的识别和定义,并实施一定的安全策略,
防止数据的泄露和滥用。
防止数据的泄露和滥用。
以主数据为主线的数据治理
制造业企业案例
(1)统一主数据标准
(2)主数据管理平台
(3)主数据清洗
(4)主数据集成
混合云架构下的数据治理
五金工具制造和销售的综合企业
(1)数据资源连接
(2)数据融合治理
(3)融合数据应用
(4)数据运营监控
大数据架构下的数据治理
某以报道经济新闻为主的报社
(1)元数据管理
(2)数据标准化
(3)数据资产化
(4)数据应用监控
数据量监控:基于大数据平台的数据库日志文件实现对大数据量的
实时监控,运维人员可以实时查询数据的存量和增量情况。
实时监控,运维人员可以实时查询数据的存量和增量情况。
数据质量监控:基于既定的业务规则实现数据质量的监控,例如数
据的唯一性、完整性、正确性、一致性等。
据的唯一性、完整性、正确性、一致性等。
数据使用监控:基于数据服务总线,按照数据应用的不同维度,实
现对数据使用情况的监控,例如监控数据服务调用频次、出错次
数、使用部门、使用人员、使用的高峰时间等。
现对数据使用情况的监控,例如监控数据服务调用频次、出错次
数、使用部门、使用人员、使用的高峰时间等。
微服务架构下的数据治理
典型问题
数据分散在不同的微服务中,一致性如何保证?
数据被割裂后,如何整合以满足完整业务链条的统一查询和穿透?
在进行全量数据分析时如何保障数据质量?
M酒店集团是一家全球性的酒店连锁企业
(1)微服务的分层设计模式
(2)微服务的数据质量保证
(3)微服务下的数据赋能
数据治理策略执行与监控
数据治理的4个过程
1.发现过程
发现过程,顾名思义,就是发现问题、识别需求的过程,即获取数据
治理需求,发现数据管理问题和存在的风险,评估数据治理成熟度状态,
确定数据治理目标和范围的过程
治理需求,发现数据管理问题和存在的风险,评估数据治理成熟度状态,
确定数据治理目标和范围的过程
主要活动
理解企业战略
业务现状调研与评估
IT现状调研与评估
数据治理成熟度评估
明确数据治理目标和范围
制定数据治理实施路线图
2. 定义过程
定义过程是制定与数据管理相关的数据标准、制度和流程、项目章程
和计划的过程。定义过程一般与发现过程并行运行,基于企业数据治理现
状和存在的问题、确定的目标来定义与解决问题,实现目标的数据治理策
略和标准
和计划的过程。定义过程一般与发现过程并行运行,基于企业数据治理现
状和存在的问题、确定的目标来定义与解决问题,实现目标的数据治理策
略和标准
主要活动
制定数据管理策略
制定数据管理标准
制定数据管理流程
制定数据管理绩效指标
制定项目章程和项目计划
3.执行过程
执行过程即按照数据治理项目定义的策略、流程、标准、计划等执行
具体的数据管理活动的过程
具体的数据管理活动的过程
主要活动
启动治理项目
发布治理策略
执行治理策略
沟通与协调
4. 监控过程
监控过程即对数据治理策略执行情况的监控,以验证数据治理策略的
可行性和有效性,获取和度量从数据治理工作中产生的价值
可行性和有效性,获取和度量从数据治理工作中产生的价值
主要活动
监控数据治理策略的执行情况
监控数据治理策略的有效性和价值
数据治理策略定义
制定数据治理策略
(1)定义业务术语表
(2)制定元数据标准
(3)制定主数据标准
(4)制定参考数据标准
业务属性值表,如客户类型、产品颜色
国家或国家标准值表,如ISO 3166国家标准代码
行业规范标准,如全国医疗卫生信息数据元值域代码表
(5)制定业务规则
(6)制定治理制度
(7)制定数据治理评估指标
制定项目章程与计划
(1)数据治理目标
(2)风险和应对策略
(3)利益干系人和RACI矩阵
(4)目标和评价指标
1)为业务和IT部门建立考核指标,以确定数据治理计划是否有效。
2)为每个指标设置目标。
3)收集当前数据以计算指标并建立基线。
4)为项目指定一个负责跟踪数据治理效果并执行数据治理绩效考核的
人员。
人员。
(5)项目实施计划
(6)最终签核
数据治理策略执行
良好的开端:项目启动会
必要性
1)数据治理启动会是一个明确目标、达成共识的会议
2)数据治理启动会是一个开工动员、任务分工的会议。
3)数据治理启动会还是一个基本概念宣贯、方法论培训、实施风险预
警的会议
警的会议
4)数据治理启动会是一个明确规则、奠定基调的会议
如何召开一个成功的项目启动会
(1)做好开会前的准备
(2)控制好会议议程和节奏
(3)重点注意事项
做好沟通管理:借势和造势
1. 善于借势
(1)数字化浪潮的“大势”
(2)高层领导的“权势
(3)数据供需的“局势”
2. 勇于造势
(1)“请外面的和尚来念经”
(2)让数据治理价值显而易见
(3)撕开数据管理中的“遮羞布”
不可忽视的例行会议和报告
1. 项目例会
第一,会议的议题、会议要求、召开时间、召开地点,谁来参加,谁
来支持,等等这些问题都需要事先做好周密的安排。
来支持,等等这些问题都需要事先做好周密的安排。
第二,要事先考虑好数据治理项目例会的目标和中心点,这是召开会
议的中心轴,不可偏离,更不可将会议开成业务部门之间、业务部门与IT
部门之间的抱怨会、发牢骚会、马拉松会。
议的中心轴,不可偏离,更不可将会议开成业务部门之间、业务部门与IT
部门之间的抱怨会、发牢骚会、马拉松会。
第三,数据治理项目例会是对数据治理阶段成果验证和宣传的会议,
通过对取得的成果进行宣传,对相关人员进行表扬,让数据治理的团队增
强信心并获得荣誉感。
通过对取得的成果进行宣传,对相关人员进行表扬,让数据治理的团队增
强信心并获得荣誉感。
2. 项目报告
本阶段的主要工作内容和取得的成果,例如发现了多少个数据质量
问题,制定了多少个数据标准,接入了多少个应用系统等。
问题,制定了多少个数据标准,接入了多少个应用系统等。
工作中存在的问题和待协调的事项,例如:某业务术语定义存在争
议,需要与××部门召开专题会议;某关键用户出差,导致××数据标
准未能按计划制定完成等。
议,需要与××部门召开专题会议;某关键用户出差,导致××数据标
准未能按计划制定完成等。
下阶段的重点工作安排,例如继续制定××数据标准,召开某业务术
语评议专题会议等。
语评议专题会议等。
数据治理策略监控
执行情况监控
例如,我们用以下指标来考
核数据治理委员会成员是否合格。
核数据治理委员会成员是否合格。
数据治理委员会成员应认识到自己的工作应当是积极主动的,积极
发现问题,而不是被动处理问题。每个数据治理委员会成员都是企
业的数据改进专家,应当持续为业务赋能,例如为业务部门提供高
质量数据的保障措施。
发现问题,而不是被动处理问题。每个数据治理委员会成员都是企
业的数据改进专家,应当持续为业务赋能,例如为业务部门提供高
质量数据的保障措施。
数据治理委员会的每个成员必须参加不少于已计划和举行的数据治
理工作会议的75%。
理工作会议的75%。
数据治理委员会的每个成员必须每年参加至少8小时的数据管理和数
据治理方面的正式培训。
据治理方面的正式培训。
数据治理委员会的每个成员必须每年为业务部门、IT部门提供16小
时以上的数据治理方面的教育和培训。
时以上的数据治理方面的教育和培训。
有效性和价值监控
数据治理有效性和价值建立在对企业的业务价值提升的基础之上,也
就是说通过数据治理提升了哪些业务指标,例如收入和利润的增加、成本
的降低、效率的提高等。
就是说通过数据治理提升了哪些业务指标,例如收入和利润的增加、成本
的降低、效率的提高等。
关键指标示例
企业销售额提高5%~10%,受益于客户数据质量的提升、客户的细
分、广告投放渠道的优化;
分、广告投放渠道的优化;
企业库存优化节约了5%~10%的采购成本,这主要归功于物资主数
据的治理;
财务的对账时间从每月3天缩减到每月3小时,主要受益于财务科目
体系的统一和物料数据的标准化;
体系的统一和物料数据的标准化;
在一年之内,企业因违反监管规定而受到的罚款减少××元,而受到
监管部门处罚的主要原因是向监管部门报送的数据有质量问题;
监管部门处罚的主要原因是向监管部门报送的数据有质量问题;
在两年之内,企业高层管理者通过数据报表/报告获得洞察力,并基
于数据进行管理和决策。
于数据进行管理和决策。
数据治理绩效考核
四个考核原则
1. 公平公正原则
2. 严格原则
3. 公开透明原则
4. 客观评价原则
六类考核指标
1. 数据治理绩效考核的难度
2. 建立绩效指标体系的3个要素
问题:数据报告不准确,业务沟通耗时较长,业务处理效率低下。
目标:通过使用准确的数据和已定义的数据管理流程,降低销售、
库管、生产等业务部门的沟通成本,提升业务处理效率,提高业务
和管理决策的效率。
库管、生产等业务部门的沟通成本,提升业务处理效率,提高业务
和管理决策的效率。
影响:提高数据报告的准确性,降低业务部门的沟通成本。
3. 数据治理的6类考核指标
从数据治理人员、数据质量问题、数据标准
贯彻、治理策略执行、技术达成、业务价值实现等6个维度考量
贯彻、治理策略执行、技术达成、业务价值实现等6个维度考量
子主题
子主题
数据治理指标体系的建设应涵盖数据治理的组织人员、制度流程保
障、技术措施等方面,突出数据录入、审核、维护、备份、安全等重点环
节,进行指标量化。表13-2给出了一个数据治理考核评价指标的示例
障、技术措施等方面,突出数据录入、审核、维护、备份、安全等重点环
节,进行指标量化。表13-2给出了一个数据治理考核评价指标的示例
子主题
六种检查办法
1. 记录数检查法
2. 关键指标总量分析法
3. 历史数据对比法
4. 值域判断法
5. 经验审核法
6. 匹配判断法
四种考核方式
1. 日常考核
(1)及时性考核
(2)准确性考核
(3)规范性考核
2. 定期考核
抽样数据稽查:数据治理小组定期按照一定的时间范围对相关数据
集的数据质量情况进行检查,目的是及时发现增量数据中的数据质
量问题。
集的数据质量情况进行检查,目的是及时发现增量数据中的数据质
量问题。
全面数据稽查:数据治理小组必须按照一定的周期对相关数据集的
存量进行全面的数据质量问题稽查,需要定期发布报告,以显示每
个指标的成功之处和待改进之处。一般来说,全面数据稽查的频率
要低于抽样数据稽查,数据集的记录数越小,越适合采用全面数据
稽查的方法。例如,小于10万条记录的数据集必须每月进行一次全
面数据稽查。
存量进行全面的数据质量问题稽查,需要定期发布报告,以显示每
个指标的成功之处和待改进之处。一般来说,全面数据稽查的频率
要低于抽样数据稽查,数据集的记录数越小,越适合采用全面数据
稽查的方法。例如,小于10万条记录的数据集必须每月进行一次全
面数据稽查。
3. 系统自动考核
记录差异性:检查跨系统之间实体记录不相同的信息,例如A系统
中的客户资料在B系统中不存在。
中的客户资料在B系统中不存在。
字段一致性:检查跨系统之间实体相同的记录的字段是否一致,例
如A系统中客户“张三”的出生年月与B系统中客户“张三”的出生年月
不相同。
如A系统中客户“张三”的出生年月与B系统中客户“张三”的出生年月
不相同。
字段准确性:检查单系统中某字段的取值是否正确,例如账目表中
客商费用的取值不能大于100万元。
客商费用的取值不能大于100万元。
业务逻辑性:检查系统中某字段的取值是否符合业务逻辑,例如销
售单据中的客户编码、产品编码是否分别存在于客户档案表、产品
档案表中。
售单据中的客户编码、产品编码是否分别存在于客户档案表、产品
档案表中。
4. 人工考核
无法形成量化指标或者量化范围难以鉴定的数据,例如数据质量问
题对企业业务的影响程度。
题对企业业务的影响程度。
计算机稽查发现的“异常数据”和“重复数据”,
数据治理长效运营
什么是数据治理长效运营机制
长效:从字面上理解,“长效”就是长期的效果。这里的长效是指数
据治理是一组长期持续运行的策略,而不是一个一次性的IT项目。
据治理是一组长期持续运行的策略,而不是一个一次性的IT项目。
运营:对数据治理过程的计划、组织、实施、控制和沟通,是与实
现数据治理目标密切相关的各项数据治理活动的总称。
现数据治理目标密切相关的各项数据治理活动的总称。
机制:使数据治理活动能够正常运行并发挥预期效能的配套制度。
它有两个基本条件:一是要有推动数据治理正常运行的动力源,即
数据治理要赋能业务,助力提升业务效率,实现业务目标;二是要
有规范、稳定、配套的制度体系。要强调的是,数据治理中的任何
机制、策略都不是一成不变的,它必须随着时间、条件的变化而不
断丰富、发展和完善。
它有两个基本条件:一是要有推动数据治理正常运行的动力源,即
数据治理要赋能业务,助力提升业务效率,实现业务目标;二是要
有规范、稳定、配套的制度体系。要强调的是,数据治理中的任何
机制、策略都不是一成不变的,它必须随着时间、条件的变化而不
断丰富、发展和完善。
数据治理长效运营的意义
建设数字化协同环境的需要
1)元数据管理。通过元数据梳理制定企业公共元数据标准,实现技术
元数据和业务元数据的贯通,为开展业务协同提供标准。
元数据和业务元数据的贯通,为开展业务协同提供标准。
2)主数据管理。通过主数据管理解决企业核心数据的多源头维护,数
据不一致、不标准、不完整等缺陷和问题,保障企业核心主数据的“一处产
生,多方使用”,提升企业业务处理的效率。
据不一致、不标准、不完整等缺陷和问题,保障企业核心主数据的“一处产
生,多方使用”,提升企业业务处理的效率。
3)数据质量管理。建立数据质量指标定义、数据质量评估和分析、数
据质量改进的闭环管理过程,以提升数据质量,促进业务协同。
据质量改进的闭环管理过程,以提升数据质量,促进业务协同。
4)数据资产管理。构建统一的数据资产目录,将企业数据资产从系统
后台的“黑匣子”转变为前端可查、可看的数据“字典”,为企业数据资产的
共享流通、价值创造打下坚实基础。
后台的“黑匣子”转变为前端可查、可看的数据“字典”,为企业数据资产的
共享流通、价值创造打下坚实基础。
巩固和扩大数据治理成果的需要
(1)树立数据治理旗帜
(2)盘活存量数据,挖掘数据价值
(3)从被动治理到主动治理
在业务层面,以业务需求为导向,找到业务绩效的数据问题和痛点
需求,优化企业业务流程,完善制度体系。
需求,优化企业业务流程,完善制度体系。
在技术层面,以元数据为基础、以数据标准为核心、以主数据及参
考数据为关键、以数据质量提升为目标,结合大数据、人工智能、
机器学习等先进技术管理好企业数据资产,实现数据问题的自动发
现、主动预警、智能清洗,达到数据自治和预防性治理的目的。
考数据为关键、以数据质量提升为目标,结合大数据、人工智能、
机器学习等先进技术管理好企业数据资产,实现数据问题的自动发
现、主动预警、智能清洗,达到数据自治和预防性治理的目的。
在组织层面,建立数据治理委员会、数据治理办公室,明确数据归
属权,保障数据治理战略、政策、标准、制度、流程等规则的有效
执行和落地,这是企业数据治理长效运营的基础。
属权,保障数据治理战略、政策、标准、制度、流程等规则的有效
执行和落地,这是企业数据治理长效运营的基础。
加速企业数字化转型的需要
(1)以治促管
(2)以治促用
通过构建数据资产管理体系,建立企业统一的数据标准,打造企业
数据的“通用语言”,打通企业信息孤岛,实现部门间、系统间的数
据共享和互联互通,从而解决企业数据资产查找难、管理难等问
题。
数据的“通用语言”,打通企业信息孤岛,实现部门间、系统间的数
据共享和互联互通,从而解决企业数据资产查找难、管理难等问
题。
通过规范数据的录入,清洗存量数据,并建立数据质量稽查和考核
机制,持续改进数据质量,为业务应用、数据分析、决策支持提供
支撑。
机制,持续改进数据质量,为业务应用、数据分析、决策支持提供
支撑。
通过建立数据安全管理策略,进行数据确权定责,数据授权与安全
访问控制,加强数据全生命周期安全管理,严防用户数据被泄露、
篡改和滥用。
访问控制,加强数据全生命周期安全管理,严防用户数据被泄露、
篡改和滥用。
(3)以治促转
通过数据治理,规范数据格式和内容信息,实现业务流程链条的全
连接,通过数字化业务全连接,实现高效的信息流转,构建完善的
产业生态。
连接,通过数字化业务全连接,实现高效的信息流转,构建完善的
产业生态。
运用大数据、人工智能等先进技术,构建自动、智能的数据治理平
台,丰富数据应用和分析工具,推动企业数据应用创新,提升数字
资产应用价值,持续为业务赋能,助力企业数字化转型。
台,丰富数据应用和分析工具,推动企业数据应用创新,提升数字
资产应用价值,持续为业务赋能,助力企业数字化转型。
数据治理长效运营的挑战
来自组织的挑战
组织协调困难:组织运行需要依靠行政指令协调,高层主管都陷于
事务性工作的管理,无暇顾及数据治理策略的规划和落地。
事务性工作的管理,无暇顾及数据治理策略的规划和落地。
厚重的部门墙:数据治理的推进频遇掣肘,业务部门只关注自己
的“一亩三分地”,缺乏全局数据意识,跨部门协调困难,内耗、摩
擦严重,遇到问题时大家相互推诿,数据质量问题无法根除。事实
上,很多传统大企业中不仅存在部门墙,还有业务墙、数据墙、应
用墙等,这些“墙”的存在让信息化重复建设缺乏统一标准,导致业
务部门之间沟通成本巨大,效率低下。
的“一亩三分地”,缺乏全局数据意识,跨部门协调困难,内耗、摩
擦严重,遇到问题时大家相互推诿,数据质量问题无法根除。事实
上,很多传统大企业中不仅存在部门墙,还有业务墙、数据墙、应
用墙等,这些“墙”的存在让信息化重复建设缺乏统一标准,导致业
务部门之间沟通成本巨大,效率低下。
权本位思想:员工习惯于根据领导的指令办事,制定的数据治理流
程执行不到位,导致流程形同虚设。
程执行不到位,导致流程形同虚设。
来自文化认知的挑战
第一,企业部分人员墨守成规,不愿意做出改变。
第二,没有找到合适的方法或方案。
来自项目转产的挑战
1. 将数据治理视为一个纯粹的IT项目
2. 将数据治理视为一个一次性项目
建立数据治理长效运营机制
组织领导机制
1)坚持数据确权,明确每个数据域的所有权。数据所有者对该域的数
据质量负责,而不是应用系统或数据库的管理员。
据质量负责,而不是应用系统或数据库的管理员。
2)坚持“一把手工程”,数据治理必须获得高层领导的支持和深度参
与,没有高层领导的支持,切勿启动数据治理计划。
与,没有高层领导的支持,切勿启动数据治理计划。
3)坚持组织领导,数据治理委员会形式上可以虚拟(由兼职人员组成
虚拟团队),但效能上不能虚设。数据治理组织机构对企业整体数据治理
目标负责。数据治理需要提升到战略层面,需要建立起有效的数据治理组
织体系,协调和解决重大事项,协调资源和资金的支持。
虚拟团队),但效能上不能虚设。数据治理组织机构对企业整体数据治理
目标负责。数据治理需要提升到战略层面,需要建立起有效的数据治理组
织体系,协调和解决重大事项,协调资源和资金的支持。
4)坚持业务部门与技术部门协同。根据数据管理工作的实际需要,业
务部门和技术部门需要相互配合与协同。要让懂业务的人做业务定义的
事,让他们成为所属数据标准的归口部门,让懂技术的人完成具体的业务
实现,二者各司其职,各尽其能,逐步构建成熟、健全的标准化体系规
范。
务部门和技术部门需要相互配合与协同。要让懂业务的人做业务定义的
事,让他们成为所属数据标准的归口部门,让懂技术的人完成具体的业务
实现,二者各司其职,各尽其能,逐步构建成熟、健全的标准化体系规
范。
标准规范机制
(1)数据标准
(2)流程规范
(3)管理规范
培训教育机制
(1)建立分层培训机制
(2)培训内容定制化
(3)培训形式多样化
人才培养机制
(1)挖掘内部数据工匠
(2)吸收外部新鲜血液
绩效考评机制
(1)治理制度
(2)考核机制
(3)考核方式
持续优化机制
(1)业务需求驱动
(2)持续完善标准规范体系
(3)持续优化业务流程
业务流程标准化:标准化的业务流程是以流程(而非部门)为中
心,强调企业战略和业务整体性,强调全过程管理和业务部门协
同。标准化的业务流程能打破部门界限,实现跨部门协同,关注整
体和全局,其输出的数据更加标准规范。
心,强调企业战略和业务整体性,强调全过程管理和业务部门协
同。标准化的业务流程能打破部门界限,实现跨部门协同,关注整
体和全局,其输出的数据更加标准规范。
业务操作规范化:业务操作规范化是指业务操作基于一定的基准,
例如:数据基准,如计量单位、术语、符号标志、信息分类、编码
及专用基础标准;技术标准,如产品标准、原材料标准、工艺标
准、设备标准等;标准规范化,如标准体系(ISO、GJB等)。业务
操作规范化是数据质量提升的重要保证。
例如:数据基准,如计量单位、术语、符号标志、信息分类、编码
及专用基础标准;技术标准,如产品标准、原材料标准、工艺标
准、设备标准等;标准规范化,如标准体系(ISO、GJB等)。业务
操作规范化是数据质量提升的重要保证。
数据治理之术
数据梳理与建模
数据模型
数据模型是一组反映数据需
求和设计的数据规范与相关图示
求和设计的数据规范与相关图示
3要素
1.数据结构
2. 数据操作
3. 数据约束
3种类型
概念模型
子主题
子主题
逻辑模型
子主题
物理模型
子主题
子主题
重要性
(1)更高的质量
(2)更低的成本
(3)更明确的范围
(4)更快的性能
(5)更少的数据错误
(6)良好数据治理的开端
数据梳理
自上而下的数据梳理
方法
(1)数据域梳理
(2)数据主题梳理
(3)数据实体梳理
(4)设计数据模型
优点
全面、系统的梳理,通过数据域→数据主题→数据实体→数据
模型的逐层分解,使企业清晰地了解到企业数据的来龙去脉,有助于企业
把握各类数据的源头,确保信息的有效性、完整性和一致性,有效消除信
息孤岛。
模型的逐层分解,使企业清晰地了解到企业数据的来龙去脉,有助于企业
把握各类数据的源头,确保信息的有效性、完整性和一致性,有效消除信
息孤岛。
缺点
全面的数据梳理意味着较大的成本和较长的时间周期
自下而上的数据梳理
方法
(1)需求分析
(2)展现
(3)分析逻辑
(4)数据建模
优点
目的性强,从既定的需求出发到具体的数据结构设计,越到底
层变化的可能性越小。与从整体出发的大规模调研规划相比,这种方法的
周期更短、见效更快。
层变化的可能性越小。与从整体出发的大规模调研规划相比,这种方法的
周期更短、见效更快。
缺点
局部梳理,缺乏全面性和系统性,无法支撑企业顶层的数据架
构设计。一般来说,有了明确的项目目标和需求的情况下采用该方法较
佳。
构设计。一般来说,有了明确的项目目标和需求的情况下采用该方法较
佳。
数据建模技术和方法
ER模型
示例
构成
实体
子主题
子主题
属性
(1)键属性
(2)复合属性
(3)多值属性
(4)派生属性
关系
(1)一对一关系
(2)一对多关系
(3)多对一关系
(4)多对多关系
步骤
1. 定义需求范围
2. 定义实体类型
3. 定义实体关系
4. 定义非键属性
5. 确认模型
建模技术UML
UML(Unified Modeling Language,统一建模语言)是一种由一组集
成图组成的标准化建模语言,旨在帮助系统和软件开发人员以可视化的方
式构建和记录软件系统的构件,以及进行业务建模和其他非软件系统建
模。UML代表了一组最佳工程实践,这些实践已被证明在大型复杂系统的
建模中取得了成功。作为一种建模语言,UML有严格的语法和语义规范
成图组成的标准化建模语言,旨在帮助系统和软件开发人员以可视化的方
式构建和记录软件系统的构件,以及进行业务建模和其他非软件系统建
模。UML代表了一组最佳工程实践,这些实践已被证明在大型复杂系统的
建模中取得了成功。作为一种建模语言,UML有严格的语法和语义规范
支持
功能模型:从用户的角度展示系统的功能,包括用例图和部署图
对象模型:采用对象、属性、操作、关联等概念展示系统的结构和
基础,包括类图、对象图、组件图
基础,包括类图、对象图、组件图
动态模型:展现系统的内部行为,包括序列图、活动图、状态图、
通信图
通信图
数据建模与数据治理
数据模型与数据治理的关系
1. 数据模型VS元数据
2. 数据模型VS主数据
3. 数据模型VS数据质量
4. 数据模型VS数据标准
5. 数据模型VS数据安全
6. 数据模型VS数据仓库
7. 数据模型VS数据集成
8. 数据模型VS数据操作
数据建模是数据治理的开端
数据建模从概念模型到物理模型的逐步递进,数据模型设计、对数据
进行定义和标准化是基础性工作,在开展数据治理时,有必要以最简单的
方式进行数据建模。
进行定义和标准化是基础性工作,在开展数据治理时,有必要以最简单的
方式进行数据建模。
数据模型管理存在的3个问题
1. 数据模型变更随意
2. 辅助性工具缺失
3. 数据模型共享不及时
数据模型管理的3个有效措施
1. 严控数据模型变更
2. 使用辅助工具
3. 共享数据模型
数据模型驱动数据治理
1. 数据模型驱动,提高团队协作
2. 数据模型驱动,消除信息孤岛
3. 数据模型驱动,改进业务流程
4. 数据模型驱动,防范项目风险
5. 数据模型驱动,加速数据治理
元数据管理
概述
元数据
用5W1H模型来理解元数据
示例
示例1:歌词中的元数据
示例2:户口本中的元数据
示例3:图书馆中的元数据
示例4:元数据好比字典
示例5:元数据就像地图
3种类型
1. 业务元数据
2. 技术元数据
3. 操作元数据
元数据的分类(以“客户”信息为例)
6个作用
描述:对数据对象的内容、属性的描述,这是元数据的基本功能,
是各组织、各部门之间达成共识的基础。
是各组织、各部门之间达成共识的基础。
定位:有关数据资源位置方面的信息描述,如数据存储位置、URL
等记录,可以帮助用户快速找到数据资源,有利于信息的发现和检
索。
等记录,可以帮助用户快速找到数据资源,有利于信息的发现和检
索。
检索:在描述数据的过程中,将信息对象中的重要信息抽出标引并
加以组织,建立它们之间的关系,为用户提供多层次、多途径的检
索体系,帮助用户找到想要的信息。
加以组织,建立它们之间的关系,为用户提供多层次、多途径的检
索体系,帮助用户找到想要的信息。
管理:对数据对象的版本、管理和使用权限的描述,方面信息对象
管理和使用。
管理和使用。
评估:由于有元数据描述,用户在不浏览具体数据对象的情况下也
能对数据对象有个直观的认识,方便用户的使用
能对数据对象有个直观的认识,方便用户的使用
交互:元数据对数据结构、数据关系的描述方便了数据对象在不同
部门、不同系统之间进行流通和流转,并确保流转过程中数据标准
的一致性
部门、不同系统之间进行流通和流转,并确保流转过程中数据标准
的一致性
元数据管理
多角度理解
技术角度:元数据管理着企业的数据源系统、数据平台、数据仓
库、数据模型、数据库、表、字段以及字段间的数据关系等技术元
数据。
库、数据模型、数据库、表、字段以及字段间的数据关系等技术元
数据。
业务角度:元数据管理着企业的业务术语表、业务规则、质量规
则、安全策略以及表的加工策略、表的生命周期信息等业务元数
据。
则、安全策略以及表的加工策略、表的生命周期信息等业务元数
据。
应用角度:元数据管理为数据提供了完整的加工处理全链路跟踪,
方便数据的溯源和审计,这对于数据的合规使用越来越重要。通过
数据血缘分析,追溯发生数据质量问题和其他错误的根本原因,并
对更改后的元数据进行影响分析
方便数据的溯源和审计,这对于数据的合规使用越来越重要。通过
数据血缘分析,追溯发生数据质量问题和其他错误的根本原因,并
对更改后的元数据进行影响分析
主要活动
创建并记录主题领域的实体和属性的数据定义
识别数据对象之间的业务规则和关系
证明数据内容的准确性、完整性和及时性
建立和记录内容的上下文(数据血缘、数据影响的全链路跟踪分
析)
析)
为多样化的数据用户提供一系列上下文理解,包括用于合规性、内
部控制和更好决策的可信数据
部控制和更好决策的可信数据
为技术人员提供元数据信息,支持数据库或应用的开发
3个目标
1. 建立指标解释体系
2. 提高数据溯源能力
3. 数据质量稽核体系
4个挑战
1. 局部的元数据管理
2. 手动的元数据管理
3. 日趋复杂的数据环境
4. 数据的频繁变化
4个阶段
1. 分布式桥接阶段
2. 中央存储库阶段
3. 元数据仓库阶段
4. 智能化管理阶段
(1)元数据提取
(2)元数据整合
(3)元数据维护
方法
业务目标理解
(1)建立企业数据资产目录
(2)消除冗余,加强数据复用
(3)降低因人员流动而导致知识流失的风险
(4)提供数据血缘探查能力,提高数据分析的质量
元数据需求规划
重点关注的需求
元数据模型需求:命名规范、结构、元素及关联关系等。
元数据接口需求:元数据资料库及其内容,适配器、所有者、系统
访问、元数据血缘关系等。
访问、元数据血缘关系等。
元数据系统需求:元数据采集、元数据管理、元数据应用等
数据安全需求:数据的分类分级、敏感数据分布、敏感数据管理要
求等。
求等。
数据质量需求:数据质量规则、数据标准定义等。
数据管理需求:数据管理的组织、流程、制度、考核等
步骤
1)企业战略调研:调研企业的业务发展战略和主要业务领域的业务发
展规划,梳理IT建设的历史、现状和初步规划。
展规划,梳理IT建设的历史、现状和初步规划。
2)数据管理调研:调研企业数据管理的背景、问题、目标,以及企业
数据管理目前的相关制度、流程和组织。
数据管理目前的相关制度、流程和组织。
3)元数据现状清单:功能性信息需求、逻辑模型、物理模型、业务术
语字典、已有数据环境、系统文档等。
语字典、已有数据环境、系统文档等。
4)数据问题分析:基于现状评估及成熟度评估,找出差异,定位问题
并进行问题根本原因分析,结合行业业务、数据发展要求,制定问题解决
优先级计划,并制定改进方案。
并进行问题根本原因分析,结合行业业务、数据发展要求,制定问题解决
优先级计划,并制定改进方案。
5)制定行动路线:元数据实施路线的制定应聚焦企业当前最紧迫、最
重要的建设内容,确保项目范围可控、成效可见。
重要的建设内容,确保项目范围可控、成效可见。
元数据规划设计
1. 元数据设计原则
(1)简单性与准确性原则
(2)互操作性原则
(3)可扩展性原则
(4)用户需求原则
2. 元数据设计步骤
(1)元数据分类
(2)元数据定义
(3)元数据获取
(4)元数据发布
元数据管理体系设计
组织保障:明确业务牵头部门、业务与信息化的协作关系,明确各
部门数据认责范围。在数据治理团队的指导下,针对企业的数据管
理组织现状,建立公司高层支持、中层管理协调、基层执行三个层
面的数据治理组织,明确各层的工作职责,为元数据管理工作提供
组织保障。
部门数据认责范围。在数据治理团队的指导下,针对企业的数据管
理组织现状,建立公司高层支持、中层管理协调、基层执行三个层
面的数据治理组织,明确各层的工作职责,为元数据管理工作提供
组织保障。
制度保障:元数据管理是企业的IT基础设施,涉及的系统较广,需
要调动的资源较多,在实施的过程中,企业高层管理者需要给予强
有力的支持,并制定相应的规章制度进行保障,这是项目实施持续
推进的动力。
要调动的资源较多,在实施的过程中,企业高层管理者需要给予强
有力的支持,并制定相应的规章制度进行保障,这是项目实施持续
推进的动力。
流程保障:为保证数据治理措施的落地执行,需要从数据认责、标
准管理、质量管理等多个方面进行流程设计,制定企业范围内数据
的变更管理流程,保证信息系统中的数据与管理规范、数据标准的
一致性。
准管理、质量管理等多个方面进行流程设计,制定企业范围内数据
的变更管理流程,保证信息系统中的数据与管理规范、数据标准的
一致性。
技术与工具:搭建统一的元数据管理平台,实现企业级元数据集中
管控,支持元数据采集、元数据管理、元数据共享、元数据血统分
析、元数据影响分析、企业数据地图等功能。
管控,支持元数据采集、元数据管理、元数据共享、元数据血统分
析、元数据影响分析、企业数据地图等功能。
运营维护:定义捕获、维护业务元数据、技术元数据、操作元数
据,定期分发和交付元数据
据,定期分发和交付元数据
监控管理:提供元数据的新增和变更流程,控制元数据新增、变更
等操作,支持元数据的日常监控,管理元数据版本,做好元数据的
血缘分析、影响分析
等操作,支持元数据的日常监控,管理元数据版本,做好元数据的
血缘分析、影响分析
统计分析:元数据系统运营情况统计报告,支持元数据查询、元数
据使用情况分析(如冷热度分析)等。
据使用情况分析(如冷热度分析)等。
宣传推广:通过企业内部网络、会议等各种渠道,推广元数据管理
平台,提高元数据管理平台的使用量,提升元数据在企业中的价值
认识度。
平台,提高元数据管理平台的使用量,提升元数据在企业中的价值
认识度。
技术
元数据采集
1. 关系型数据库
2. NoSQL数据库
3. 数据仓库
4. 云中的元数据
5. 其他元数据适配器
元数据管理
1. 元模型管理
2. 元数据审核
3. 元数据维护
4. 元数据版本管理
5. 元数据变更管理
元数据应用
1. 数据资产地图
2. 元数据血缘分析
3. 元数据影响分析
4. 元数据冷热度分析
5. 元数据关联度分析
元数据接口
数据标准管理
概述
数据标准
“数据标准(Data Standards)是指保障数据的内外部使用与交换的一
致性和准确性的规范性约束。在数字化过程中,数据是业务活动在信息系
统中的真实反映,由于业务对象在信息系统中以数据的形式存在,数据标
准相关管理活动均须以业务为基础,并以标准的形式规范业务对象在各信
息系统中的统一定义和应用,以提升企业在业务协同、监管合规、数据共
享开放、数据分析应用等各方面的能力。”
致性和准确性的规范性约束。在数字化过程中,数据是业务活动在信息系
统中的真实反映,由于业务对象在信息系统中以数据的形式存在,数据标
准相关管理活动均须以业务为基础,并以标准的形式规范业务对象在各信
息系统中的统一定义和应用,以提升企业在业务协同、监管合规、数据共
享开放、数据分析应用等各方面的能力。”
作用
数据标准适用于业务数据描述、信息管理及应用系统开发,既可作为
经营管理中所涉及数据的规范化定义和统一解释,也可作为数据管理的基
础,同时也是在应用系统开发时进行数据定义的依据
经营管理中所涉及数据的规范化定义和统一解释,也可作为数据管理的基
础,同时也是在应用系统开发时进行数据定义的依据
数据标准化
(1)数据标准化是建立各部门共识的过程
(2)数据标准是各系统数据整合的基础
数据标准与数据治理
(1)数据标准与主数据的关系
(2)数据标准与元数据的关系
(3)数据标准与数据质量的关系
3个常见问题
(1)数据语义不清晰
(2)数据定义和使用语境
(3)标准的制定和使用两层皮
意义
(1)业务方面
(2)技术方面
(3)管理方面
内容
模型标准
数据模型标准通过技术元数据、业务元数据进行模型描述,将业务信
息和技术信息完整体现在数据模型中,并确保数据模型能够准确、完整地
反映业务需求和相关技术约束
息和技术信息完整体现在数据模型中,并确保数据模型能够准确、完整地
反映业务需求和相关技术约束
重点考虑
(1)数据模型规范化
(2)数据模型标准性
(3)数据模型一致性
(4)数据模型可读性
基础数据标准
一个基础数据标准的实
例
例
主数据与参考数据标准
人员是一个主数据,人员的性别、民族、学历是它的参考数
据,如图
据,如图
主数据标准
主数据分类
主数据编码
主数据模型
指标数据标准
指标数据标准是在实体数据基础之上增加了统计维度、计算方式、分
析规则等信息加工后的数据,它是对企业业务指标所涉及指标项的统一定
义和管理。指标数据标准与基础数据标准一样,也包含业务属性、技术属
性、管理属性三部分,如图
析规则等信息加工后的数据,它是对企业业务指标所涉及指标项的统一定
义和管理。指标数据标准与基础数据标准一样,也包含业务属性、技术属
性、管理属性三部分,如图
管理体系
数据标准管理组织
数据标准管理流程
1. 数据标准梳理
2. 数据标准编制
的3个最佳实践
(1)头脑风暴会议
(2)标准差异分析
(3)标准影响评估
3. 数据标准审查
(1)数据标准征集意见
(2)数据标准专家评审
4. 数据标准发布
5. 数据标准贯彻
3个关键实践
(1)数据标准宣贯
(2)对业务部门的要求
(3)对应用系统的要求
数据标准管理办法
4个最佳实践
(1)业务主导
(2)循序渐进
(3)动态管理
(4)应用为王
主数据管理
概述
主数据
“主数据(Master Data)是具有共享性的基础数据,可以在企业内跨越
各个业务部门被重复使用,比如,可以是与客户、供应商、账户及组织单
位相关的数据,因此通常长期存在且应用于多个系统。”
各个业务部门被重复使用,比如,可以是与客户、供应商、账户及组织单
位相关的数据,因此通常长期存在且应用于多个系统。”
3个特征
高价值
高共享
相对稳定
4个超越
超越业务
超越部门
超越系统
超越技术
主数据管理
意义
(1)打破孤岛,提升数据质量
(2)统一认知,提升业务效率
(3)集中管控,提升管理效能
(4)数据驱动,提升决策水平
方法
摸家底阶段
1. 企业战略理解
2. 业务需求调研
3. 系统现状调研
4. 主数据梳理
(1)自顶向下的梳理和调研
子主题
优点
能让企业对现有数据资源有个全面、系统的认识。特别是通过
对职能域之间交叉信息的梳理,使企业更加清晰地了解到企业信息的来龙
去脉,有助于企业把握各类信息的源头,有效消除信息孤岛和数据冗余,
控制数据的唯一性和准确性,确保获取信息的有效性。
对职能域之间交叉信息的梳理,使企业更加清晰地了解到企业信息的来龙
去脉,有助于企业把握各类信息的源头,有效消除信息孤岛和数据冗余,
控制数据的唯一性和准确性,确保获取信息的有效性。
缺点
成本较高,周期较长。这种方法适用于包含咨询的主数据项目
建设。
建设。
(2)自底向上的梳理和调研
优点:针对性强,快速实施,成本和周期可控,快速见效。
缺点:梳理的数据不够全面和系统。这种方法适用于项目目标和范围
相对明确的主数据管理项目。
相对明确的主数据管理项目。
5. 识别主数据
(1)识别主数据的两个方法
方法一:主数据特征识别法
方法二:业务影响和共享程度分析矩阵
(2)识别消费者和生产者
子主题
6. 评估管理能力
建体系阶段
1. 主数据组织体系
(1)建立主数据管理组织的原则
(2)建立主数据组织的目标
(3)建立一个什么样的组织
2. 主数据标准体系
3. 制度与流程体系
4. 主数据技术体系
5. 主数据安全体系
接数据阶段
1. 主数据接入
2. 主数据清洗
(1)主数据清洗方案
(2)主数据清洗方式
3. 主数据分发
抓运营阶段
1. 主数据管理
2. 主数据推广
第一,组织的横向推广,即将已实现标准化的主数据推广至更多的单
位、部门或系统。
位、部门或系统。
第二,数据的纵深推广,即主数据的分阶段、分批次迭代实施。
第三,做好主数据的培训和宣贯。
3. 主数据质量管理
4. 主数据变现
(1)整合协同,降本增效
(2)增加收入,提升盈利
(3)控制风险,确保合规
(4)数据驱动,智能决策
(5)数据即服务,数据即资产
技术
数据分类
1. 主数据分类原则
科学性:信息分类的客观依据。通常会选用事物最稳定的本质属性
或特征作为分类的基础和依据,这样有利于保证分类的稳定性和持
久性。
或特征作为分类的基础和依据,这样有利于保证分类的稳定性和持
久性。
系统性:将选定的事物属性或特征按一定的排列顺序进行系统化,
形成一个合理的分类体系。
形成一个合理的分类体系。
扩展性:分类体系的建立应满足事物不断发展和变化的需要。
兼容性:某一系统的信息分类涉及一个或几个其他信息系统时,信
息的分类原则及类目设置应尽可能与有关标准取得一致。
息的分类原则及类目设置应尽可能与有关标准取得一致。
实用性:在满足企业总体管理要求的前提下,尽可能满足各部门业
务的实际使用需求。
务的实际使用需求。
2. 主数据分类方法
(1)线分类法
子主题
优点:分类层次性好,不重复,不交叉,能较好地反映类目之间的逻
辑关系,它既符合手工处理信息的传统习惯,又便于计算机处理。
辑关系,它既符合手工处理信息的传统习惯,又便于计算机处理。
缺点:揭示事物特性的能力差,具有一定的局限性,不便于根据需要
随时改变,也不适合多维度的信息检索。
随时改变,也不适合多维度的信息检索。
(2)面分类法
子主题
优点:具有一定的伸缩性,易于添加和修改类目,一个面中的类目改
变,不会影响到其他的面,而且可以对面进行增删。适应性强,可根据任
意面的组合方式进行分类的检索,有利于计算机的信息处理。
变,不会影响到其他的面,而且可以对面进行增删。适应性强,可根据任
意面的组合方式进行分类的检索,有利于计算机的信息处理。
缺点:不能充分利用编码空间,编码的组配方式很多,但实际应用到
的组配类目不多。
的组配类目不多。
(3)混合分类法
主数据编码
1. 主数据编码原则
2.主数据编码方法
子主题
子主题
3. 主数据编码颗粒度
子主题
主数据集成
1. 主数据集成架构
2. 与数据源系统的集成
(1)基于标准Web服务的数据同步
(2)基于ETL工具的数据同步
3. 与数据消费系统的集成
(1)基于Web接口的“推送”模式
(2)基于Web接口的“拉取”模式
(3)基于ETL的数据同步
4. 主数据集成联调流程
子主题
7个最佳实践
1. 大目标,小步骤
2. 业务驱动,技术引领
3. 重视主数据编码设计
4. 数据清洗是个苦差吗
5. 主数据标准如何平滑落地
(1)简单粗暴式
(2)断点切换模式
(3)平滑过渡模式
6. 企业小数据融合社会大数据
7. 主数据运营平凡但不简单
数据质量管理
概述
0 条评论
下一页