数据治理体系
2023-08-31 14:08:10 4 举报AI智能生成
全面分析数据治理体系建设要点，纲领
作者其他创作
大纲/内容
项目实施
项目规划阶段
了解项目背景
组建项目团队
项目启动大会
蓝图设计阶段
需求调研及分析
调研目标
充分了解企业在数据管理、数据分类、数据标准等方面的现状以及需求痛点
调研部门
集团本部业务部门及其分子公司的业务部门
调研方式
问卷调研、现场访谈
调研计划
包含时间、地点、人员、联系方式、调研对象
调研产出物
《××部门访谈记录》、 《××集团主数据调研报告》
模版
主数据治理工作概况调研问卷
主数据类型及应用情况表
主数据表结构（含从表）
确定实施方案
数据治理模型
数据治理价值
数据资产管理
实施建设阶段
管理体系建设
数据治理体系框架
战略
机制
领域
技术支撑
数据治理管理体系建设
数据治理支撑体系建设
数据治理组织体系
系统能力建设
总体架构
技术架构
子主题
数据治理实施具体流程
建立起闭环式覆盖数据治理咨询规划、方案制定、执行和评价的数据治理统一流程
系统功能建设
数据标准管理
元数据管理
数据质量管理
数据集成管理
数据资产管理
数据安全管理
数据应用
子主题
数据管控系统
需求范围管理
需求管理会贯穿至项目整个生命周期，尤其在项目中期阶段，每个需求的变化或调整都会对项目的整体进度或发展产生影响。
每当一个新的需求提出，一定要先从客户的角度上去考虑需求增加或调整的内在逻辑，再结合系统本身的功能以及用户的实际业务需要进行综合考虑。
如果确实是合理的需求，也要充分结合项目进展情况来分析是要放在当前版本实现
每当一个新的需求提出，一定要先从客户的角度上去考虑需求增加或调整的内在逻辑，再结合系统本身的功能以及用户的实际业务需要进行综合考虑。
如果确实是合理的需求，也要充分结合项目进展情况来分析是要放在当前版本实现
项目验收阶段
用户培训
试运行及上线
运维管理
关键点
业务价值
数据
技术
组织架构和制度
9大核心领域
数据标准
分类
基础数据标准
指业务流程中直接产生的，未经过加工和处理的基础业务信息。
指标数据标准
指标数据标准是在基础类数据基础上按照一定业务规则加工汇总的数据。
主要构成
业务定义
主要是明确标准所属的业务主题以及标准的业务概念，包括标准名称、业务定义扩展业务定义、业务使用规则、标准来源、相关业务信息编号等
管理信息
明确标准的所有者、管理人员使用部门等内容，从而使数据标准的管理和维护工作有明确的责任主体，保障数据标准的持续更新和改进
技术属性
描述数据类型、数据格式、数据长度以及数据来源系统等技术属性，从而能够对信息系统的建设和使用提供指导和约束
核心内容
主题定义和分类
主题定义:明确业务主题 (如客户)的概念、本质与内涵
主题基础分类:明确业务主题在客户的分类体系。
标准属性
数据项应遵循的标准属性和业务规则的统一定义与解释。包括所属主题、数据项级别、中文名称、英文名称、引用的数据项名称代码名称、业务定义、定义依据、参考标准、业务主管部门、重要性分类、数据类型、数据长度。
标准代码
明确数据标准定义中所涉及的代码取值和业务含义包括代码编号、代码中文名称、代码值、代码项名称、代码描述、代码值编码规则
数据标准类型
如：性别、身份证、金额、手机号码、行业、级别的分级分类的代码等
管理体系
基础类数据标准：业务化视角
指标类数据标准：从管理角度出发
要点
循序渐进不断完善
具有前瞻性
内外兼顾
业务部门全程参与
全面标准审阅流程
架构体系
管理类数据标准建设原则
定义
分析类数据标准的业务含义和所适用的业务场景保持一致
口径
分析类数据标准的业务取值范围、计算方法和编码规则等业务规则保持一直。
名称
分析类数据标准中文名称和英文名称均采用统一命名规则，表示相同业务含义的信息项名称应保持一直。
参照
各分析类数据标准项标准化时参考的外部标准（包括国际标准、国家标准和行业标准），内部业务制度和业务规范应保持一致。
来源
每个分析类数据标准都应有权威的来源系统；其他系统使用该信息时应直接取用权威系统结果，以保持一致。
示例
生命周期
实施步骤
制定目标和界定范围：首先明确数据标准目标，然后根据企业自身的管理和业务发展需求制定数据标准
数据标准调研：调研企业数据标准现状，梳理问题点，为后续的数据标准落地提供支撑和指导
明确组织和流程：确定数据治理管控委员会，数据标准管理岗，数据标准管理专员等岗位角色及责权分配，同步制定标准变更、落地、管理流程，充分保障数据标准落实
数据标准编制与发布：通过收集国标、行标要求，结合企业自身管理和业务要求，经过各部门的协调沟通后，制定出初版的数据标准管理文档。经过数据标准审核后，正式发布
数据标准宣贯：向内部组织数据标准宣贯会，提升企业内部人员对数据标准管理的理解及重视程度，让数据标准可以更好更快实行，从而发挥价值
数据标准平台落地运营：落地数据标准管理平台，通过管理、技术、业务不同维度验证有效性，确定满足要求后，投入到实际场景中。此外，还需定期评估，保障数据标准与企业管理经营发展的适应性
元数据
解决的问题
有什么数据 - 数据是什么 - 来自何处 - 如何流转 - 谁可以访问
其本质也是一种数据，，开展元数据管理工作是开展数据资产管理的基础
其本质也是一种数据，，开展元数据管理工作是开展数据资产管理的基础
分类
业务元数据
技术元数据
管理元数据
模型成熟度
第一阶段
第二阶段
第三阶段
建设目标
版本化管理
系统化管理
易用性管理
信息价值管理
自动化管理
标准化管理
企业级管理
管理手段
管理方法
管理能力
元数据管理和维护
通过采集工具、页面管理等对各类元数据进行管理和维护；提供各类元数据间的调用关系管理
版本管理
提供元数据基线管理、版本制作、版本提交等功能，并实现与相关本发布系统或平台的有效对接
权限管理
元数据管理系统采用分类权限、分角色授权等原则，对访问元数据管理系统进行权限控制
元数据应用
根据元数据类别展示元数据信息，包括分布情况，数据地图、血缘分析、影响分析
信息统计分析
提供元数据质量评估、多维度统计和报表功能、元数据变更统计及排名分析等
数据建模
概念
企业级数据模型建设方法：从全局入手，涉及标准化数据模型，构建统一的数据模型管控体系，丰富和完善数据实体相关属性信息，梳理数据实体之间的逻辑关系，最终形成不同主题域数据模型。
分类
概念数据模型
是一种面向用户、面向客观世界的模型，主要用来描述世界的概念化结构，它是数据库的设计人员在设计的初始阶段，摆脱计算机系统及DBMS的具体技术问题，集中精力分析数据以及数据之间的联系等，与具体的数据管理系统(Database Management System，简称DBMS )无关。概念数据模型必须换成逻辑数据模型，才能在DBMS中实现
逻辑数据模型
是一种面向数据库系统的模型，是具体的DBMS所支持的数据模型例如层次数据模型、网状数据模型、关系型数据模型等，此模型既要面向用户，又要面向系统，主要用于数据库管理系统的实现。
物理数据模型
是一种面向计算机物理表示的模型，描述了数据在存储介质上的组织结构，它不但与具体的DBMS有关，而且还与操作系统和硬件有关。每一种逻辑数据模型在实现时都有其对应的物理数据模型。DBMS为了保证其独立性与可移植性，大部分物理数据模型的实现工 2由系统有家而设计者只设计索引、聚集等特殊结构。
生命周期
案例
数据集成
概念
主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程，是一个渐进的过程，主要有新的、不同的数据产生，就不断有数据集成的步骤和方案执行。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机的集中，从而为企业数据共享提供基础支撑。
整体架构
数据生命周期
阶段划分
数据治理规划阶段
业务规划定义阶段：业务规划、业务标准设计
应用设计实现阶段：数据模型设计、应用标准设计、应用设计实现、数据录入
数据生命周期管理阶段
数据创建：利用数据模型保证数据完整、执行数据标准保证数据准确、加入数据质量检查创建准确、保证数据在合理的系统生成；
数据使用：利用元数据监控数据使用、利用数据标准保证数据准确、利用数据质量检查加工准确、确保数据在合理的系统使用、控制数据的派生；
数据归档：利用评估手段保证归档时机、分数据类型规档数据；
数据销毁：利用评估手段保证数据销毁时机，分数据类型销毁数据。
管理要求和手段
管理规范和管理办法
定义
数据生命周期分为：采集、存储、整合、呈现与使用、分析与应用、归档和销毁几个阶段。
数据生命周期管理是一种基于策略的方法，用于管理信息系统的数据在整个生命周期内的流动：从数据创建和初始的存储，直到被删除或销毁。
数据生命周期管理是一种基于策略的方法，用于管理信息系统的数据在整个生命周期内的流动：从数据创建和初始的存储，直到被删除或销毁。
常见的管理模型
在数据管理领域，学术界和企业界的许多研究人员提出了不同的数据生命周期管理模型
数据质量
管理目标
根据数据消费者的需求，开发一种满足数据质量要求的管理方法
定义数据质量控制的标准和规范，并作文整个数据生命周期的一部分
定义和事实测量、监控和报告数据质量水平的过程
根据数据消费者要求，通过改变流程和系统，以及参与可显著改善数据质量的活动，识别和倡导提高数据质量的机会
定义数据质量控制的标准和规范，并作文整个数据生命周期的一部分
定义和事实测量、监控和报告数据质量水平的过程
根据数据消费者要求，通过改变流程和系统，以及参与可显著改善数据质量的活动，识别和倡导提高数据质量的机会
生命周期
计划阶段：数据质量团队评估已知的问题范围、影响和优先级，并评估解决这些问题的备选方案。
执行计划：数据质量团队负责努力解决引起问题的根本原因，并做出对持续监控数据的计划（技术问题、流程问题）。
检查阶段：这一阶段包括积极监控按要求评测的数据质量。
处理阶段：处理和解决新出现的数据质量问题的活动。
执行计划：数据质量团队负责努力解决引起问题的根本原因，并做出对持续监控数据的计划（技术问题、流程问题）。
检查阶段：这一阶段包括积极监控按要求评测的数据质量。
处理阶段：处理和解决新出现的数据质量问题的活动。
数据质量维度
常用工具
定义
数据质量是指数据符合数据消费者的使用目的，需要满足业务场景具体的需求。数据质量包含两个维度：数据自身的质量和数据的过程质量。
数据质量管理是对数据整个生命周期每个阶段里可能引发的数据质量问题，进行识别、度量、监控等一系列管理活动，不断改善组织的管理水平进一步提高数据质量
数据质量管理是对数据整个生命周期每个阶段里可能引发的数据质量问题，进行识别、度量、监控等一系列管理活动，不断改善组织的管理水平进一步提高数据质量
常见问题
数据缺失：指的是一些重要数据未被填充。
针对缺失数据，可通过基础统计分析，找到未填写数据，进行填充
针对缺失数据，可通过基础统计分析，找到未填写数据，进行填充
数据异常：指的是数据与实际业务有较大差别，影响数据分析结果。
针对异常数据，需要基于基础数据，判断数据变量是否超出合理范围，如果异常，系统会自动报警提醒
针对异常数据，需要基于基础数据，判断数据变量是否超出合理范围，如果异常，系统会自动报警提醒
数据不一致：指的是在数据集成汇总的时候，多个系统分布的相同数据，出现不一致的现象。针对数据不一致，可以基于数据抽取规则，对于大部分相同但不一致的数据，进行鉴别和修订
数据重复或错误：指的是一些数据出现重复统计，数据填写错误。
针对重复数据，可以在系统中设置过滤限定条件，自动查重，清除重复数据
针对重复数据，可以在系统中设置过滤限定条件，自动查重，清除重复数据
管理七步曲
定义高质量数据
定义数据质量战略
识别关键业务和质量规则
执行初始数据质量评估
识别改进方向并确定优先级
定义数据质量改进目标
开发和部署数据质量操作
数据开发
定义
围绕数据价值通道（数据资产 -> 数据服务 -> 业务应用）来设计数据开发的全流程管理，推动数据价值的释放。
数据资产
数据资产的应用实现方式，打通基础数据链条，实现联通协同，提升数据价值
生命周期：数据资产生命周期：注册、变更、监控、下线
盘点
自上而下
以业务视角，通过对企业的制度文件、业务流程、业务单据等进行梳理分析，逐层分解，梳理数据资产的逐级目录、业务属性等
自下而上
以技术视角，从IT系统—数据库表—数据结构出发，进行自下而上总结，逐步明确数据资产相关的技术属性
目录
通过数据资产目录，能够明确数据在哪里、由谁负责，如何使用等一系列问题
数据服务
可视化数据服务门户
构建构建统一标准的数据服务目录，便于用户快
速检索和订阅数据服务，缩短数据获取路径，促
进数据价值快速释放
速检索和订阅数据服务，缩短数据获取路径，促
进数据价值快速释放
统一多样化的数据服务
基于标准、规范的数据资源，提供多样化的数据服务，
支持数据查询、API、下载、共享交换、消息服务、沙箱
环境等多种服务方式
支持数据查询、API、下载、共享交换、消息服务、沙箱
环境等多种服务方式
全流程数据安全管控
通过对数据资产分级分类以及服务访问控制，同
时根据数据消费者权限做相应的脱敏和加密处理
保障数据被安全、恰当的使用
时根据数据消费者权限做相应的脱敏和加密处理
保障数据被安全、恰当的使用
一体化管理和治理体系
通过一体化服务管理和治理体系，支撑服务快速封装治理和监控，提供稳定高可用的数据服务
技术架构
数据安全
数据安全体系包含：数据安全技术体系+安全管理体系+安全运营体系
定义
数据安全是保护数字信息资产免遭未经授权的访问、披露、修改或盗窃的做法。
数据安全治理是基于安全合规要求、业务发展需要和风险承受能力等多重因素，实现业务与安全融合发展的安全建设机制。
数据安全治理是基于安全合规要求、业务发展需要和风险承受能力等多重因素，实现业务与安全融合发展的安全建设机制。
管理能力
组织治理
数据安全治理组织可采用5层结构，即决策层、管理层、执行层、监督层和参与层
制度治理
数据安全制度体系主要从4个层面进行建设。
技术能力
数据安全技术能力治理主要是对技术措施的建设，围绕数据全生命周期的各个阶段采取相应的安全防护措施，包括分类分级、数据库审计、加密传输、数据防泄漏、数据脱敏、数据水印、用户行为分析等
运营能力
通过构建数据安全隐患发现及处置机制、数据安全风险评估机制、数据安全突发事件应急响应机制、数据安全监控与审计机制，形成规范化、流程化、智能化运营的长效安全运营体系。
数据交换
定义
数据交换共享是指为了满足不同信息系统之间数据资源的共享需要,依据一定的原则,采取相应的技术,实现不同信息系统之间数据资源共享的过程。
方法
电子或数字文件传输
便携式存储设备
电子邮件
数据库
文件共享服务
原则
一致性
黑盒
敏捷响应
自助使用
可溯源
0 条评论
下一页
