DAMA数据管理知识体系指南-读书笔记
2021-11-30 20:43:40 9 举报AI智能生成
DAMA数据管理知识体系指南-读书笔记
作者其他创作
大纲/内容
1、数据管理
定义
为交付、控制、保护、提升数据和信息资产的价值，
在其生命周期中制定计划、制度、实践活动且监督执行的过程。
（如大到制定数字战略、小到定义字段名称）
在其生命周期中制定计划、制度、实践活动且监督执行的过程。
（如大到制定数字战略、小到定义字段名称）
目标
支撑企业及利益相关方的信息需求得到满足
保障数据从获取到使用各阶段的完整性、安全性、有效性、正确性等
为企业创造价值
原则
是业务的需求
是对数据的质量进行管理（会体现到业务流程的管控）
需要元数据来管理数据
【元数据】：描述了组织拥有什么数据、表示什么、
有什么用、从哪儿来、涉及哪些应用
有什么用、从哪儿来、涉及哪些应用
需要规划（和业务、技术规划同步）
须驱动信息技术决策
依赖不同技能
是跨职能
需要企业视角
要为多方需求负责
是生命周期管理
不同类型数据有不同生命周期特征
要将数据风险管理纳入进来
框架模型
战略一致性模型
阿姆斯特丹信息模型
DAMA-DMBOK框架
DMBOK金字塔
2、数据伦理
定义
以符合道德准则及社会责任的方式去获取、存储、管理、应用、销毁数据
目标
定义企业的数据使用的伦理规范
监管、调整企业伦理准则行为
教导员工不正当使用的企业风险
3、数据治理
定义
在数据资产管理过程中，对其制定规范(业务、流程、信息)->监测->执行，
以保障数据被正确使用从而获得间接收益
以保障数据被正确使用从而获得间接收益
与【数据管理】的差异：治理是基于总体视角来保证数据被正确管理（立法），
而数据管理是基于执行层面来保证达到既定目标（执法）
而数据管理是基于执行层面来保证达到既定目标（执法）
目标
提升企业管理数据资产能力
规划、批准、实施数据管理原则、制度、工具、指标
过程
现状评估
调研数据管理成熟度
系统端对数据的处理方式、数据底座的搭建情况
业务端对报告级别、数据工具使用的程度
调研企业的变革能力
组织结构
企业文化
变革管理过程中潜在的阻力
规划组织
【数据治理指导委员会】~ 跨职能的高层管理人员(VP级)，负责监督、支持、协调、资助
【数据治理委员会】~ 中层管理人员，负责规划、流程的制定
【数据治理办公室】~ 数据管家、业务专家，负责数据标准制定、数据资产管理
【数据管理团队】~ 数据专员、技术专员、业务专员，负责标准的执行
制定战略
制定运营框架
制定目标、原则、制度
推动并参与变革管理
参与问题管理
实施数据治理
发起数据标准和规程
数据架构
基于什么样的平台、搭建什么样的技术架构
数据建模与设计
域划分、层级切分、命名
数据存储与操作
数据安全
访问
监控
审计
灾备
数据集成
ETL
时延
复制
归档
交互
参考数据与主数据
元数据
制定业务术语表
核心业务概念
业务数据指标
协调团队协作
发起数据资产估值
嵌入数据治理
辅助工具
线上应用、网站
工作流工具
文档管理工具
数据治理计分卡
效果评估
价值
对业务目标的贡献
运营效率的提高
降低的风险
有效性
可持续性
制度和流程的执行情况
标准和规程的遵从情况
4、数据架构
定义
对各组件有组织的设计
目标
有效管理数据、数据间关系、数据存储和使用数据的系统
组成
不同层级的模型、定义、数据流、数据映射
过程
定义范围
确定项目范围外的利益相关方的依赖性
确定重要的数据要素组件、以及是否可复用
理解业务需求
业务现状、痛点
实体
业务价值
资源
设计
数据生命周期内的业务规则
当前规则
历史规则
模型标准
企业架构知识库
实施
建立数据架构团队
建立工作方式、分工
建立数据架构构件的初始版本
企业数据模型
企业范围数据流
路线图
自由主题
5、数据建模
定义
是发现、分析、确定数据需求的过程，在该过程中将来源于各个业务系统的差异化数据按照
统一标准、有序、分门别类的进行整合后形成可读性强、高效、高质量、复用性强、可共享的数据结构
统一标准、有序、分门别类的进行整合后形成可读性强、高效、高质量、复用性强、可共享的数据结构
目标
从多个维度上记录下对数据需求的理解，并能覆盖当前及未来的业务发展，
为完更多的数据据应用及数据管理奠定基础
为完更多的数据据应用及数据管理奠定基础
组成
实体
组织收集信息时的载体，可以是一个名词(如who、when、where、why、what)，
也可以是一个完整的事件。
也可以是一个完整的事件。
维度模型中称为维度、事实表，
面向对象模型中称为类、对象，
非关系型数据库模型中称为文件、节点
面向对象模型中称为类、对象，
非关系型数据库模型中称为文件、节点
关系
实体之间的关联，即实体间通过什么关联、怎样关联
属性
一种定义、描述（看事务的一种角度)或度量实体某方面的性质
键
主键(唯一标识)、外键(和外部关联的对象)
域
对相似属性的归来，根据属性的特征进行标准化
类别
关系建模
适应于事务性操作型系统，精准表达业务过程，消除冗余
维度建模
适应敏捷式的分析型系统，擅长针对特定业务过程
面向对象建模
基于事实建模
基于时间序列建模
数据拱顶模型
锚模型
非关系型建模
基于非关系型数据库的建模方式，包括文档、键值、列、图
过程
规划
评估组织需求
确定建模标准
明确数据模型
建立
业务建模
业务调研
需求调研
数据调研
形成概念模型
面向业务过程，对业务过程的描述，清晰在这个过程中发生的角色、事件、之间的关系，
可用业务流程图来表示
可用业务流程图来表示
领域建模
确定主题域
逻辑建模
定义
面向业务过程的数据过程，对过程对应的实体及之间关系的描述，可用ER图来表示
过程
确定实体
确定关系
分层
物理建模
定义
面向数据系统，对逻辑模型中的实体及关系在系统中进行物化落地，
可用数据库中实体表来表示
可用数据库中实体表来表示
过程
从逻辑模型中抽象出独立的实体
补充属性
补充参考对象
确定主键
逆规范化（维度退化）
确定分区
审核
建立数据模型计分卡，来评判模型的可用性、正确性、可读性、通用性、完整性
维护
8、数据集成与互操作
定义
数据集成：将数据整合成物理的或虚拟的一致格式
互操作：数据在多个系统间进行通信交互
目标
将不同源的系统产生的数据归集到数据中心，及时按照数据消费者要求提供安全合规的数据；
10、参考数据和主数据
定义
参考数据
用于描述或分类数据的数据，也可以是将数据和组织外部信息联系起来的数据。
由代码与描述组成。
由代码与描述组成。
主数据
为业务交易和分析提供语境信息的数据，如在何时、何地进行了何物的买卖
目标
确保组织在不同业务过程中使用一致、完整、权威的基础数据
通过建立标准、通用的模型，降低数据使用和整合的成本及复杂性、差异性
管理过程
识别驱动因素和需求
满足组织的数据需求
管理数据的质量
降低数据集成的成本
降低使用风险
评估现状
了解数据的完整性，包括定义、粒度、命名
了解数据的质量
定义架构方法
小型组织-交易中心模式
全球性组织-注册表模式
建模
定义管理职责和维护过程
建立治理制度，推动使用
实施指南
遵循主数据架构
检测数据流动
管理数据变更
制定数据共享协议
变革组织和文化
12、元数据管理
定义
描述、管理数据的数据。表示①数据本身(以什么形式、单位存储在哪儿)，
②代表的概念(业务含义)，③数据与概念的关系。包含计数和业务流程，
数据规则和约束，逻辑数据结构与物理数据结构等。
②代表的概念(业务含义)，③数据与概念的关系。包含计数和业务流程，
数据规则和约束，逻辑数据结构与物理数据结构等。
目标
记录和管理数据相关的业务术语体系，确保数据的权威性
提供途径，使元数据使用者(人员、系统、流程)可以访问
集中管理，收集和整合来自不同来源的元数据
分类
结构化数据
业务元数据
关注数据的内容和条件，包括主题域、概念、实体、属性的非技术名称和定义，
数据类型、计算共识、业务规则、有效的阈值范围
数据类型、计算共识、业务规则、有效的阈值范围
技术元数据
关注数据的技术细节，包括存储(系统、数据库、表、字段)、物理数据模型(表名、键、索引)、
权限(访问权限)、ETL作业、备份与恢复机制等
权限(访问权限)、ETL作业、备份与恢复机制等
操作元数据
关注处理和访问数据的细节，包括程序执行日志、ETL作业日志、数据库审计日志、
系统错误日志等
系统错误日志等
非结构化数据
描述元数据
包括目录信息等
结构元数据
包括标签、字段结构等
管理元数据
包括更新计划、访问权限、导航信息等
书目元数据
记录元数据
保存元数据
13、数据质量
定义
为保障满足数据消费者的需求，对数据的全生命周期进行规划、实施、控制等管理活动
目标
定义数据生产、使用过程的标准、要求、规范
监控、报告数据质量水平
提高数据质量，以保障数据正确的被消费
度量维度
完备性
行级或列级是否都包含
唯一性
不重复存在
及时性
数据是否是最新
有效性
实际数据是否在定义的数据类型、格式、精度范围之内
准确性
是否符合常识、真实世界
一致性
在不同数据集间被引用时保持一致
完整性
引用完整性，即有关联的对象间是否具备完整的关联关系
可访问性
过程
预防
规划
定义高质量数据
建立数据输入规则、标准
定义数据质量战略
建立针对数据生产者录的培训导入机制
实施数据治理和管理制度
调研
识别关键数据和业务规则
执行初始数据质量评估
识别数据质量改进目标并确定优先级
执行
开发落地数据质量操作
管理数据质量规则
规则嵌入流程、业务过程
制定变更流程
监控
建立测量、监控数据质量平台
数据元素值
数据实例或记录
数据集
纠正
处理
解决新出现的数据质量问题的活动
0 条评论
下一页
