数据治理
2024-04-15 17:50:11 1 举报AI智能生成
数据治理包括架构体现、核心模块、开源项目、法规政策和标准
作者其他创作
大纲/内容
难点&痛点
数据脉络不清晰
数据分散孤立
数据跨层交叉
数据体系不全
数据汇聚能力不足
缺少数据汇聚机制
数据汇聚时效性不高
缺乏多源异构汇聚能力
数据管控能力薄弱
缺乏数据统一标准
数据质量参差不齐
数据口径不齐
安全权限管理分散
治理体系不完善
数据开发和标准脱节
数据开发过程不透明
缺乏全流程可视化管理工具
开放形式不完善
缺少统一数据资产视图
数据开放形式单一
数据价值难以评估
数据治理五个核心
理
梳理组织管核的数据，形成数据脉络
聚
构建全面的数据汇聚机制
管
通过标准管理、元数据管理、质量管理
治
实现数据的清洗、分类、转换、关联、质检、入库等
用
数据治理最终价值体现，通过数据的共享开发、分析挖掘数据价值、赋能数字化业务场景
典型框架
DAMA (Data Management Association) 是由国际数据管理协会 DAMA 提出
DMM (Data Management Maturity) 是由 CMMI 卡耐基-梅隆大学软件研究所 SEI 于2014年发布
DCAM (Data Management Capability Assessment Model) 是由 EDM Council 企业数据管理协会提出
DGI 国际数据治理研究所
DG IBM 数据治理委员会
Gartner 数据治理框架
DCMM (Datamanagement Capability Maturity Model) GB/T36073-2018 《数据管理能力成熟度评估模型》
核心模块
数据集成
数据开发
数据架构
任务
确定业务流程中所需的数据，并定义数据的结构、属性和关系
设计数据流动的路径和机制，确保数据能够在不同业务之间进行复用和共享
统一数据的标准和规范，以确保不同系统之间的数据能够互通和兼容
确定数据的安全和隐私策略，保护敏感数据的安全性
监控和管理数据的整个生命周期，包括数据的采集、存储、处理、分析和清理等环节
原则
业务导向
持续优化
行业实践和技术趋势
数据一致性和标准化
数据治理责任
模块
数据资产目录编制
维度
系统主题
业务主题
行业分类
组织架构主题
资产类型
服务类型
安全主题
资产形态主题
步骤
管理
统筹规划
评估管理能力
发布数据战略
建立企业责任体系
管理实施
稽核检查
检查数据标准执行情况
稽核数据质量
监管数据生命周期
资产运营
数据资产价值评估
数据资产运营流通
建设
数据资产盘点
数据资产登记
采集元数据
标记数据关系
建立血缘关系
数据资产组织
数据标准管理
基本内容
数据技术属性
数据业务属性
数据管理属性
标准分类
基础数据标准
指标数据标准
建设原则
定义
口径
名称
参照
来源
建设依据
国际标准
国家标准
行业标准
同行标准
自编标准
标准类型
金融行业
编码类
代码类
标志类
文本类
金额类
比例类
数值类
日期类
时间类
日期时间类
管理流程
标准规划与申请
调研规划
指定职责
提出标准申请
标准制定
分析现状
形成标准初稿
标准审核发布
意见征询
论证审议
批复发布
标准落地执行
宣讲培训
推动执行
标准评估改进
跟踪、评估成效
标准维护、更新
标准废止
生命周期管理
定义
加工
上线
使用
下线
数据模型构建
规范
分层
ODS 数据操作存储层 Operation Data Store
DWD 明细数据层 Data Warehouse Details
DWM 数仓中间层 Data Warehouse Middle
DWS 数据服务层 Data Warehouse Service
ADS 数据应用层 Application Data Service
DIM 维度层 Dimension
TDM 标签数据层
分类
概念数据模型 Conceptual Data Model
逻辑数据模型 Logical Data Model
物理数据模型 Physical Data Model
模型
ER模型
星型模型 Star Schema
多维模型
雪花模型 Snowflake Schema
步骤
制定目标
数据理解与准备
数据建模
模型评价
结果呈现
模型部署
方法
范式建模法 Third Normal Form，3NF
维度建模法 Dimensional Modeling
实体建模法 Entity Modeling
元数据管理
发展
分布式桥接阶段
中央存储库阶段
元数据仓库阶段
智能化管理阶段
元数据提取
元数据整合
元数据维护
目标
建立指标解释体系
提高数据溯源能力
数据质量稽核体系
作用
描述
定位
检索
管理
评估
交互
挑战
局部的元数据管理
手动的元数据管理
日趋复杂的数据环境
数据的频繁变化
类型
业务元数据 Business Metadata
技术元数据 Technical Metadata
操作元数据 Operational Metadata
管理元数据 Managerment Metadata
方法
业务目标理解
建立企业数据资产目录
消除冗余，加强数据复用
降低因人员流动而导致知识流失的风险
提供数据血缘探查能力，提高数据分析的质量
元数据需求规划
需求
元数据模型需求
元数据接口需求
元数据系统需求
数据安全需求
数据质量需求
数据管理需求
步骤
企业战略调研
数据管理调研
元数据现状清单
数据问题分析
制定行动路线
元数据规划设计
原则
简单性与准确性原则
互操作性原则
可扩展性原则
用户需求原则
步骤
元数据分类
元数据定义
元数据获取
元数据发布
元数据管理体系设计
组织保障
制度保障
流程保障
技术与工具
运营维护
监控管理
统计分析
宣传推广
技术
元数据采集
关系型数据库
NoSQL数据库
数据仓库
云端元数据
其他元数据适配器
元数据管理
元模型管理
元数据审核
元数据维护
元数据版本管理
元数据变更管理
元数据应用
数据资产地图
元数据血缘分析
元数据影响分析
元数据冷热度分析
元数据关联度分析
元数据接口
规范
接口编码方式
接口响应格式
接口协议
接口安全
连接方式
接口地址
主数据管理
定位主数据
明确企业的业务流程
将数据与业务实体建立联系
确定数据的共性
管理原则
数据质量原则
数据标准化原则
业务驱动原则
全局管理原则
管理内容
主数据标准管理
界定
业务属性
技术属性
管理属性
原则
科学性
适用性
共享性
稳定性
合法性
主数据使用管理
数据访问
权限管理
数据质量
数据分发
主数据维护管理
主数据收集和分类
主数据修正和校验
主数据更新和维护
主数据质量监控和度量
主数据备份和恢复
主数据安全管理
安全等级
公开级
普通商密级
核心商密级
主数据质量管理
内容
问题提出
规则维护
问题检查
问题分析
问题提升
问题评估
维度
规范性
准确性
一致性
完整性
唯一性
及时性
主数据流向管理
流向制定
流向更新
流向检查
平台建设原则
全面性
唯一性
集成性
安全性
数据质量
生命周期
计划阶段 Plan
执行计划 Do
检查阶段 Check
处理阶段 Act
评价维度
完整性 Integrity
准确性 Accuracy
一致性 Consistency
时效性 Validity
唯一性 Uniqueness
合理性 Reasonability
检查指标
空值检查
数量检查
数据类型检查
范围检查
类别检查
新鲜度检查
唯一性检查
引用完整性检查
度量框架
设计与执行
权重分配
改进策略
数据安全
原则
管理
协同合作
企业统筹
主动管理
明确责任
元数据驱动
减少接触以降低风险
数据
保密性
完整性
可用性
目标
数据保密性
数据完整性
数据可用性
法律合规性
活动
识别数据安全需求
业务需求
监管需求
制定数据安全政策
评估风险和需求
确定目标和范围
制定政策内容
审议和批准
宣传和培训
实施和执行
监控和审计
定义数据安全标准
确定目的和范围
数据分类和处理
访问控制
物理和技术保护
安全审计
应急响应计划
政策和法规遵守
维护和更新
评估当前安全风险
识别和分类数据资产
识别潜在威胁
评估影响和可能性
实施数据安全控制
控制措施和程序的选择
技术措施的实施
制定流程和程序
培训和意识提升
测试和验证
监控和持续评估
应急准备和响应
实施数据安全审计
审计准备
审查现有安全措施
风险评估
实施检查和测试
审计报告
后续行动
应急准备和响应
全生命周期安全防护
阶段
数据采集阶段
合法性确认
数据最小化
数据质量保证
初步匿名化处理
数据传输阶段
加密传输
端点安全
传输过程监控
数据存储阶段
数据加密
访问控制
物理安全
数据处理阶段
安全的处理环境
权限最小化
数据脱敏实施
安全日志记录
数据交换和共享阶段
数据共享协议
共享前风险评估
数据标记和追踪
数据销毁阶段
彻底删除
物理介质销毁
销毁证明
技术
数据加密技术
认证与授权技术
网络防御技术
数据备份和恢复技术
安全审计技术
数据分级分类
原则
科学实用原则
边界清晰原则
就高从严原则
点面结合原则
动态更新原则
规则
数据分类
框架
行业领域分类
工业数据
电信数据
金融数据
能源数据
交通运输数据
自然资源数据
卫生健康数据
教育数据
科学数据
业务属性分类
业务领域
责任部门
描述对象
流程环节
数据主体
内容主题
数据用途
数据处理
数据来源
方法
明确数据范围
细化业务分类
业务属性分类
确定分类规则
数据分级
框架
核心数据
重要数据
一般数据
步骤
确定分级对象
分级要素识别
数据影响分析
影响对象
国家安全
经济运行
社会秩序
公共利益
组织权益
个人权益
影响程度
特别严重危害
严重危害
一般危害
综合确定级别
流程
行业领域数据分类分级
制定行业标准规范
开展数据分类分级
处理者数据分类分级
数据资产梳理
制定内部规则
实施数据分类
实施数据分级
审核上报目录
动态更新管理
数据要素
数据服务
开源项目
数据集成
Apache Camel
Apache Hop
Apache InLong
Apache Nifi
Apache SeaTunnel
Apache Sqoop
Canal
ChunJun
DataX
Debezium
数据开发
Apache Drill
Apache Linkis
Apache Paimon
Apache StreamPark
Apache Zeppelin
Dinky
Jupyter
Kettle
Scriptis
数据编目
Alation
Magda
元数据管理
Amundsen
Apache Atlas
Dataedo
DataHub
Open Metadata
Marquez
数据质量
Apache Griffin
Dataphin
DataCleaner
Deequ
Great Expectations
Qualitis
数据安全
Amnesia
Anonimatron
OpenXDFS
μ-ARGUS
PrimiHub
数据服务
CKAN
Crabc
dataService
数据可视化
Apache Superset
DataEase
Davinci
GoView
Metabase
SmartChart
SpagoBI
任务调度
Apache Airflow
Apache DolphinScheduler
Apache Oozie
Azkaban
ElasticJob
Openjob
PiFlow
PowerJob
QuartZ
Xxl-Job
参考
法律法规
《数据安全法》
政策
标准
数据治理
GB∕T 34960.1-2017《信息技术 服务治理 第1部分：通用要求》
GB∕T 34960.2-2017《信息技术 服务治理 第2部分：实施指南》
GB∕T 34960.3-2017《信息技术 服务治理 第3部分：绩效评价》
GB∕T 34960.4-2015《信息技术 服务治理 第4部分：审计导则》
GB∕T 34960.5-2018《信息技术 服务治理 第5部分：数据治理规范》
数据资源目录
政务
GB/T7027-2002 《信息分类编码的基本原则和方法》
GB/T21063.1-2007 《政务信息资源目录体系第1部分：总体框架》
GB/T21063.2-2007 《政务信息资源目录体系第2部分：技术要求》
GB/T21063.3-2007 《政务信息资源目录体系第3部分：核心元数据》
GB/T21063.4-2007 《政务信息资源目录体系第4部分：政务信息资源分类》
GB/T21063.6-2007 《政务信息资源目录体系第6部分：技术管理要求》
GB/T13000 《信息技术通用多八位编码字符集（UCS）》
数据标准
JR/T0105-2014 《银行数据标准定义规范》
分级分类
GB/T 43697-2024 《数据安全技术 数据分类分级规则》
《网络数据分类分级要求》
《重要数据识别指南》
《重要数据处理要求》
JRT 0197-2020 《金融数据安全 数据安全分级指南》
数据安全
安全要求类
GB/T 35274《大数据服务安全能力要求》
GB/T 37932- 2019《数据交易服务安全要求》
GB/T 39477-2020《政务信息共享 数据安全技术要求》
实施指南类
GB/T 27973-2019《大数据安全管理指南》
GB/T 39725-2020《健康医疗数据安全指南》
《电信领域大数据安全防护实现指南》
检测评估类
GB/T 37988-2019《数据安全能力成熟度模型》
GB/T 41479-2022《网络数据处理安全要求》
白皮书
中国通讯标准化协会：《数据治理标准化白皮书》
中关村网络安全与信息化产业联盟数据安全治理专业委员会：《数据安全治理白皮书5.0》
0 条评论
下一页
