数据治理前置机采集模式
2022-04-01 16:41:51 84 举报AI智能生成
数据治理是一种组织和管理企业数据的方法，旨在确保数据的质量和一致性。它涉及到对数据的收集、存储、处理和使用进行规范和控制，以确保数据的准确性、完整性和安全性。数据治理包括制定数据政策、标准和流程，建立数据管理团队，实施数据质量控制措施，以及监控和审计数据使用情况。通过有效的数据治理，企业可以提高决策质量，降低风险，提高效率，并实现更好的业务成果。
作者其他创作
大纲/内容
中心云
基础管理
数据源管理
存储各数据库链接信息,对数据采集规则配置等提供数据来源
数据标准管理
数据元管理
基于平台提供的统一数据标准进行数据单元整理(表字段规范)
元数据管理
基于平台的数据源进行字段的长度、类型、值域等的规范管理
平台标准数据模型管理
根据平台数据元和元数据生成标准的数据模型
结合不同机构实际情况进行标准数据模型下发
通过数据源进行数据表生成
字典管理
国标、行业标准、术语、值域管理
为规则配置提供值域条件
枚举类型的校验可自定义值域
主数据管理
区域、机构、科室、医护、患者信息管理等
为规则配置提供值域条件
规则管理
通过标准数据模型进行规则设定
通用规则配置
数据长度、类型、非空、唯一、配置
值域代码设定
指定字段和规则和前置条件
及时性设定
针对数据表进行上传及时性要求设定
关联性设定
设定表与表之间的业务关联性和前置条件
各指标权重设置
提供质控报告评分基础
业务规则一致性设定
核心指标报告和机构报告对比
数据是否正确采集的依据
波动率监测规则设定
表行数对比
数据质控系统
日志分析
产出质控日报告
报告下发通知数据整改
产出质控月报
提供给监管机构
机构数据质量排行榜
提供给监管机构
数据波动监控
数据量监控
采集任务运行时长
数据质量趋势
数据中台
数据湖
数据入湖
采集校验通过的数据存入数据湖中
资产归类
设定数据资产目录
选定对应资产下的数据表
资产评估
数据资产地图
选定资产目录
数据表
表基本明细信息(表结构)
数据预览(抽样查看表的具体数据信息)
数据血缘
数据的产生逻辑
数据的使用逻辑
业务的关联关系
数据的产生逻辑
数据的使用逻辑
业务的关联关系
数据来源
加工方式
映射关系
数据仓 DW
CDM
DWD
数据轻度汇总和融合，为DWS维表提供数据依据
DWS/B
生成目标业务或不同维度指标的聚合、汇总数据
ADS
提供个性化维度汇总，计算只有自身业务才会关注的维度和指标
数据安全
边缘云ODS
数据采集管理
选定数据源管理中的源数据库和目标数据库
前提：源和目标数据库均是标准数据模型的表结构
结合平台标准数据模型管理进行数据采集作业配置
自动进行字段映射(字段名须符合标准数据模型)
探知对应源数据库中待采集的数据
触发探知标记自动执行采集作业
数据取样试跑
试跑报告
数据校验管理
依据规则管理进行数据校验
记录校验日志；成功记录数，失败数，失败原因详情
已采集数据状态回写
避免重复采集的判断条件
数据日志上传管理
校验日志上传中心日志存储库
ODS数据运营层
是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。
DW 数据仓库层
DWD
数据仓库明细层数据(日汇、轻度汇总)
DWS
数据仓库维度汇总结构化数据（维表、指标数据的来源）
ADS
面向应用的数据服务层，提供数据产品使用的结果数据
CDM
通用数据模型
APP数据运营层
应用层展示的数据，根据业务需要由前3层数据统计而出的结果
数据血缘
数据血缘即数据的来龙去脉，主要包含数据的来源、数据的加工方式、映射关系以及数据出口。
数据血缘属于元数据的一部分，清晰的数据血缘是数据平台维持稳定的基础，更有利于数据变更影响分析以及数据问题排查。
数据血缘属于元数据的一部分，清晰的数据血缘是数据平台维持稳定的基础，更有利于数据变更影响分析以及数据问题排查。
收藏
收藏
职业：本科
0 条评论
下一页
为你推荐
查看更多
