数据治理平台
2021-07-13 17:18:29 6 举报
AI智能生成
政务数据治理平台脑图
作者其他创作
大纲/内容
数据接入
数据探查
通过对来源数据存储位置, 提供方式, 总量和更新情况, 业务含义
字段格式语义和取值分布, 数据结构, 数据质量等进行多维度的探查
以达到认识数据的目的, 为数据定义提供依据
通过对来源数据存储位置, 提供方式, 总量和更新情况, 业务含义
字段格式语义和取值分布, 数据结构, 数据质量等进行多维度的探查
以达到认识数据的目的, 为数据定义提供依据
接入方式探查
环境探查
来源系统探查
存储位置探查
访问要求探查
提供方式探查
业务探查
字段探查
空置率探查
值域与分布探查
字典情况探查
取值范围探查
数据元探查
类型及格式探查
命名实体探查
数据集探查
数据集标准探查
数据集规模探查
问题数据探查
数据定义
数据格式定义
原始数据项与标准数据元映射关系
原始字典代码集与规范化字典代码集映射关系
资源目录注册
数据分级分类定义
数据读取策略定义
数据提取策略定义
结构化/半结构化数据提取策略
非结构化数据提取策略
来源数据描述
来源数据格式
目的数据描述
提取策略描述
数据清洗策略定义
数据过滤策略定义
数据资源描述
垃圾数据判定规则
垃圾数据处理动作
数据去重策略定义
数据资源描述
重复数据判定规则
去重时间窗口信息
重复数据处理动作
数据格式转换策略定义
来源数据描述
目标数据描述
转换策略描述
数据关联策略定义
关联回填数据描述
关联依赖数据描述
数据关联规则描述
数据比对策略定义
数据资源描述
比对源描述
比对策略描述
数据标识策略定义
数据分发策略定义
数据资源描述
目的数据库描述
数据治理核验规则定义
核验对象描述
质量核验策略描述
质量核验指标描述
数据读取
数据读取是数据数据接入的一部分, 主要是完成数据探查及数据定义后,
从源系统抽取数据或接受读取源系统的数据并检查数据是否与数据定义一致
不一致的停止接入, 并重新进行数据的探查和定义, 一致的执行并进行下一步接入
对数据进行必要的解密, 解压操作, 生成作用域数据全生命周日的记录ID, 并对
数据进行字符集的转换等, 生成符合数据处理要求的格式
数据读取是数据数据接入的一部分, 主要是完成数据探查及数据定义后,
从源系统抽取数据或接受读取源系统的数据并检查数据是否与数据定义一致
不一致的停止接入, 并重新进行数据的探查和定义, 一致的执行并进行下一步接入
对数据进行必要的解密, 解压操作, 生成作用域数据全生命周日的记录ID, 并对
数据进行字符集的转换等, 生成符合数据处理要求的格式
数据读取管理
多通道读取管理要求
工具/模块适配
读取方式管理
数据文件方式
本地文件读取
远程文件读取
源文件写入判定-
访问数据库方式
关系型数据库
非关系型数据库
消息总线
服务结构
规则管理
组件化要求
数据读取策略管理
数据读取任务配置
数据读取任务调度
数据读取日志规则管理
数据解压
数据解密
对称加密算法
非对称加密算法
特殊加密算法
记录ID生成
原始库
主记录ID
主键优先读取
必填字段优先选取
时间戳字段优先选取
关键字优先选取
附件记录ID
其他库
主记录ID
附件记录ID
账单生成
其他转换工作
半结构化数据转换
字符集转换
原始数据存储/备份要求
数据对账
对局对账是针对数据接入环境, 对数据提供方和数据接入方在
某一对账时间节点数据的完整性, 一致性, 正确性进行核对和检验的过程
如果在某一对账的时间点, 数据提供方和数据接入方对于的数据条数不一致, 则记录
对账异常, 并在必要时进行高级, 依据数据对账发生场景, 将数据对账分为数据接入对账
和数据分发对账
对局对账是针对数据接入环境, 对数据提供方和数据接入方在
某一对账时间节点数据的完整性, 一致性, 正确性进行核对和检验的过程
如果在某一对账的时间点, 数据提供方和数据接入方对于的数据条数不一致, 则记录
对账异常, 并在必要时进行高级, 依据数据对账发生场景, 将数据对账分为数据接入对账
和数据分发对账
对账场景
数据接入对账
接入时对账
接入后盘点对账
数据分发对账
1对1分发数据对账
对账方法
即时对账
定时对账
盘点对账
内部盘点对账
外部数据包盘点对账
外部数据库盘点对账
对账单
对账单内容
数据提供方对账单
数据接入方对账单
数据提供方盘点对账单
数据接入方盘点对账单
对账单使用
对账结果统计
对账结果查询
提供的对账服务
其他技术要求
对账形式
数据指纹
对账协议
对账单存储与交互
对账性能
对账单传递
数据处理
数据提取
结构化数据提取
非结构化数据提取
文本数据提取
要素提取
关键字和摘要提取
关系提取
音频数据提取
声纹提取
语种提取
语音转写
音频元数据内容提取
视频,图形数据提取
视频图像对象特征提取
视频语言提取
视频字幕文本提取
视频元数据内容提取
图像文字提取
图像元数据内容提取
数据清洗
过滤
去重
格转
校验
空值校验
取值范围校验
身份证/手机号/IMEI/MAC/IP地址等校验
数值校验
长度校验
精度校验
多字段条件校验
业务规则校验
数据关联
关联回填
人员身份关联回填
车辆物品关联回填
时空关联回填
认证账号关联回填
手机注册信息关联回填
活动场所关联回填
关键提取
要素关联信息提取
要素关系信息提取
关联分析
数据比对
结构化比对
完全匹配
模糊匹配
范围匹配
正则匹配
非结构化比对
关键词比对
文本相似度比对
二进制比对
文件比对
多媒体信息比对
语种比对
图像比对
视频比对
生物特征比对
声纹比对
人脸比对
数据标识
规则解析
规则路由
规则编译
规则执行
数据分发
任务调度服务
分发任务队列
数据分发
分发统计
核账,销账
任务监控
数据治理
数据资源目录
数据元管理
资源分类与编目
目录注册与注销
资源目录更新
资源目录同步
资源目录服务
标准落地检查
数据分级分类
数据分级分类是指对数据内容的敏感程度或数据的开放范围进行
划分, 构建完善的数据分级管理体系, 数据分类是指针对数据来源, 数据
种类(数据集), 业务属性(数据项)等进行划分, 构建科学的合理的数据
分类管理体系, 利用数据分级分类对数据进行标识, 配合数据授权, 数据鉴权
确保数据的安全使用
数据分级分类是通过描述数据的多维度特征和内容敏感成功度, 为指定数据资源
的开发和共享策略提供支撑
数据分级是根据数据内容的敏感程度对数据资源进行定级, 按照数据级别控制数据
资源的适用范围
数据分类是从数据获取方式, 数据资源种类, 字段等多维度对数据资源进行分类,
按照数据类别控制数据资源的使用范围
数据分级分类是指对数据内容的敏感程度或数据的开放范围进行
划分, 构建完善的数据分级管理体系, 数据分类是指针对数据来源, 数据
种类(数据集), 业务属性(数据项)等进行划分, 构建科学的合理的数据
分类管理体系, 利用数据分级分类对数据进行标识, 配合数据授权, 数据鉴权
确保数据的安全使用
数据分级分类是通过描述数据的多维度特征和内容敏感成功度, 为指定数据资源
的开发和共享策略提供支撑
数据分级是根据数据内容的敏感程度对数据资源进行定级, 按照数据级别控制数据
资源的适用范围
数据分类是从数据获取方式, 数据资源种类, 字段等多维度对数据资源进行分类,
按照数据类别控制数据资源的使用范围
数据血缘
数据学院是指在数据产生, 加工融合, 流转流通到最终消防的过程中
形成的继承关系集合, 通过对接入数据 原始库,资源库, 主题库, 知识库, 等各类
数据资源间和数据项间的继承关系进行描述和管理, 反应数据资源在各个环节
间的继承关系
数据学院是指在数据产生, 加工融合, 流转流通到最终消防的过程中
形成的继承关系集合, 通过对接入数据 原始库,资源库, 主题库, 知识库, 等各类
数据资源间和数据项间的继承关系进行描述和管理, 反应数据资源在各个环节
间的继承关系
模型管理
标签管理
标签管理提供标签模型(规则)的定义和全生命周期管理, 非行业标签
标签管理提供标签模型(规则)的定义和全生命周期管理, 非行业标签
数据质量管理
质量检测数据采集
数据治理检核
问题发现及跟踪
评估要求
功能要求
检测数据采集
数据治理检核
问题发现及跟踪
质量问题发现
实时数据
离线数据
质量问题反馈
质量问题预警
告警规则配置
告警信息推送
质量问题跟踪
实时数据
离线数据
数据质量知识库管理
数据运维管理
子主题
运维状态监控
来源数据监控
子主题
来源数据更新监控
来源数据存储大小监控
来源数据监控查询
数据接入, 处理监控
数据积压监控
数据接入积压
数据处理积压
数据入库积压
数据负载表现
数据心条
数据入库监控
数据服务接口监控
报表
数据资源报表
数据对账报表
数据有值率报表
数据标准化分析
异常
实时流异常
批处理数据监控
运行状态异常
数据质量异常
数据备份异常
数据组织
构成
原始库
标准化数据项
关联回填数据项
标签数据项
回溯数据项
文件回溯数据项
数据库回溯数据项
公共数据项
原始数据项
资源库
要素关系库
时空属性描述
统计要求
数据项集要求
要素重点行为库
重点行为信息描述
数据来源描述
时空熟悉要求
统计要求
数据项集要求
要素重点内容库
重点内容信息描述
数据来源描述
时空属性要求
统计要求
数据项集要求
要素分布库
要素时空分布库
数据来源描述
时空熟悉要求
要素最后分布
要素分布变迁时序
统计要求
要素最后分布
要素分布变迁时序
数据项集要求
要素资源分布库
资源库明细统计库
主题库
人口
房屋
知识库
业务库
业务要素索引库
几个库的关系
功能
数据库创建
数据库管理
数据组织视图
数据服务
查询检索
数据资源情况查询
通用数据查询
通用扩展查询
全文检索
二进制文件查询
获取文件体
音频检索
图像检索
生物特征检索
二次封装
比对订阅
比对订阅
结果查询
中止订阅
模型分析
数据集碰撞类服务
分析类服务
预测类服务
数据推送
数据封装
数据推送
数据鉴权
数据操作
数据增加
数据删除
数据修改
数据表创建
数据表删除
数据表修改
数据管理
服务管理
资产管理
标签及模型维护
质量及运维管理
收藏
0 条评论
下一页