数据治理精华版本

健康分：存储健康分、计算健康分

成本账单：每周发送详细的、成本账单给具体、资源使用人

专项行动：针对成本治理的“雷 霆行动”;构建BU治理排行榜

核心公共层数据资产：
1）做规范管控，架构评审，发布管控2）评估建设水平3）发现短板，持续改进

一条门槛线 1）确定标准、流程及规范 2）筛选核心公共层监控范围并持续更新

高内聚低耦合

公共计算逻辑下沉

逻辑命名规则：

很多任务会直接读写文件，导致数据血缘缺失。为达到一个完备的数据血缘，新的规范会强制要求所有人要在读写表的基础上进行。
任务会有纯SQL，或者是SQL和API结合的方式。为了统一开发规范和流程，降低运维成本，新规范要求公共层模型必须用纯SQL来执行，并且我们定义了一个SQL规范来去执行。
多表和多任务可能会合并到一个workflow里面去，导致一个workflow里可能有几十个甚至上百个任务节点，对任务管理造成了比较大的影响，也不利于性能和资源分析，因此我们要求一个workflow只能输出一个正式表，额外的好处是任务的查找也变得更加方便。
多workflow间通过数据检查依赖去执行的方式，对运维也造成了一定影响。比如任务出现了失败或者异常如何快速做数据恢复。在新的规范里，我们基于开发平台做跨流任务依赖，以此构建任务血缘，进而有效地进行基线诊断和运维

⽆数据可⽤、⼝径不⼀致、分析效率慢

模型设计阶段：需求/口径统一管理、模型设计规范、指标定义与管理规范、模型评审

模型生产阶段：模型设计/开发规范检查、数据测试报告、任务发布规范检查、数据监控规范检查

模型服务目标：资产丰富、数据好找、数据好用

规范性：定义规范、开发规范、测试规范、发布规范、元数据规范

复⽤性：模型宽度、模型深度

完整性：跨层引⽤率、明细表查询占⽐、汇总表查询占⽐

链路⻓，问题多、意识差，被动发现、

数据源质量保障：数据源规范生产；数据源监控；变更同步；影响分析

加工链路质量保障：引擎稳定性保障、模型设计规范检查、代码规范检查、数据测试保障、发布规范检查

线上监控质量保障：基线保障、数据质检、监控完整度检查、监控报警准确率保障

质量问题处理流程：质量问题提报-》质量问题分析-》 跟进/解决/验证-》 故障定级/复盘-》 专项问题改进

不规范Case数(避免发⽣)：埋点规范覆盖率、模型设计规范覆盖率、开发规范覆盖率

监控发现问题占⽐（主动发现）：数据源监控覆盖率、完备监控覆盖率、监控报警准确率

质量故障/问题数（结果指标）：准确性故障/问题数、时效性故障/问题数、基线破线次数、故障/问题⽌损效率

体量大，管理难、缺少成本意识、数据只上不下

⼤数据引擎优化：HDFS EC、数据重分布、冷数据存储、资源调度优化

数据建设过程优化：数据资产分级存储、数据⽣命周期管理、重复建设检测、任务优化、极限存储

成本运营管理：Quota管理、成本账单、治理榜单

待治理成本资源量