首页  流程图  详情

流程集合

2022-03-20 22:41:40   4  举报





数据中台流程集合

大数据

作者其他创作

大纲/内容

各个层级各个集群

流程序

数据产品经理

上线完成

并行/切库

方案优化

技术方案/测试用例评审开发计划/测试计划

资源是否需要增加

申请

发邮件提醒，延迟情况

上线

确认

实施

分流通知同时通知

测试通过

数据管理

维度/指标dim/ods/dwd/dws/ads

监控开始定期执行

驳回

运维登记配置调高集群增加

业务线2

批次程序

同意

资源回收汇报

增加完成

应用组

异常

销售/客服

是否可优化

大数据负责人资源增加

排期协同

回收

大数据负责人方案制定优化资源增加申请

资源增加？增加多少？emr

1、通过yarn监控任务状态，判断任务是否在执行，没执行立马启动任务，启动起来2、通过对比数据，获取hudi表中的最大时间跟现有时间对比，差距

紧急迭代/正常迭代

运维资源增加

资源不够资源回收

【评审会】数据产品：来源、口径字段需求澄清会技术：技术方案工作量评估测试：测试用例评审会开发/测试/上线技术：成本预估

测试组

是否存在异常

不紧急积累迭代

ods、dwd监控程序半小时周期

正常

开发/测试

业务线3

数据组

大数据负责人&架构师/组长制定开发方案/可行性分析输出相关文档（方案文档/可行性分析报告）参会人也包含需求开发人员

增改字段发起人

数据分析

线上观察资源回收

评估影响点开始时间、结束时间、数据量、哪张表、哪个库、每张表每个库每分钟多少条数据

亮哥、小青哥

项目组

是否需要

评审会议需要CTO、小青哥参与，以及各个业务线相关同事（产品、产品组长、开发，开发组长、技术经理）会议：指标口径会上澄清，有必要就进行二次会议澄清。会后需要上传会议纪要包括本次评审范围：数据字典/指标口径评审如果需求简单，可以当场评审出上线时间和成本，就省略技术调研和技术方案编写时间，直接进入开发/测试阶段

资源增加？增加多少？canalrds

数据字典/指标计算公式

刷数据发起人

dws、ads监控程序

技术委员会

..........

产品委员会

业务线1

架构组

任务调整

不需要直接进入资源评估流程

线上观察