数据入仓需求研发流程图
2021-03-22 13:03:06 1 举报整理了现在管理项目的数据入仓需求的研发路程
作者其他创作
大纲/内容
数据入仓需求
通过
正常
是否有数据转换以及计算
数据抽取入stg层
不通过
任务流配置，任务依赖以及调度时间
否
增量数据抽取进入stg层
需求是否明确
文档完善以及禅道任务变动1、数据探查文档以及字典文档完善2、任务脚本sql，同步gitlab项目中，提交管理3、修改禅道任务状态为已完成
清洗字段规范化、计算逻辑
数据抽取方式
研发阶段
需求方沟通开通权限
数据验证（初始化完成后的，下一次调度运行后）
验证数据1. ods层数据与源系统数据是否一致，数据量以及数据值
探查是否通过
增量
是否特殊增量
是
数据源是否可添加
需求方禅道提出需求
评估数据入仓需求排期、禅道同步
数据抽取入ods层
全量
增量合并
确定是否与需求方同步问题以及进行修复
需求沟通、调整禅道需求
数据初步探查1. 源系统账号是否正常连接、开通访问权限2.源系统数据表数据量3.增量抽取的话，数据抽取条件是否满足
需求完成
后期此处可以增加review人员。保证研发规范以及研发质量
0 条评论
下一页
