数仓规范
2021-01-18 09:13:04 0 举报
AI智能生成
数仓建设中会涉及到的规范
作者其他创作
大纲/内容
开发
ii层
增量识别层
增量识别层
增量识别
数据备份
数据接入
线下数据
EXCEL数据接入工具
线上数据
DATAX+AWS
ods层
可操作数据存储层,数据清洗、转换、加工、处理
可操作数据存储层,数据清洗、转换、加工、处理
拉链数据/全量数据
tmp层构建
脚本中不用create
dws层
数据集市层
数据集市层
注释/伪代码
实体表、事实表、维度表、大宽表
app层预警表
dim层
维度和码表
维度和码表
配置预警映射规范
bak层
数据备份层
数据备份层
ii层数据按日期分区备份
发布
function逻辑性,按业务模块来
function注释
ETL自动调度,AWS GLUE ETL
需求/设计
指标梳理
业务逻辑梳理
源数据梳理
维度建模
测试
开发脚本留存
回滚数据逻辑
封装function规范
0 条评论
下一页