考务清洗模块
2024-01-20 19:37:57 0 举报AI智能生成
考务清洗模块
作者其他创作
大纲/内容
原始数据
数仓基础
ods
卫考分区表
历史维度表
事实表
护考分区表
dwd
dws
ads
整理维度
建立标准维度编码
1.使用国家标准表
dimension_codes
2.使用历史标准
sys_code
历史去重得到标准编码code
基于ods清洗历史编码
1.历史编码表organtion
方法1:省市区python匹配清洗,根据省市区的值进行清洗
方法2:hive udf函数清洗
2.历史编码表sys_code
对比标准码清洗,清洗后包含新旧编码,存储临时表
业务逻辑报名库
事实表 全量分区匹配,加上分区字段标识年月
关联旧编码和新编码,更新标准编码存储
将清洗后编码插入到新维度编码表
收藏
职业：暂无
0 条评论
下一页
