黑马甄选数仓分层
2024-08-27 15:57:19 0 举报"黑马甄选数仓分层"是一套针对企业级数据仓库架构的分层方法，旨在提高数据质量和处理效率。这套方法将数据仓库分为若干个层次，包括数据采集层、数据清洗层、数据仓库层、数据集市层等，各层之间通过ETL工具进行数据流动和处理。这种分层架构可以帮助企业更好地管理和利用数据，提高数据分析和应用的效率。
作者其他创作
大纲/内容
商城订单明细表(核销表)dwd_sold_shop_order_item_i
门店退货单store_return_to_vendor
门店经营分析天表ads_store_manage_statistics_day_i
城市经营分析天表ads_store_city_manage_statistics_day_i
获取区域名称使用区域编号关联
门店库调单dwd_stock_store_stock_adj_i
过滤使用余额支付
数据展示层，根据需要展示指标设计表
门店调入单dwd_order_store_alloc_in_i
dim层维度表处理
ods_dim_store_area_info-f分店面积明细表
维度上卷，按照不同主题进行多维度组合计算
ods_dim_store_goods_f门店商品信息表
门店销售明细表ods_sale_store_sale_dtl_i
门店商品销售天表ads_goods_store_goods_statistics_day_i
对分类进行分类拉平通过自关联实现
门店销售信息表ods_sale_store_sale_info_i
门店销售明细表dwd_sale_store_sale_dtl_i线下销售数据
门店销售支付表ods_sale_store_sale_pay_i
过滤订单完成数据
dwd_dim_store_clear_goods_i门店日清商品表
门店商品分析刻表dws_goods_store_goods_statistics_quarter_i按照区域，时间
关联门店商品表获取分类数据
门店调入单store_alloc_in
ODS层
原始数据层
dwm_sold_goods_sold_dtl_i商品销售明细表合并线上和线下的数据采用union all
dwd_dim_goods_i商品表日期分区
ods_dim_date_f时间维度表
dwm_order_store_goods_require_quarter_i门店商品要货刻表分组 时间（刻） 区域（门店） 品类（商品）计算 要货数量 要货金额 数量*单价
ods_dim_source_type_map_f交易类型映射表
门店退配单store_return_to_dc
会员基础信息表member_union
DWM层
线上支付明细表ods_sale_shop_sale_pay_i
线上余额支付明细dwd_sale_shop_sale_balance_pay_i
ods_dim_store_f门店信息表关联主表
最小粒度轻度聚合及事实表的合并 group by join
门店退货单dwd_order_store_return_to_vendor
门店经营刻表dws_store_manage_statistics_quarter_i按照区域，时间 计算
城市商品销售天表ads_goods_city_goods_statistics_day_i
商城订单表ods_sale_shop_order_i
门店营销情况(已核销)分析
商城退款表ods_sale_shop_refund_i
dwm_stock_store_goods_loss_quarter_i门店商品损耗刻表分组 时间（刻） 区域（门店） 品类（商品）计算 损耗数量 损耗金额
门店收货单dwd_order_store_receive_i
dwd_dim_date_f时间维度表
dwd_dim_category_statistics_i分类等级表日期分区
ods_dim_goods_info_f商品表
dwd_dim_source_type_map_i交易类型映射表时间分区
dwd_dim_store_goods_i门店商品信息表日期分区
门店调出单store_alloc_out
不做任何处理直接导入
过滤订单完成
商城退款明细表ods_sale_shop_refund_item_i
ods_dim_store_group_f店组信息表
门店库调单store_stock_adj
门店调出单dwd_order_store_alloc_out_i
ods_dim-category_f商品分类表
span style=\"font-size: inherit;\
DWD层
门店商品分析刻表dws_goods_store_goods_statistics_quarter_i按照区域，时间，品类计算
dwm_order_store_goods_receipt_quarter_i门店商品收货刻表
增加分区
数据清洗转化及维度退化 主要是where 和case when join
dwd_dim_store_i门店信息表
经营情况(已核销)分析
DIM层
门店退配单dwd_order_store_return_to_dc_i
门店要货单store_require
商城订单表(核销表)dwd_sold_shop_order_i
门店要货单dwd_order_store_require_i
商城核销明细表dwd_sold_shop_order_dtl_i线上的销售数据
ADS层
商城订单明细表ods_sale_shop_order_item_i
商品销售情况(已核销)分析
DWS层
门店收货单store_receive
0 条评论
下一页
