电商数仓(分层、流程、加工逻辑、建模、模型设计)
2023-07-05 20:59:02 1 举报这是电商数仓的分层设计，包含了数据源接入、数据开发、数据仓库建设、数据应用
作者其他创作
大纲/内容
HDFS
dwd_loading_log
get_josn_object
logFile
dwd_favorities_log
二级分类
本周回流=本周活跃-上周活跃-本周新增
mysql
dwd_start_log
Kafka
dws_uv_detail_day日活详情表
Flume(P)
join
订单详情
ads_user_retention_day_count留存用户数
where dt=本周周一日期_本周周日日期 left join
ads_back_count本周回流数
ads_user_action_convert_day用户行为漏斗转化率分析
UDTF
dwd_display_log
ods_start_log启动日志表
dwd_base_event_log基础事件日志表
订单表
dwd_newsdetail_log
dwd_notification_log
3
/origin_data/gmall/db/$tb_name/$date
web/app业务数据
/origin_data/gmall/log/topic_start
ads_continuity_uv_count最近7天连续3天活跃
ads_new_mid_count每日新增设备
ads_gmv_sum_dayGVM成交金额
dws_sale_detail_daycount用户购买商品明细表
一级分类
dws_uv_detail_mn月活详情表
ads_wastage_count流失用户数
DWS层
商品+分类表
logServer
where dt = 本周周一日期_本周周日日期 left joinwhere dt = 上周周一日期_上周周日日期
三级分类
ETL拦截器
dwd_error_log
dws_uv_detail_wk周活详情表
web/app埋点数据
line
Nginx
/origin_data/gmall/log/topic_event
union all
用户表
dwd_praise_log
前一天新增设备且后一天是日活用户
Flume(C)
where create_date='2019-*-*'group by create_date
dwd_comment_log
类型拦截器
from dws_uv_detail_day udlefit join dws_new_mid_day rm on ud.mid_id = rm.mid_idwhere ud.dt='2019-02-10' and rm.id is null
sqoop
商品表
DWD层
ads_user_convert_day新增用户占日活比
降维
ads_sale_tm_category1_stat_mn品牌复购率
ods_event_log事件日志表
业务Server
ads_user_retention_day_rate留存用户比率
dws_user_action用户行为宽表
count
where dt = '2019-02-10'group by mid_id
ODS层
支付流水表
UDF
hive
ADS层
dwd_active_fg_log
dwd_ad_log
Tez
ads_uv_count日活周活月活
dws_user_retention_day每日用户留存明细表
ads_continuity_wk_count连续n周活跃用户数
dwd_active_bg_log
topic_start topic_event
dws_new_mid_day每日新增设备明细
ads_slient_count沉默用户数
0 条评论
下一页
