重生之离线数仓复习之路

ods_yjx_order_inc(订单增量表)

Flume集群

DWD

DataX业务数据全量同步

ads_event_coupon_fetch_attribute_day(优惠卷归因表)

WEB/APP/业务数据交互（SDK捕捉数据）

dws_app_user_ctnu_rng连续活跃区间记录表

dwd_app_user_dau⽇活表

ODS

dim_area_dict(geo字典表)

dim_sku_full(商品维度表)

Nginx集群

ods_yjx_order_item_inc(订单状态表)

Flume

ods_app_event_log(用户行为日志)

ads_app_user_act_ctnu_m(连续活跃表)

 dim

ads_wastage_count最近七天未活跃⽤⼾数量表

ads_user_retention_day_rate 每⽇⽤⼾留存度表

用户主题：  用户指标实现对应表使用技术点分未使用拉链表间表，对应每日的日志进行处理后建表，然后对拉链表的不同条件的筛选聚合操作得到对应的指标，这种方法，执行资源消耗较大。另一种方法是，使用bitmap思想，将用户登录情况映射到二进制数值中，然后对该二进制数操作，获取对应的数据，这种方式，在理解上会有一点发杂，但在运算指标，以及数据存储上都具有一定优势。所以这里选择使用bitmap的思想对指标进行对应的实现。

DWS

dwd_yjx_order_item_inc(订单详情表i)

ads_trade_stats()

flume拉取的对应每日日志文件

ads_app_tfc_cube(流量多维表)

ods_yjx_coupon_use_inc(优惠卷使用详情表)

Mysql数据库

dws_yjx_goods_topic()

dwd_app_event_detail(行为日志详细表)

dws_trade_user_sku_order_1d(商品价格表)

hdfs

Hive建仓

Kylin

ads_app_Id_conversion_rate(订单模型转换率表)

ods_yjx_coupon_info_full(优惠卷详情表)

ADS

ods_yjx_brand_full(品牌表)

ods_yjx_category_full(商品佣金表)

dws_app_ld_conversion_rate（模型表）

app/web埋点用户行为数据（嵌入SDK收集用户行为数据）

SparkETL

ads_app_user_act_ctnu_m当⽉连续活跃⽤⼾数表当⽉连续活跃⽤⼾数表

漏斗模型