离线数仓架构图
2024-11-26 10:32:41 4 举报
离线数仓架构图是一个复杂的系统设计,它包括了数据源、数据存储、数据处理、数据应用等多个关键组成部分。在这个架构图中,数据首先从各种数据源中采集,然后经过数据接入层进行初步的处理和验证。接下来,数据将被存储在数据仓库中,这是整个架构的核心,用于存储大量的历史数据和实时数据。在此基础上,数仓架构图还提供了数据处理层,负责对数据进行各种复杂的处理和转换,以便于进一步的分析和应用。最后,通过各种数据应用,用户可以轻松获取并利用经过清洗和转换的数据,以支持各种商业决策和业务发展。
作者其他创作
大纲/内容
数据服务层
dws_app_session_agr
数据ODS层
数据ADS层
集群监控
ods_yjx_member_full
HBase集群
ads_region_cart_cnt
Flume
数据源
dwd_coupon_get_inc
dws_trade_user_sku_order
HDFS
ads_uv_total_cnt
……
数据采集平台
dws_yjx_goods_stat
日志服务器
dwd_coupon_order_inc
dws_app_user_ctnu_rng
dws_app_tfc_dkb
数据应用层
事件归因分析
ods_yjx_goods_full
自定义服务层/RestAPI接口层/数据中台
拉链表制作
Kylin多维OLAP引擎
ads_category_cart_cnt
地理位置分析
纬度集成
dwd_yjx_order_zip
任务定时调度
DataX
用户推荐
增量合并
数据集成
Session分割
统一数据口径
数据DWS层
业务数据库
ads_app_tfc_day
ads_userprofile_reject_tag
订单分析
清洗过滤
dwd_trade_cart_full
ETL
数据DWD层
ods_app_event_log
ClickHouse、Presto、Impala
漏斗分析
ods_yjx_coupon_use_inc
dwd_app_event_detail
数据计算层
新老访客标识
ods_yjx_cart_info_full
0 条评论
下一页