数据仓库架构图
2024-12-12 18:24:15 1 举报该数据仓库架构图展示了一个中心数据仓库，作为整个系统的核心。它接收来自各种数据源（如交易系统、CRM系统等）的数据，并通过ETL（提取、转换、加载）过程进行整合和清洗。数据仓库采用星型或雪花型模型进行组织，以提高查询性能和灵活性。此外，架构图中还包括了一个BI层，为用户提供报表、仪表盘等分析工具，以支持业务决策。整个系统采用分布式文件系统和并行处理技术，以确保在高并发环境下的稳定性和性能。
作者其他创作
大纲/内容
数据源
外部数据
转化
加载
数据治理：对ODS层数据进行清洗、规范化后存储到DWD层（Data Warehouse Detail）。
ADS（数据应用层）
数据应用：提供数据产品和数据分析使用的数据，一般存放在ES、Redis、PostgreSQL等供线上系统使用。我们称为ADS（Application Data Service）。
源数据：数仓的数据可能来自‘业务系统’或‘外部数据’或‘数据文件’或‘其他途径’。
DWS（数据服务层）
DWD（数据明细层）
DWM（数据中间层）
ODS（数据源层）
DW（数据仓库）
数据聚合：在DWD层的数据基础上，对数据做一些轻微的聚合操作，生成一些列的中间结果表，从而提升公共指标的复用性。我们称为DWM层（Data Warehouse Middle）。
数据服务：在DWM层的数据基础上，将数据整合汇总成某一个统计指标的数据，一般为宽表。我们称为DWS（Data Warehouse Service）。
数据展示：通过ADS层提供的服务，再结合其他数据展示统计数据。
ELT/ETL
抽取
数据文件
其他途径
ETL/ELT：数据处理工具，抽取（Extract）、转换（Transform）和加载（Load）。
业务数据
前端报表展示
数据传输：通过ETL/ELT将源数据转到ODS层（Operation Data Store）。
0 条评论
下一页
