数仓架构图
2024-02-23 15:14:17 123 举报
数仓架构图是一种用于描述数据仓库内部结构和组件的图形表示。它通常包括以下几个主要部分:数据采集层、数据存储层、数据处理层和数据展示层。数据采集层负责从各种数据源获取原始数据,并将其传输到数据存储层。数据存储层负责存储和管理原始数据,通常使用关系型数据库或分布式存储系统。数据处理层对原始数据进行清洗、转换和整合,以满足业务需求。最后,数据展示层将处理后的数据以可视化的形式呈现给用户,帮助他们进行分析和决策。整个数仓架构图清晰地展示了各个层次之间的关系和交互方式,有助于理解数据仓库的工作原理和实现细节。
作者其他创作
大纲/内容
Hadoop
业务库-从库
GreenPlum
Sqoop
ndwb
实时读取日志
实时传输
Kafka
ndwa
MySql(报表库)
数据分层
详情
Hive
Maxwell
ndwm
数据查询
展示层
推数
批量存储
定时调用.sh文件执行sqoop命令
定时任务调用.sh文件执行.sql
PXF
Spark
数据传输
存储层HDFS
读取信息发送kafka
计算层MapReduce
ndwt
MySql
Azkaban
SqlServer
批量传输
0 条评论
下一页