Lambda 数仓架构
2022-01-26 18:00:42 4 举报Lambda 数仓架构
作者其他创作
大纲/内容
消费Flume 1.9
权限管理Ranger2.0
分布式协调Zookeeper3.5.7
5张原始表
采集日志Flume 1.9
Web/App业务交互
消息存储Kafka 2.4.1
数仓100多张表Hive On Spark3.0.0
可视化Superset
数据应用层ADS层
四十几个脚本
Web/App前端埋点
27张原始表
多维分析
质量管理Python+Shell
数据服务层DWS层
原始数据层ODS层
数据主题层DWT层
Zabbix & Grafana
元数据管理Atlas2.0
集群存储Hadoop 3.1.3
业务服务器（Springboot）
即席查询Presto
业务数据MySQL
存储Hbase
日志文件logFile
Nginx
定时调度Azkaban3.8.4
结果存储MySQL
每天同步Sqoop
几十个指标
数据明细层DWD层
0 条评论
下一页
