大数据架构
2020-05-18 12:00:21 4 举报大数据架构
作者其他创作
大纲/内容
实时计算（Spark、Flink、Storm）
ADS（个性化指标统计）
数据来源层
Atlas（元数据管理）
Flume、Logstash采集
HBase
任务调度（Azkaban、Ooize、Airflow）
MySQL
Kafka等消息队列
数据可视化（Echarts、Superset）
同步工具（Sqoop、DataX）
Presto（sql查询引擎，秒级响应）
ODS（数据不做修改，起备份数据的作用）
DWD（按照不同业务构建维度模型）
数据仓库
Druid（实时分析，数据存储系统）
DWS（统计各个主体对象的当天行为）
分布式协调（Zookeeper）
数据查询
复杂事件处理（监控、报警）
数据传输层
Griffin（数据质量管理）
非结构化数据（视频等）
数据存储层
数据计算
资源管理层（Yarn）
Zabbix（集群监控）
半结构化数据（文件、日志等）
离线计算
Kylin（分析引擎，亚秒级响应）
HDFS
结构化数据（数据库等业务数据）
收藏
职业：暂无
0 条评论
下一页
