大数据平台架构
2020-03-30 16:56:06 4 举报大数据平台架构
作者其他创作
大纲/内容
...
用户
基础组件
MapReduce/Tez
日常运维(批量跑/业务管理/转移 owner
权限管理（Apache Ranger）
Airflow Worker 1
Gitlab
实时分析( Spark)
Restful API
任务测试分布式(多台 worker)
实时收集日志到 Kafka
预测展示&报警
全局DAG(上下游分析)
外部系统
UI
基础监控
服务层
资源文件分发(git&rsync)
Spark
预测监控
HBase
Redis
资源管理(db配置/变量)
离线数据同步DataX
MySQL
负载均衡&HA
预测任务运行情况(失败?超时?)
Masterl监控
模拟未来一段时间调度
构建 airflow脚本
ElasticSearch
大数据平台架构
Hive导出邮件
配置中心Apollo
Http Server(gunicorn)
Kafka
Worker监控
临时查询/导数据
调度层
Agent管理(执行命令&查看日志)
Cerley
元数据Meta
权限管理
用户权限管理
Binlog同步DataY
HDFS
Airflow Scheduler
展示&报警规则触发
监控
Hive导出ES
告警Alert
日志监控
Airflow Worker N
任务生命周期管理(创建/测试/发布)
Hive
0 条评论
下一页
