麦记BigData架构_new
2020-02-11 11:11:10 0 举报
并行计算框架
作者其他创作
大纲/内容
菜单数据（By 品项、活动、价格带、其他数据）@MySQL & Codis
Executor.. n
Scheduler
Task
流式Workder 1
SparkContext（Client）
菜单计算结果
3 任务分配/报告状态
获取数据
基于并行计算架构（基于JavaRDD@Spark@Hadoop）
结果存储
并行数据计算（By 餐厅）
并行数据计算（By 版本）
2 任务分配/报告状态
Executor
1 注册/注销
离线数据计算
Cluster Manager
智能计算任务/Daemon
RDD
4 任务分配/状态报告
By 餐厅/版本/活动的菜单数据@Codis & 对象存储
5 任务状态
发起
Task...n
离线Workder 1
0 发起任务
并行计算框架管理监控用户
发起计算@Daily
离线Worker...n
流式Worker...n
流式数据计算
0 条评论
回复 删除
下一页
