MapRecude作业流程
2017-10-17 17:05:56 5 举报MapReduce作业流程图
作者其他创作
大纲/内容
Uber任务
⑥启动节点管理器
节点管理器节点
作业完成后，输出统计信息
输出
⑦启动容器
客户端轮询进度和状态（每秒）
OutputCommitter
资源管理器ResourceManager
⑤调度容器
⑨接受输入分片分配任务ID
⑪启动节点管理器
共享文件系统eg.HDFS
k
YarnChild
⑧创建簿记对象记录任务进度和报告
客户端
⑩请求更多的容器优先级mapreducemap完成5%才会处理reduce请求map本地限制，reduce无限制
故障转移控制器
资源管理器节点
YARN应用JVM
删除中间输出和临时目录（作业完成）
③复制作业所需资源（多份JAR+计算输入分片）
Hadoop客户端
④提交作业
①请求分配应用ID
②检查输入输出合法性
⑫启动容器
通过umbilical接口报告进度和状态（每3秒）
移动到最终目录（作业完成）
输出到临时目录（作业未完成）
Map/Ruduce
节点管理器NodeManager
YARN调度器
Application Master
⑬数据本地化（Jar、配置）
收藏
收藏
0 条评论
下一页
