MR提交作业
2019-12-26 13:08:43 0 举报
MR提交作业的流程
作者其他创作
大纲/内容
Container
reduce task
6.领取task
NodeManger
13.领取任务创建容器
Resource Manager
9.申请运行maptask
2.资源提交路径
客户端
7.NM创建容器
Yarn集群
5.初始化用户请求为task
11.发送启动脚本
xml配置、jar、数据切片...
MR APPMaster
8.下载资源文件
map task
1.提交任务，申请application
Job.submit()
10.领取任务创建容器
获取或存储数据
3.提交job运行所需资源
14.reduce向map获取相应分区的数据
FIFO(Capacity)
12.申请reducetask
比较绕的部分用分色彩区分
HDFS
4.提交完毕，申请运行AppMaster
0 条评论
回复 删除
下一页
