YARN架构
2021-04-14 17:32:17 1 举报
Hadoop YARN架构
作者其他创作
大纲/内容
client(客户端)
4、ResourceManager通过资源调度器去给这个job分配一些container,这些container就是用来执行map任务或者reduce任务的
2、选择一台NodeManager去开启一个Container,在这个Container中开启了ApplicationMaster(管理器)
5、执行完通知
通过
Container
NodeManager
ApplicationsManager(应用管理)
resourcemanager
5、reduce task它会反复的询问ApplicationMaster,哪些map任务执行完了,如果得到了消息,就会去那个Map task中去获取结果,作为自己的输入。执行结束后通知ApplicationMaster
3、计算这个job需要的资源,\t向ResourceManager申请资源
ResourceSchedule(资源调度)
reduce task
ApplicationMaster(管理器)
6、执行任务完后,ApplicationMaster会通知client,汇报结果,然后会退出。
map task
1、提交一个MapReduce程序
0 条评论
回复 删除
下一页