YARN架构
2016-11-02 16:42:38 69 举报MapReduce on YARN
作者其他创作
大纲/内容
client（客户端）
4、ResourceManager通过资源调度器去给这个job分配一些container，这些container就是用来执行map任务或者reduce任务的
2、选择一台NodeManager去开启一个Container，在这个Container中开启了ApplicationMaster(管理器)
5、执行完通知
通过
Container
NodeManager
ApplicationsManager(应用管理)
resourcemanager
5、reduce task它会反复的询问ApplicationMaster，哪些map任务执行完了，如果得到了消息，就会去那个Map task中去获取结果，作为自己的输入。执行结束后通知ApplicationMaster
3、计算这个job需要的资源，\t向ResourceManager申请资源
ResourceSchedule(资源调度)
reduce task
ApplicationMaster(管理器)
6、执行任务完后，ApplicationMaster会通知client，汇报结果，然后会退出。
map task
1、提交一个MapReduce程序
0 条评论
下一页
