yarn scheduler
2016-01-21 10:46:52 1 举报
Yarn Scheduler是Apache Hadoop的一部分,负责管理MapReduce应用程序的执行。它的主要任务是将计算任务分配给集群中的不同节点,以实现资源的最优利用和作业的高效执行。Yarn Scheduler采用一种基于优先级的资源调度策略,根据应用程序的需求和集群的负载情况,动态调整任务的执行顺序。此外,Yarn Scheduler还支持多种队列机制,以满足不同类型应用程序的需求。通过这些功能,Yarn Scheduler能够确保Hadoop集群在处理大规模数据处理任务时,实现高性能、高可用性和可扩展性。
作者其他创作
大纲/内容
6
资源管理和调度系统
5
Map
获得资源节点
启动任务
节点
作业调度器
申请资源
启动作业调度器
查询任务
客户端
1
reduce任务进度
map任务进度
4
Reduce
2
汇报资源
3
0 条评论
下一页