TaskSchedulerImpl-resourceOffers
2016-04-05 11:20:43 4 举报
SparkTaskScheduler
作者其他创作
大纲/内容
CoarseGrainedSchedulerBackend
调用rootPool的getSortedTaskSetQueue方法获得任务队列
调用Random.shuffle方法
申明每个计算节点的任务列表(每个计算节点上具体可以运行多少Task)
pool
调用resourceOfferSingleTaskSet方法来为Task分配Cores
传入可用的Cores个数
Random
根据传入数组返回一个顺序随机的数组
TaskSchedulerImpl
利用Randomly shuffle offers达到负载均衡
调用TaskSetManager的myLocalityLevels来获取任务的最高本地性
SchedulingAlgorithm
makeOffers方法调用TaskSchedulerImpl的resourceOffer
记录每个活节点的的hostname如果有新的可有Cores更新可用Cores个数
compare方法
调用SchedulingAlgorithm的compare方法创建任务调度队列
收藏
0 条评论
下一页
为你推荐
查看更多
抱歉,暂无相关内容