作业提交过程
2016-04-02 14:20:21 5 举报Spark作业提交过程
作者其他创作
大纲/内容
Pool
addTaskSetManager
是
划分Stage和具体的数据本地性
否
寻找默认pool的调度队列
将新创建的TaskSetManager加入已经初始化过的schedulableBuilder中，进行作业具体的调度。（schedulableBuilder初始化时在创建SparkContext时进行的。）
FIFO
overrideaddTaskSetManager（加入作业集合的管理器）直接加入根节点的调度队列
TaskScheduler具体实现类TaskSchedulerImpl
调用backend的reviveOffers方法
触发taskScheduler.submitTasks方法创建TaskSet(初始化参数包括task本身、taskid、stageid、jobId以及优先性)
submit方法（Submit a sequence of tasks to run.）
寻找该优先级的调度队列，将TaskSetManager加入其中
Fair
创建TaskSetManager来管理TaskSet（作业集合）
DAGScheduler
直接将TaskSetManager加入默认pool的调度队列中
优先级是否为空
submitMissingTasks方法
收藏
0 条评论
下一页
