Spark Job

Task 4-1

Task 2-2

Job4

Taskset 4

Taskset 3

Task 0-1

TaskSchedule

Job1

Taskset 2

资源分配任务调度

ExcutorBackend

Stage 0

Task 1-1

Task 2-1

Task 5-2

把Stage分为Tasks

Job 0

Drive

把Tasks添加到任务队列

Taskset 1

Stage

Task 3-1

提交jobrunjob

Task 5-1

Job2

Task 0-2

Task 1-2

DAG Scheduler

把job划分成Stage

执行调度

ScheduleBackend

Worker

Job3

1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Tasks添加到任务队列当中，交给SchedulerBackend进行资源分配和任务调度。5、调度器给Task分配执行Executor，ExecutorBackend负责执行Task。

Task 3-2

Application

Stage 2

Taskset 5

Task 4-2

Taskset 0

Stage 1

触发atcion runjob

SparkContext