Spark Job提交函数级源码剖析
2021-04-11 21:51:39 4 举报这个思维导图描述了Job的生成、DagScheduler、TaskScheduler
作者其他创作
大纲/内容
submitStage(finalStage)是一个复杂的过程，需要详细画另外一张图说明
JobSubmmited是一个DAGSchedulerEvent接口的具体实现
JobSubmmited
Package: SparkUtil
引用
DAGSchedulerEventProcessLoop是对EventLoop的实现，实现根据DagScheduler的Event处理。
createResultStage
handleJobSubmitted:是对提交的任务进行处理，
EventLoop Class
CHECK POINT
DAGSchedulerEventProcessLoop
SparkContext.runjob
handleJobSubmmited
submitJob
EventLoop是一个Spark公共使用类，包含对接受到的Event进行处理，包含线程的原子处理。DAGScheduler的event需要考虑针对event的处理。
submitStage(finalStage)
提交Job
runjob
Action算子
dag.runjob
SparkContext Class
DagScheduler Class
收藏
0 条评论
下一页
