stage create
2016-04-07 23:53:31 0 举报
在舞台创建的过程中,首先要确定演出的主题和内容。然后,设计师会根据主题进行舞台布景的设计,包括背景、道具、灯光等元素的选择和布置。接下来,搭建舞台的技术人员会根据设计方案进行舞台的实际搭建,包括舞台的结构、设备的配置等。在舞台搭建完成后,还需要进行彩排和调试,确保所有的设备都能正常运行,演员在舞台上的行动不受限制。最后,就可以开始正式的演出了。整个舞台创建的过程需要多方面的专业知识和技能,每个环节都不能忽视,才能创造出一个既美观又实用的舞台。
作者其他创作
大纲/内容
new ActiveJob
handleJobSubmitted
检查分片是否越界
dagScheduler.runJob
waitingForVisit.pushparents.rd
finalStage.addActiveJob(job)
taskIdToLocations
None
foreach
notEmpty
shuffleToMapStage.get(shuffleDep.shuffleId)
listenerBus.post
clearCacheLocs
getMissingParentStages
doCheckpoint
Some
visit
visited
empty
返回waiter
getAncestorShuffleDependencies
pop
递增产生jobId
clean(func)
shuffleToMapStage
submitStage
匹配作业结果是否成功
taskScheduler.submitTasks(new TaskSet
vent match { case JobSubmitted
DAGScheduler
onReceive消息处理线程
getPreferredLocs
ShuffleDependency
SparkContext
parents
eventQueue.put(event)
submitStage(parent)
getMissingParentStages(finalStage)
val partitionsToCompute: Seq[Int] = stage.findMissingPartitions()
RDD
runJob
waitingForVisit
partition为0直接返回
getAncestorShuffleDependencies递归找出所有交rdd的shuffleDenpendence,作为shufflestage
dependencies
事件队列
RDD算子触发JOB
match
progressBar命令行打印
waiter.awaitResult() match
submitMissingTasks
getCallSite
submitWaitingStages()
submitJob
doOnReceive
finalStage: ShuffleMapStage
sc.runJob
getShuffleMapStage
this stage get to waiting
eventProcessLoop.post(JobSubmitted(
收藏
收藏
0 条评论
下一页