SparkPiOnYarnTiming
2016-04-18 15:36:53 0 举报
为你推荐
查看更多
抱歉，暂无相关内容 SparkPiOnYarnTiming是一个用于评估Apache Spark在YARN（Yet Another Resource Negotiator）上运行的性能指标。它通过测量运行Spark Pi应用程序所需的时间来评估集群的效率和性能。这个指标可以帮助开发者和管理员了解Spark作业在YARN集群上的执行速度，从而优化资源分配和调整配置以提高整体性能。SparkPiOnYarnTiming通常以秒为单位表示，数值越低表示性能越好。
作者其他创作
大纲/内容
In DAGScheduler.handleJobSubmitted() start generate finalStage
finished task 1.0 in 908 ms
finishedtask 0.0 in 3348 ms
start task 1.0
DAGScheduler.runJob() Job 0 start
In DAGScheduler.handleJobSubmitted() finished submitStage() recursively finished
In SparkContext.runJob() on RDD MapPartitionsRDD[1] at map at SparkPi.scala:33 finished
In SparkContext.runJob() start
finished task ... in xxx ms
start task ...
3348 ms
In DAGScheduler.submitMissingTasks() serialize stage to taskBinary start
DAGScheduler.runJob() Job 0 finished
start task 0.0
0 条评论
回复 删除
下一页
