Spark诊断调优模型层次划分
2016-09-02 11:36:37 0 举报
Spark诊断调优模型层次划分
作者其他创作
大纲/内容
Job/Stage
。。。
Executor1
资源管理
Task
Executor2
Container（Memory/GC/CPU）
应用代码&配置
应用运行时
Driver
Executor/Task
Spark调优诊断模型
ExecutorN
应用运行时环境
用户配置spark.executor.memory=...spark.executor.cores=...
用户代码val rdd1= sc.textFile(...)val rdd2 = rdd1.reduceByKey(...).cache()rdd2.saveAsTextFile(...)
收藏
0 条评论
回复 删除
下一页
