Spark宏观图
2016-09-26 14:33:19 10 举报
spark运行宏观图
作者其他创作
大纲/内容
rdd0
RDD2
node2
X
rdd3
dpen3
rdd1
1 - 100
ResultTask
File2
rdd2
101-200
node1
文件
Transformation
key=1
key=3
Mem2
集合
Mem1
外部数据
窄
checkpoint
dpen2
RDD1
ShuffleMapTask
Action
File1
宽
Map
dpen1
内存和hdfs
201-300
RDD4
node3
1 - 100
Tranformation
Mem3
key=2
persist
map
rdd4
RDD3
RDD5
File3
0 条评论
下一页