MapReduce执行图
2020-08-25 10:38:39 0 举报MapReduce执行图
作者其他创作
大纲/内容
map task
赵
排序、分区、溢写(写入磁盘)sort、Partation、spill
张三、李四、王五、赵六、田七
张
王五 1王五 1王五 1王五 1
王
切片 split min max设置为一样
张三 1
拉取Fetch
李
环形缓冲区到达80%时溢写
20%
20m
环形缓冲区默认100m
李四 1
张三 1张三 1张三 1张三 1
DataNode1
王五
数据块block 1128 m
组合器combiner
80m
DataNode3
默认快速排序字典排序
王五 1
张三、李四、王五....
.....
李 4
张三
数据块block 2128 m
80%
李三 1李三 1李三 1李三 1
李四
张三 hash 1李四 hash 2王五 hash 3赵六 hash 4
big File(初始化file数据)
张 4
分区Partation可手动更改默认hash
切片 split
output
数据块block 3128 m
merge 合并
张 4
归并排序Reduce
DataNode2
。。。
0 条评论
下一页
