MapReduce作业流程
2024-08-11 16:56:53 1 举报SQL
作者其他创作
大纲/内容
分区0
分区1
123.txt 300M
block1
block2
MapTask1计算结果
分区0快速排序
S2
分成两个区 结果如下:0分区 8 2 6 41分区 7 3 5 9 1
2.每一个逻辑切片都会交由一个MapTask进行计算
两个文件临时合并
ReduceTask1
快速排序之后:0分区 2 4 6 81分区 1 3 5 7 9合起来 2 4 6 8 1 3 5 7 9
block3
256-300
S1
0分区 2 2 2 2 4 4 4 4 6 6 6 6 8 8 8 8
128-256
环形缓冲区
1.对数据进行逻辑切片
归并排序后
100M
0分区 2 2 4 4 6 6 8 81分区 1 1 3 3 5 5 7 7 9 9
0-100
分区1快速排序
临时文件2
ReduceTask阶段
S3
临时文件1
计算结果
key值 7 3 8 5 9 1 2 6 4
0分区 2 4 6 8 2 4 6 81分区 1 3 5 7 9 1 3 5 7 9
s2
Reduce
MapTask阶段
0-128
6.下载每一个MapTask中同一个分区的数据到本地
MapTask1
ReduceTask2
0分区 2 2 4 4 6 6 8 8 2 2 4 4 6 6 8 8
收藏
0 条评论
下一页
