mapreduce执行流程

copy

<\"alike\

sort

传入reduce()

HDFS上的File

数据扭转

spill

merge

<\"boot\

此时执行的排序操作使用的快速排序按照字典顺序

file

split

20%

apple alikeapple bootboot alike

map

partition

按行读取

compbiner

buffer

<\"apple\

shuffle

alike alikeapple bootboot alike

注：① 蓝色的combiner是说明如果显式的指定了compbiner，则会调用；在对文件进行merge阶段，当merge文件的数量大于等于3时，又会执行combiner② 如果没有显式指定combiner，则不会调用combiner② 所有的merge阶段都采用的是归并排序③ 从环形缓冲区中spill出的文件排序时采用的是元数据，并非真实数据④ 图中方角矩形表示的是map阶段，圆角矩形表示的reduce阶段

reduce