Hadoop-MapReduce 工作流程图

李 1……

Merge 合并（归并排序）

根据分区拉取 Fetch

　　　　　　　　　　Memony　　　　　　　　　　内存

李 1、孙 1、张 1……

file.out合并文件

Partition 分区（Hash）

田 1……

王 1……

第一次溢写 Spill……第 N 次溢写 Spill

Combiner 组合器（可选）

KvBuffer 环形数据缓冲区默认 100M，达到 80% 后开始溢写

spillN.out.index 溢写文件对应的索引文件索引文件主要保存分区起始位置、数据长度

P2：李 1、孙 1、张 1……

分组

HDFS

P1：田 1、钱 1、赵 1……

田 1、钱 1、赵 1……

P0：王 1、郑 1、周 1……

用户重写的 reduce 方法逻辑

Combiner组合器（可选）

王 1、郑 1、周 1……

Combiner 组合器（用户自定义设置）1. 每次 Spill 溢写时会被调用2. 合并文件时文件数达到 3 个会被调用

spillN.out.index 溢写文件对应的索引文件索引文件主要保存分区起始位置、数据长度

P2：李 1、孙 1、张 1…（Sort 快速排序）

用户重写的 map 方法逻辑

P1：田 1、钱 1、赵 1…（Sort 快速排序）

向环形缓冲区写入 KV 数据

以 Key Value 方式读取内容到 map 方法Key：偏移量，Value：一行数据

spillN.out 溢写文件N 表示溢写次数

Shuffle 洗牌

Output写出

数据库

Split切片

Merge 合并（归并排序）

MapTask拆分计算

file.out.index合并文件对应的索引文件

第一次溢写 Spill……第 N 次溢写 Spill

Block3——65M张三、李四、王五……

当已完成的 MapTask 任务达到总 MapTask 任务的 5% 时，ReduceTask 即可初始化并根据 file.out.index 拉取分区数据。拉取回来的数据，在 MapTask 阶段是有序的，但是从不同的 MapTask 拉取回来相同分区的数据后，数据就又无序了。对拉取回来的数据进行合并，全局归并排序，然后再分组进入 Reduce 阶段（用户重写的 reduce 方法逻辑）。有多少个 ReduceTask 就有多少个分区，一个分区可以有若干组，默认情况下使用 MapOutputKey 的比较器规则为分组条件。

100M

用户重写的 reduce 方法逻辑

Split1——128M张三、李四、王五……

Disk磁盘

P0：王 1、郑 1、周 1…（Sort 快速排序）

Memony内存

          Disk          磁盘

李 n……

有多少个 ReduceTask 就有多少个分区，一个分区可以有若干组，默认情况下使用 MapOutputKey 的比较器规则为分组条件

ReduceTask归并

一个 Split对应一个 MapTask

Merge 默认每次最多合并 10 个文件

Split3——65M张三、李四、王五……

Shuffle —— map 方法到 reduce 方法之间

Split2——128M张三、李四、王五……

Block1——128M张三、李四、王五……

Block2——128M张三、李四、王五……

根据文件大小和个数，计算任务切片，并初始化 MapTask。切片是一个逻辑概念，可以在不改变现有数据存储的情况下，控制参与计算节点的数量。Split 切片默认大小是 Block 的大小，Block 大小默认是 128M。

HDFS集群

全国百家姓人员统计.txt321M

          Disk          磁盘

王 n……

Input

田 n……

Merge 默认每次最多合并 10 个文件Map 和 Reduce 共用该配置

写出到不同的存储

Hadoop-MapReduce 工作流程图