mapreduce流程
2019-12-04 09:43:27 1 举报
流程图
作者其他创作
大纲/内容
<A,1> <C,1>
<B,1> <F,1>
1.待处理文本
11.默认TextOutputFormat
0~128M
200Ma.txt
分区1
80%溢写(默认100M)
8.copy到reducetask中(使用网络传输)
yarn
10.一次读取一组
<A,1> <A,1><C,1> <E,1>
5.使用TextInputFormat(RecordReader)可以使用其他..
分区2
<B,1> <D,1><F,1> <F,1>
<A,1> <E,1>
继承Mapper类重写map()方法
<D,1> <F,1>
9.合并文件,归并排序
RecoedWriter
reducer
7.归并排序
outputFormat
<A,1> <A,1><A,1> <A,1><C,1> <C,1><E,1> <E,1>
4.计算出maptask数量
6.向缓冲区写入数据
0~128M128M~200m
写入数据
GroupCompartor
3.提交信息切片
partition1
inputformat
11.二次排序
排序
2.提交客户端submit()
<B,1> <B,1><D,1> <D,1><F,1> <F,1><F,1> <F,1>
InputOutputContext
partition2
part-r-00000
MR appmasterNodeManager
context.write()
ReduceTask2
MapTask
part-r-00001
ReduceTask1
收藏
0 条评论
回复 删除
下一页