MapTask工作机制
2020-10-30 14:17:16 16 举报MapTask工作机制
作者其他创作
大纲/内容
Collect阶段
abcabc....
Key.compareTo排序
bufindex
80%80%，后反向
3.默认TextInputFormat
RecorderReader
7.Merge归并排序
6.溢出到文件（分区且区内有序）
溢写阶段
kvindex
outputColletor
2.客户端submit（）前，获取待处理数据的信息。然后根据参数配置，形成一个任务分配的规则。
MapTask工作机制
Combine阶段
索引kvmeta
Map Task
Map阶段
4.逻辑运算
Mapper
默认100M
HashPartitioner分区
Inputformat
Maptask
1.待处理文件
Read阶段
宣荣欢2020年10月9日
收藏
0 条评论
下一页
