MapReduce on Yarn
2019-05-10 15:41:50 51 举报Mapreduce on yarn
作者其他创作
大纲/内容
MapTask2
11、启动YarnChild容器
20、合并
1、创建job任务
Container/YarnChild
File(/user_login.txt) 200M
OutputFormat
19、HTTP方式复制数据
21、执行reduce
Slave1(DataNode)
getSplit()
bolck1
Partiton1
9.返回AM资源信息
Configuration
3、InputFormat/writeSplit()
分片信息
16、溢出到磁盘的spill文件
ResourceManager
Container
Submit
part-r-00000
10.得到资源后，通过各个节点上的NodeManager启动相应任务
8.AM申请资源
2、提交任务
Sort
NodeManager
Master
排序2
7、得到分片信息
Shuffle
Partiton
拉取Map任务结果
Slave2(DataNode)
Job
6.开启AM进程
Partiton2
Combiner1
Combiner2
MapTask1
InputSplit
5.找到一个NodeManger
Client JVM
15、向缓冲区写数据/outputCollector
Partition1
12、TextInputFormat
Reduce
合并，排序
ReduceTask1
Slave4(DataNode)
Reducersetup()reduce()cleanup()run()
ApplicationMaster
环形内存缓冲区
17.得到资源后，通过各个节点上的NodeManager启动相应任务
MapReduce程序（mywordcount.jar）
Slave3(DataNode)
排序1
4、提交jobmywordcount.jarjob.xmljob.split
Mappersetup()map()cleanup()run()
18、启动yarn容器
0 条评论
下一页
