YARN 与 MapReduce 1的对比
2019-08-06 11:37:10 0 举报AI智能生成
YARN 和 MapReduce 1 的对比
作者其他创作
大纲/内容
YARN 与 MapReduce 1 对比
功能对应
MapReduce 1
YARN
Jobtracker
资源管理器、application master、时间轴服务器
Tasktraker
节点管理器
Slot
容器
YARN的进步
可扩展性(Scalability)
与MapReduce 1 相比，YARN可以在更大规模的集群上运行
MapReduce的瓶颈：当节点数达到4000，任务书达到40000时，MapReduce会遇到可扩展性瓶颈，瓶颈源于jobtracker必须同时管理作业和任务这样一个事实
YARN的改进：YARN利用其资源管理器和application master分离的架构有点克服了这个局限性，可以扩展到面向将近10000个节点和100000个任务，与Google MapReduce论文中所描述的更接近
可用性(Availability)
当服务守护进程失败时，通过另一个守护进程复制接管工作所需的状态，并继续提供服务
MapReduce的瓶颈：jobtraker内存中大量快速变化的复杂状态（例如：每个任务状态每几秒会更新一次）是的改进jobtracker服务获得高可用性非常困难
YARN的改进：jobtraker在资源管理器和application master之间进行了职责划分，gap可用的服务随之成为了一个分而治之的问题
先为资源管理器提供高可用性
再为YARN应用提高高可用性
利用率(Utilization)
MapReduce的瓶颈：在配置的时候就给不同用途的容器分配了资源，例如map slot 和 reduce slot，而且一个 map slot只能运行一个map任务，一个reduce slot只能运行一个reduce任务
YARN的改进：一个节点管理器管理一个资源池，而不是指定的固定数目的slot，因此不会出现由于集群中仅有map slot可用导致reduce任务必须等待的情况
多租户(Multitenancy)
YARN可以向MapReduce以外的其他分布式应用开放Hadoop
0 条评论
下一页
