YARN的运行机制
2019-08-06 11:12:43 0 举报AI智能生成
YARN的运行机制
作者其他创作
大纲/内容
YARN的运行机制
灵活的资源请求
当请求多个容器时，可以指定每个容器需要的计算机资源数量，还可以指定对容器的本地限制要求
当本地限制无法被满足，这种情况下要么不分配资源，或者可选择放松限制
一个节点由于已经运行了别的容器而无法再启动新的容器，这时如果有应用请求该节点，则YARN将尝试在同一机架中的其他节点上启动一个容器，如果还不行，则会尝试集群中的任何一个节点
通常情况下，当启动一个容器用于处理HDFS数据块（为了在MapReduce中运行一个map任务）时，应用将会向这样的节点申请容器：存储该数据块三个复本的节点，或是存储这些副本的机架中的一个节点。如果都申请失败，则申请集群中的任意一个节点
YARN 应用可以在运行中的任意时刻提出资源申请
可以在最开始提出所有的请求
Spark
或者为了满足不断变化的应用需要，采用更为动态的方式在需要更多资源的时候提出请求
MapReduce（在最开始时申请map容器，在后期申请reduce容器）
应用生命周期
关注运行时间
关注应用到用户运行的作业之间的映射关系
模型一：一个用户作业对应一个应用
MapReduce
模型二：作业的每个工作流或每个用户对话（可能并无关联）对应一个应用
模型三：多个用户共享一个长期运行的应用
Apache Slider
构建YARN应用
有向无环图
Spark 或 Tez
流处理
Spark、Samaza或Storm
分布式应用
简单编程需求
Apache Twill
复杂的编程需求
YARN.distributed shell
0 条评论
下一页
