当前位置：首页 > news >正文

复习打卡大数据篇——Hadoop YARN

news 来源：原创 2025/5/19 3:08:32

１.什么是yarn

２.yarn的三大角色

３.任务（MR）提交到YARN运行流程

4. 调度器Scheduler

5.YARN HA 高可用

１.什么是yarn

YARN（Yet Another Resource Negotiator）是一个资源管理和调度平台，旨在为上层应用提供统一的资源管理。它的引入大大提升了集群在利用率、资源管理和数据共享等方面的效率。可以将YARN视为一个分布式操作系统平台，而MapReduce等计算程序则类似于运行在操作系统上的应用，YARN为这些程序提供所需的计算资源。

２.yarn的三大角色

YARN主要有三个角色：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）。另外还有container和客户端client。

ResourceManager（RM）：

RM负责整个集群的资源管理和分配，是一个全局的资源管理系统。NM以心跳的方式向RM汇报资源使用情况（CPU和内存）。RM只接受NM的资源回报信息，对于具体的资源处理则交给NM自己处理。调度器根据application的请求为其分配资源，不负责application job的监控、追踪、运行状态反馈、启动等工作。

NodeManager（NM）：

NM是每个节点上的资源和任务管理器，它是管理这台机器的代理，负责该节点程序的运行，以及该节点资源的管理和监控，YARN集群每个节点都运行一个NM。NM定时向RM汇报本节点资源的使用情况和Container（资源的抽象容器）的运行状态。当RM挂了时NM自动连接RM备用节点。NM接收并处理来自AM的Container启动、停止等各种请求。

ApplicationMaster（AM）：

用户提交的每个应用程序均包含一个AM，它可以运行在RM以外的机器上。功能包括：负责与RM调度器协商以获取资源（用Container表示）、将得到的任务进一步分配给内部的任务(资源的二次分配)、与NM通信以启动/停止任务、监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。RM只负责监控AM，并在AM运行失败时候启动它。RM不负责AM内部任务的容错，任务的容错由AM完成。

Container：

是YARN 中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当 AM 向 RM 申请资源时， RM 为 AM 返回的资源便是用 Container表示的。YARN 会为每个任务分配一个 Container，且该任务只能使用该 Container 中描述的资源。

３.任务（MR）提交到YARN运行流程

客户端（client）向ResourceManager提交应用程序。
RM指定NM预留资源配合客户端启动一个container用于运行ApplicationMaster。
启动中的ApplicationMaster向ResourceManager注册自己，启动成功后与RM保持心跳。
ApplicationMaster向ResourceManager发送请求，申请相应数目的container。
ResourceManager返回ApplicationMaster的申请的containers信息。申请成功的container，由ApplicationMaster进行初始化。container的启动信息初始化后，AM与对应的NodeManager通信，要求NM启动container。AM与NM保持心跳，从而对NM上运行的任务进行监控和管理。
container运行期间，ApplicationMaster对container进行监控。container通过RPC协议向对应的AM汇报自己的进度和状态等信息。
应用运行期间，client直接与AM通信获取应用的状态、进度更新等信息。
应用运行结束后，ApplicationMaster向ResourceManager注销自己，并允许属于它的container被收回。

4. 调度器Scheduler

所谓的调度器指的是当集群繁忙的时候,如何给申请资源的程序分配资源,scheduler是属于RM的功能。

在Yarn中有三种调度器可以选择：FIFO Scheduler（先进先出策略），Capacity Scheduler（容量调度策略），Fair Scheduler（公平调度策略）。Apache Hadoop版本默认策略是capacity ，CDH商业版本默认策略是Fair。如果需要使用其他的调度器，可以在yarn-site.xml中的yarn.resourcemanager.scheduler.class进行配置。

FIFO Scheduler（先进先出策略）:
先进先出就是把应用按提交的顺序排成一个队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。FIFO调度器的实现逻辑非常简单，主要依赖于任务提交的顺序，容易理解和管理，由于任务按顺序执行，每个任务都能获得资源，理论上每个任务都会得到公平的资源分配（假设资源足够）。但长时间运行的任务会阻塞后续任务，导致系统效率降低,在有优先级、高负载等复杂情况时，FIFO可能无法高效管理资源。不适用于共享集群。

Capacity Scheduler（容量调度策略）：

Capacity Scheduler的主要目标是确保系统中的资源被分配给不同的用户或任务，以最大化系统的利用率，同时避免资源的过度竞争。它通过设定每个队列的“容量”来控制资源的分配，确保在资源有限的情况下，能够合理地满足不同任务和用户的需求。如果某个队列的任务未能使用完其分配的资源，其他队列可以使用这些空闲资源。若某个队列资源使用不充分，其他队列就能暂时占用这些资源。当资源使用量回升时，调度器可以根据需求重新分配资源。为了保证公平性，调度器可能会使用预设的优先级和容量限制，确保资源不会被单一队列独占。较低优先级的任务可能会在资源紧张时被延迟执行，直到更高优先级的任务完成。

Fair Scheduler（公平调度策略）：

Fair调度器会为所有运行的job动态的调整系统资源。当第一个job提交时，只有这一个job在运行，此时它获得了所有集群资源；当第二个job提交后，Fair调度器会分配一半资源给这个小任务，让这两个任务公平的共享集群资源。

5.YARN HA 高可用

为解决RM在YARN中的单点故障，设计了基于Zookeeper集群来实现YARN HA。

由于资源使用情况和NodeManager信息都可以通过NodeManager的心跳机制重新构建出来，因此只需要对ApplicationMaster相关的信息进行持久化存储即可，在一个典型的YARN HA集群中，两台独立的机器被配置成ResourceManger。在任意时间，有且只允许一个活动的ResourceManger,另外一个备用。切换分为两种方式：手动切换和自动切换。自动切换基于zookeeper。

自动故障转移原理：

创建锁节点：在ZooKeeper上会创建一个叫做ActiveStandbyElectorLock的锁节点，所有的RM在启动的时候，都会去竞争写这个临时的Lock节点，而ZooKeeper能保证只有一个RM创建成功。创建成功的RM就切换为Active状态，没有成功的RM则切换为Standby状态。
注册Watcher监听：Standby状态的RM向ActiveStandbyElectorLock节点注册一个节点变更的Watcher监听，利用临时节点的特性（会话结束节点自动消失），能够快速感知到Active状态的RM的运行情况。
准备切换：当Active状态的RM挂了，其在ZooKeeper上创建的Lock节点随之被删除，这时其它各个Standby状态的RM都会受到ZooKeeper服务端的Watcher事件通知，然后开始竞争写Lock子节点，创建成功的变为Active状态，其他的则是Standby状态。
Fencing(隔离)：在分布式环境中，机器经常出现假死的情况（常见的是GC耗时过长、网络中断或CPU负载过高）而导致无法正常对外进行及时响应。如果有一个处于Active状态的RM出现假死，其他的RM刚选举出来新的Active状态的RM，这时假死的RM又恢复正常，还认为自己是Active状态，像HDFS HA一样会出现脑裂现象，即存在多个处于Active状态的RM，可以使用隔离机制来解决此类问题。
YARN的Fencing机制是借助ZooKeeper数据节点的ACL权限控制来实现不同RM之间的隔离。创建的根ZNode必须携带ZooKeeper的ACL信息，目的是为了独占该节点，以防止其他RM对该ZNode进行更新。借助这个机制假死之后的RM会试图去更新ZooKeeper的相关信息，但发现没有权限去更新节点数据，就把自己切换为Standby状态。

１.什么是yarn

２.yarn的三大角色

３.任务（MR）提交到YARN运行流程

4. 调度器Scheduler

5.YARN HA 高可用

相关文章：