【Hadoop入门】Hadoop生态之Yarn简介
1 什么是Yarn?
2 Yarn的核心组件
YARN (Yet Another Resource Negotiator) 作为Hadoop 2.0引入的资源管理系统,其架构由几个关键组件组成,共同协作完成集群资源管理和任务调度功能。
2.1 ResourceManager (RM) - 资源总管
核心职责:
- 全局资源管理和调度
- 处理客户端请求
- 监控集群资源使用情况
主要子组件:
- Scheduler(调度器)
- ApplicationsManager(应用管理器)
关键特性:
- 支持高可用(Active/Standby架构)
- 通过ZooKeeper实现故障转移
- 处理所有NodeManager的心跳信息
2.2 NodeManager (NM) - 节点代理
核心职责:
- 单节点资源管理和任务执行代理
- 向RM注册并定期发送心跳
- 管理本节点的Container生命周期
主要功能:
- 资源隔离:使用Linux cgroups或Docker实现CPU隔离;内存隔离通过监控和强制kill实现
- 本地化服务:管理分布式缓存,确保任务所需文件本地化
- 健康监控:磁盘健康检查、节点健康状况报告
2.3 ApplicationMaster (AM) - 应用管家
核心特点:
- 每个应用一个独立实例(MapReduce/Spark等各有实现)
- 运行在Container中
- 与具体计算框架紧密相关
主要职责:
- 资源协商
- 任务调度
- 容错处理
- 进度报告
2.4 Container - 资源容器
核心概念:
- YARN的资源抽象单元
- 由RM调度器分配
- 由NM监控和执行
资源维度:
- 内存:
- 最小分配单位可配置(默认1GB)
- 超过限制会被NM强制终止
- CPU:
- 使用虚拟核(vCore)概念
- 支持分数核分配(如0.5个vCore)
- 其他资源:
- 磁盘I/O带宽
- 网络带宽
- GPU等异构资源
生命周期:
- 由AM通过RPC向RM申请
- RM分配后返回Container令牌
- AM与目标NM通信启动Container
- 任务完成后由AM或NM释放
3 Yarn的工作流程

3.1 作业提交阶
1. 客户端提交应用
- 用户通过yarn jar命令或API提交应用程序
- ResourceManager(RM) 的ApplicationsManager接收提交请求
- RM 返回一个Application ID和资源提交路径
2. 资源拷贝
- 客户端将应用所需资源(JAR 文件、配置文件等)上传到HDFS
- 包括:应用JAR包、依赖库、配置文件、分布式缓存文件
3. 应用注册
- 客户端向RM提交应用执行请求
- RM将应用加入调度队列
3.2 ApplicationMaster启动阶段
1. 调度首个Container
- RM的调度器(Scheduler)为该应用分配第一个Container
- 这个Container专门用于运行ApplicationMaster(AM)
- 分配考虑因素:队列资源配额、用户资源限制、节点资源可用性
2. NodeManager启动AM
- RM与目标 NodeManager(NM)通信
- NM在分配的Container中启动AM进程
3. AM向RM注册
- AM启动后向RM注册
- 建立RPC通信通道
- 报告AM的跟踪URL和RPC端口
3.3 资源申请与分配阶段
1. AM资源请求
- AM根据应用需求计算所需资源
- 向RM发送 资源请求(ResourceRequest),请求包含:优先级(Priority)、资源量(内存/CPU)、数据本地化偏好
2. RM资源分配
- RM的调度器处理资源请求
- 根据调度策略(Capacity/Fair/FIFO)分配资源
- 返回Container分配列表给AM
3. AM二次调度
- AM收到分配的Container列表
- 根据数据本地化优化任务分配
- 可能拆分大任务为多个小任务
3.4 任务执行阶段
1. AM启动任务Container
- AM与对应NM通信
- 在每个分配的Container中启动任务
2. 任务执行与监控
- NM监控Container的资源使用
- AM通过心跳机制监控任务状态
- 关键监控指标:任务进度(Progress)、资源使用量、任务健康状态
3. 状态报告
- AM定期向RM报告应用状态
- 客户端可以通过RM或直接向AM查询状态
3.5 作业完成阶段
1. AM注销
- 所有任务完成后,AM向RM发送完成信号
- 释放所有占用的资源
- 记录最终应用状态(SUCCEEDED/FAILED/KILLED)
2. 清理工作
- RM清理应用记录
- NM清理工作目录
- 可选保留中间结果
4 Yarn的特点与优势
4.1 核心特点
资源管理与作业调度分离:
- 将传统的 JobTracker 功能拆分为:
- ResourceManager:全局资源管理
- ApplicationMaster:应用级任务调度
- 架构解耦带来更好的扩展性和灵活性
多租户支持:
- 通过队列(Queue)实现资源隔离
- 支持容量保证(Capacity Guarantees)
- 提供公平资源分配(Fair Sharing)
多框架支持:
- 不仅支持 MapReduce
- 可运行 Spark、Flink、Tez 等计算框架
- 通过 ApplicationMaster 接口实现框架可插拔
层级化调度:
- 支持多级资源分配策略
- 典型层次:队列 → 应用 → 容器
4.2 技术优势
高可扩展性:
- 支持10000+节点集群
- 可管理10000+并发容器
- 每日处理百万级作业
高资源利用率:
- 细粒度资源分配(CPU/Memory/GPU等)
- 动态资源分配(运行时调整)
- 资源共享(避免资源孤岛)
高可用性:
- ResourceManager HA 机制
- 应用失败自动恢复
- 支持应用保存点(Savepoint)
灵活的调度策略:
- 内置调度器:CapacityScheduler(生产环境首选)、FairScheduler(研发环境常用)
- 支持自定义调度器插件
5 Yarn的应用场景
- 批处理作业:支持MapReduce等批处理框架,处理大规模的历史数据
- 实时计算:支持Spark Streaming、Flink等实时计算框架,处理实时数据流
- 交互式查询:支持Hive on Tez、Impala等交互式查询框架,提供低延迟的查询服务
- 图计算:支持Giraph等图计算框架,处理大规模的图数据
6 总结
Yarn作为Hadoop生态系统中的资源管理和调度框架,为上层应用提供了统一的资源管理和调度服务。通过ResourceManager、NodeManager、ApplicationMaster和Container等核心组件的协同工作,Yarn实现了资源的高效利用和任务的灵活调度。其资源隔离、高扩展性、高可用性和灵活性等特点,使得Yarn在批处理作业、实时计算、交互式查询和图计算等场景中发挥着重要作用。通过学习和使用Yarn,用户可以更加高效地管理和调度Hadoop集群的资源,提升数据处理和分析的效率。
相关文章:
【Hadoop入门】Hadoop生态之Yarn简介
1 什么是Yarn? Yarn(Yet Another Resource Negotiator) 是Hadoop生态系统中的资源管理和调度框架,负责为上层应用提供统一的资源管理和调度服务。 是Hadoop 2.0引入的重要架构改进,成为Hadoop集群的资源管理层…...
猫咪如厕检测与分类识别系统系列【三】融合yolov11目标检测
✅ 前情提要 家里养了三只猫咪,其中一只布偶猫经常出入厕所。但因为平时忙于学业,没法时刻关注牠的行为。我知道猫咪的如厕频率和时长与健康状况密切相关,频繁如厕可能是泌尿问题,停留过久也可能是便秘或不适。为了更科学地了解牠…...
qt的基本使用
先教大家如何基本使用qt,这样是为了后面的服务器使用做铺垫 安装测试用例的创建创建qt界面程序后讲解各文件的作用qt的界面控件实现逻辑功能的流程测试效果 我会写一个测试用例方便大家了解与使用 安装 参考这个文章来安装,链接: qt安装 测试用例的创建…...
Spring AI使用tool Calling和MCP
深入探索 Spring AI Spring AI版本1.0.0.M6 在人工智能与软件开发深度融合的时代,Spring AI 作为一个强大的框架,持续为开发者提供着高效且便捷的工具,以实现与大语言模型(LLM)的无缝交互。Spring AI 的最新版本引入了…...
【前端】webpack一本通
今日更新完毕,不定期补充,建议关注收藏点赞。 目录 简介使用webpack默认只能处理js文件 ->引入加载器对JS语法降级,兼容低版本语法合并文件再次打包进阶 工作原理html-webpack-plugin插件webpack开发服务器引入使用webpack-dev-server模块…...
STM32蓝牙连接Android实现云端数据通信(电机控制-开源)
引言 基于 STM32F103C8T6 最小系统板完成电机控制。这个小项目采用 HAL 库方法实现,通过 CubeMAX 配置相关引脚,步进电机使用 28BYJ-48 (四相五线式步进电机),程序通过蓝牙连接手机 APP 端进行数据收发, OL…...
OpenHarmony Camera开发指导(二):相机设备管理(ArkTS)
在开发一个相机应用前,需要先通过调用Camera接口获取支持的相机设备列表,然后创建相机设备对象做后续处理。 开发步骤 1、导入camera接口,接口中提供了相机相关的属性和方法,导入方法如下。 import { camera } from kit.Camera…...
安卓 手机拨打电话录音保存地址适配
今天来聊一聊各大厂商拨打电话自动录音保存地址适配,希望同学们积极参与评论,把自己的手机型号、Android版本及拨打电话录音地址发一下,众人拾柴火焰高啊,这样有利于后期的同学积累经验,为中国的手机适配做一次贡献。 …...
spring cloud微服务断路器详解及主流断路器框架对比
微服务断路器详解 1. 核心概念 定义:断路器模式通过快速失败机制防止故障扩散,当服务调用出现异常或超时时,自动切换到降级逻辑,避免级联故障。核心功能: 熔断:在故障阈值(如错误率)…...
idea在线离线安装插件教程
概述 对于小白来说,刚使用idea时,还有很多不懂的地方,这里,简单介绍下如何安装插件。让小白能容易上手全盘idea。 1、File -> Settings 2、找到 Plugins -> Marketplace 3、安装 3.1、在线安装 输入想搜索的内容&#x…...
项目管理(高软56)
系列文章目录 项目管理 文章目录 系列文章目录前言一、进度管理二、配置管理三、质量四、风险管理五、真题总结 前言 本节主要讲项目管理知识,这些知识听的有点意思啊。对于技术人想创业,单干的都很有必要听听。 一、进度管理 二、配置管理 三、质量 四…...
通过类似数据蒸馏或主动学习采样的方法,更加高效地学习良品数据分布
好的,我们先聚焦第一个突破点: 通过类似数据蒸馏或主动学习采样的方法,更加高效地学习良品数据分布。 这里我提供一个完整的代码示例: ✅ Masked图像重建 残差热力图 这属于自监督蒸馏方法的一个变体: 使用一个 预…...
Java设计模式实战:策略模式在SimUDuck问题中的应用
一、前言 在面向对象编程中,设计模式是解决常见问题的可重用方案。今天,我将通过经典的SimUDuck问题,向大家展示如何使用策略模式(Strategy Pattern)来设计灵活、可扩展的鸭子模拟程序。 二、问题描述 SimUDuck是一个模拟鸭子行为的程序。最…...
考虑蒙特卡洛考虑风光不确定性的配电网运行风险评估—Matlab
目录 一、主要内容: 二、实际运行效果: 三、理论介绍: 四、完整代码数据下载: 一、主要内容: 由于风电光伏出力的不确定性,造成配电网运行风险,运用蒙特卡洛概率潮流计算分析电压和线路支路…...
如何统一多条曲线的 x 轴并进行插值处理
在数据处理和分析中,我们经常遇到需要将多条曲线的 x 轴统一的情况。这种需求通常出现在需要对不同来源的数据进行比较或整合时。本文将通过一个具体的例子,展示如何使用 C 实现这一功能,并通过插值计算新的 y 值,同时确保结果分段…...
【全队项目】智能学术海报生成系统PosterGenius--多智能体辩论
🌈 个人主页:十二月的猫-CSDN博客 🔥 系列专栏🏀大模型实战训练营 💪🏻 十二月的寒冬阻挡不了春天的脚步,十二点的黑夜遮蔽不住黎明的曙光 文章目录 [toc]1. 前言2. 项目进度3. 本周核心进展3…...
PostIn安装及入门教程
PostIn是一款国产开源免费的接口管理工具,包含项目管理、接口调试、接口文档设计、接口数据MOCK等模块,支持常见的HTTP协议、websocket协议等,支持免登陆本地接口调试,本文将介绍如何快速安装配置及入门使用教程。 1、安装 私有…...
解决电脑问题——突然断网!
电脑如果突然断网是怎么回事 电脑突然断网可能由多种原因造成,以下是常见的因素: 网络连接与权限问题 路由器或调制解调器故障:路由器或调制解调器可能出现硬件故障、软件故障或设置错误。可以尝试重启设备,如果问题依旧&#…...
codeforces B2. The Strict Teacher
目录 题目 思路简述: 总代码: 题目 B1. 严厉的老师(困难版) 每个测试用例时间限制:1.5 秒 每个测试用例内存限制:256 兆字节 纳雷克和措索瓦克忙着准备这一轮(活动),…...
Linux:35.其他IPC和IPC原理+信号量入门
通过命名管道队共享内存的数据发送进行保护的bug: 命名管道挂掉后,进程也挂掉了。 6.systemV消息队列 原理:进程间IPC:原理->看到同一份资源->维护成为一个队列。 过程: 进程A,进程B进行通信。 让操作系统提供一个队列结构,…...
docker测试镜像源
参考文章 https://zhuanlan.zhihu.com/p/28662850275 格式如下:(不要加上前缀https://) sudo docker pull镜像源地址/要拉取的镜像名 和pip、npm不同, unknown flag: --registry-mirror 这个参数可能不存在。...
AdamW 是 Adam 优化算法的改进版本; warmup_steps:学习率热身的步数
AdamW 是 Adam 优化算法的改进版本 目录 AdamW 是 Adam 优化算法的改进版本1. `optimizer = torch.optim.AdamW(model.parameters(), lr=2e-4)`2. `num_epochs = 11`3. `total_steps = len(dataloader) * num_epochs`warmup_steps:学习率热身的步数,学习率会从一个较小的值逐…...
Java从入门到“放弃”(精通)之旅——运算符③
🌟Java从入门到“放弃”(精通)之旅🚀:运算符深度解析 引言:运算符的本质与价值 作为Java语言的核心组成部分,运算符是构建程序逻辑的基础元素。它们不仅仅是简单的数学符号,更是程…...
关于 微服务负载均衡 的详细说明,涵盖主流框架/解决方案的对比、核心功能、配置示例及总结表格
以下是关于 微服务负载均衡 的详细说明,涵盖主流框架/解决方案的对比、核心功能、配置示例及总结表格: 1. 负载均衡的核心概念 负载均衡在微服务中用于将请求分发到多个服务实例,以实现: 高可用性:避免单点故障。性…...
【AI提示词】API开发专家
提示说明 API开发专家专注于设计和实现高效、稳定、安全的应用程序接口(API)。他们通过深入理解业务需求和用户场景,为用户提供定制化的API解决方案。 提示词 # 角色 API开发专家## 注意 1. 专家设计应考虑API开发过程中的技术细节和用户需…...
Node.js中http模块详解
Node.js 中 http 模块全部 API 详解 Node.js 的 http 模块提供了创建 HTTP 服务器和客户端的功能。以下是 http 模块的所有 API 详解: 1. 创建 HTTP 服务器 const http require(http);// 1. 基本服务器 const server http.createServer((req, res) > {res.w…...
uniapp中,使用plus.io实现安卓端写入文件
这段代码是要删除的,留在这里避免以后用到。 在我写流式语音接收与播放的时候,写到这里无法继续了,因为播放时总是出错,无法播放,因为audioContext.play()不支持 但是,我写的这些,用于写入文件是…...
Linux xorg-server 解析(二)- 如何调试 xorg-server
一:概述 Xorg-server简称Xorg,它是Linux窗口系统的核心组件,它是用户态应用程序,但它的调试方法和普通用户态应用程序有所不同,因为Xorg是系统的核心组件,负责图形显示和输入设备的管理,所以在单台机器上调试Xorg可能会面临一些困难和限制,如果在同一台机器上调试它,可…...
CFS 调度器两种调度类型普通调度 和 组调度
在 Linux 的 CFS(Completely Fair Scheduler) 调度器中,确实存在两种调度类型:普通调度 和 组调度。这两种调度类型分别适用于不同的场景,并通过三个关键维度(权重、抢占优先级、最大配额)来影响…...
「逻辑推理」AtCoder AT_abc401_d D - Logical Filling
前言 这次的 D 题出得很好,不仅融合了数学逻辑推理的知识,还有很多细节值得反复思考。虽然通过人数远高于 E,但是通过率甚至不到 60%,可见这些细节正是出题人的侧重点。 题目大意 给定一个长度为 N N N 的字符串 S S S&#…...
PyTorch 深度学习实战(36):混合精度训练与梯度缩放
在上一篇文章中,我们探讨了图生成模型与分子设计。本文将深入介绍混合精度训练(Mixed Precision Training)和梯度缩放(Gradient Scaling)技术,这些技术可以显著加速模型训练并减少显存占用,同时…...
【Flink运行时架构】组件构成
在Flink的运行架构中,有两大比较重要的组件:作业管理器(JobManager)和任务管理器(TaskManager)。 Flink的作业提交与任务处理时的系统如下图所示。 其中,客户端并不是处理系统的一部分ÿ…...
simpy仿真
一共5个顾客,2个服务台 import simpy import randomdef customer(env, name, service_time_mean):arrival_time env.nowprint(f{arrival_time}: {name} 到达服务台,开始排队)with server.request() as req:yield reqwait_time env.now - arrival_time…...
Docker 安装MySQL
一键启动 docker run -d \--name mysql \-p 3306:3306 \-e TZAsia/Shanghai \-e MYSQL_ROOT_PASSWORD1234 \-v /usr/local/mysql/data:/var/lib/mysql \-v /usr/local/mysql/conf:/etc/mysql/conf.d \--restart always --name mysql \mysql 检查是否启动 docker ps 本地连接测…...
【消息队列kafka_中间件】三、Kafka 打造极致高效的消息处理系统
在当今数字化时代,数据量呈爆炸式增长,实时数据处理的需求变得愈发迫切。Kafka 作为一款高性能、分布式的消息队列系统,在众多企业级应用中得到了广泛应用。然而,要充分发挥 Kafka 的潜力,实现极致高效的消息处理&…...
conda如何安装和运行jupyter
在Conda环境中安装和运行Jupyter Notebook是一项常见且实用的任务,特别是在数据科学和机器学习项目中。以下是使用Conda安装和运行Jupyter Notebook的步骤: 安装Jupyter Notebook 首先,确保你的Conda是最新的。打开终端或Anaconda Prompt&a…...
防爆平板:石油化工厂智慧转型的“中枢神经”
易燃易爆气体、高温高压环境、复杂设备集群,这些特性使得传统电子设备难以直接融入生产流程。而防爆平板的出现,不仅打破了这一技术壁垒,更通过智能化、模块化设计,逐步成为连接人、设备与数据的“中枢神经”,推动石油…...
遨游科普:三防平板可以实现哪些功能?
在现代工业与户外作业场景中,电子设备不仅要面对极端环境的考验,更要承担起高效协同生产的重任。三防平板作为“危、急、特”场景移动终端的代表性产品,其核心价值早已超越传统消费级设备的范畴,成为连接智慧生产与安全管理的重要…...
互联网三高-数据库高并发之分库分表
1 数据库概述 1.1 数据库本身的瓶颈 ① 连接数 MySQL默认最大连接数为100,允许的最大连接数为16384 ② 单表海量数据查询性能 单表最好500w左右,最大警戒线800w ③ 单数据库并发压力问题 MySQL QPS:1500左右/秒 ④ 系统磁盘IO、CPU瓶颈 1.2 数…...
Python----机器学习(基于贝叶斯的鸢尾花分类)
贝叶斯方法是一种统计推断的 方法,它利用贝叶斯定理来更新我们对事件概率的信念。这种方法在机器学习和数据 分析中得到广泛应用,特别是在分类和概率估计问题上。 一、数据集介绍 这是分类方法文献中最早使用的数据集之一,广泛用于统计和机器…...
问题 | 对于初学者来说,esp32和stm32哪个比较适合?
对于初学者选择ESP32还是STM32入门嵌入式开发,需综合考虑学习目标、兴趣方向及未来职业规划。以下是两者的对比分析及建议: 1. 适合初学者的关键因素 ESP32的优势 内置无线通信:集成Wi-Fi和蓝牙功能,无需额外模块即可开发物联网…...
org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow...
Spark异常:Kryo serialization failed: Buffer overflow. 1、问题描述 SparkSQL任务报错如下: org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: xxx. To avoid this, increase spark.kryoseri…...
webpack vite
1、webpack webpack打包工具(重点在于配置和使用,原理并不高优。只在开发环境应用,不在线上环境运行),压缩整合代码,让网页加载更快。 前端代码为什么要进行构建和打包? 体积更好&#x…...
论文笔记——KIMI-VL:具有增强推理能力的有效开源视觉语言模型
KIMI-VL:具有增强推理能力的有效开源视觉语言模型 原文地址:https://arxiv.org/pdf/2504.07491v1 开源地址:https://github.com/MoonshotAI/Kimi-VL 目录 简介架构概述训练方法主要功能性能基准通过长链思考增强推理应用结论 简介 视觉…...
大模型蒸馏-小模型超进化
👏作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家📕系列专栏:Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理、AI应用🔥如果感觉…...
辅助记忆数字和唱名的小工具【仅PC端】
通过网盘分享的文件:random_music_note.exe 链接: https://pan.baidu.com/s/1Akc2gPzAcyhEfPHlbOYLXw?pwd4fua 提取码: 4fua –来自百度网盘超级会员v7的分享...
Android 知识沉淀
注解 1.枚举类型传参优化 enum WeekDay{SUNDAY, MONDAY}public static void setDay(WeekDay day){}我们已知,枚举类型是一个对象,对象占用的空间较大,有 12 个对象头对象的数据部分8 字节对齐,所以这里可以利用注解优化ÿ…...
KiActivateWaiterQueue函数和Queue->Header.WaitListHead队列等待列表的关系
第一部分: if (Thread->ApcState.KernelApcPending && (Thread->SpecialApcDisable 0) && (Thread->WaitIrql < APC_LEVEL)) { } else { // // Insert wait block in ob…...
代码学习总结(一)
代码学习总结(一) 这个系列的博客是记录下自己学习代码的历程,有来自平台上的,有来自笔试题回忆的,主要基于 C 语言,包括题目内容,代码实现,思路,并会注明题目难度&…...
设计模式 --- 策略模式
策略模式(Strategy Pattern)是一种 行为型设计模式,用于动态切换算法或策略,使得算法可以独立于客户端变化。它通过封装算法策略并使其可互换,提升了系统的灵活性和扩展性,尤其适用于需要多种…...