当前位置：首页 > news >正文

yarn的概述

news 来源：原创 2025/8/13 23:39:34

1.Yarn的定义 2.Yarn的三大组件 3.Yarn的调度策略

1. YARN的定义

YARN（Yet Another Resource Negotiator） 是Hadoop生态系统中的一个资源管理框架，用于管理和调度集群中的计算资源。它允许多个应用程序在同一个集群上高效地运行，同时确保资源的隔离和共享。

核心目标：
- 提高集群资源的利用率。
- 支持多种计算框架（如MapReduce、Spark、Flink等）。
- 提供资源隔离和调度机制。

2. YARN的三大组件

YARN主要由以下三大组件构成：

2.1 ResourceManager（RM）

功能：
- 负责全局资源的管理和分配。
- 接收应用程序的资源请求，并分配资源。
- 监控NodeManager的状态和资源使用情况。
位置：
- 通常运行在一个独立的节点上，作为集群的主节点。

2.2 NodeManager（NM）

功能：
- 管理单个节点上的资源（如CPU、内存）。
- 启动和管理容器（Container），容器是资源分配的最小单位。
- 监控容器的资源使用情况，并向ResourceManager汇报。
位置：
- 每个计算节点上运行一个NodeManager。

2.3 ApplicationMaster（AM）

功能：
- 每个应用程序运行时都会启动一个ApplicationMaster。
- 负责与ResourceManager协商资源，并请求NodeManager启动容器。
- 管理应用程序的生命周期，包括任务的启动、监控和失败处理。
位置：
- ApplicationMaster运行在某个NodeManager节点上，由ResourceManager分配。

3. YARN的调度策略

YARN提供了多种调度策略，用于管理资源分配和任务调度。以下是常见的调度器：

3.1 FIFO调度器（First-In-First-Out Scheduler）

特点：
- 最简单的调度策略。
- 按照应用程序提交的顺序依次分配资源。
- 适用于单租户环境，但在多租户环境中可能导致资源饥饿问题。

3.2 容量调度器（Capacity Scheduler）

特点：
- 支持多租户环境。
- 将集群资源划分为多个队列（Queue），每个队列可以分配一定比例的资源。
- 支持队列之间的资源共享和弹性扩展。
- 适用于生产环境，能够保证不同用户或应用程序的资源需求。

配置示例：

xml

复制

<property><name>yarn.scheduler.capacity.root.queues</name><value>default,queue1,queue2</value>
</property>
<property><name>yarn.scheduler.capacity.root.default.capacity</name><value>50</value>
</property>
<property><name>yarn.scheduler.capacity.root.queue1.capacity</name><value>30</value>
</property>
<property><name>yarn.scheduler.capacity.root.queue2.capacity</name><value>20</value>
</property>

3.3 公平调度器（Fair Scheduler）

特点：
- 动态分配资源，确保所有运行的应用程序都能获得公平的资源份额。
- 支持资源池（Pool）的概念，可以为不同用户或应用程序分配资源池。
- 适用于多租户环境，能够避免资源饥饿问题。

配置示例：

xml

复制

<property><name>yarn.scheduler.fair.allocation.file</name><value>/path/to/fair-scheduler.xml</value>
</property>

在fair-scheduler.xml中配置资源池：

xml

复制

<allocations><pool name="default"><minResources>1024 mb, 1 vcores</minResources><maxResources>4096 mb, 4 vcores</maxResources></pool><pool name="pool1"><minResources>2048 mb, 2 vcores</minResources><maxResources>8192 mb, 8 vcores</maxResources></pool>
</allocations>

总结

YARN 是一个资源管理框架，用于管理和调度集群中的计算资源。
三大组件：
- ResourceManager：全局资源管理。
- NodeManager：节点资源管理。
- ApplicationMaster：应用程序管理。
调度策略：
- FIFO调度器：简单，适合单租户。
- 容量调度器：支持多租户，资源划分。
- 公平调度器：动态分配资源，适合多租户。

yarn的概述

1.Yarn的定义 2.Yarn的三大组件 3.Yarn的调度策略 1. YARN的定义 YARN（Yet Another Resource Negotiator） 是Hadoop生态系统中的一个资源管理框架，用于管理和调度集群中的计算资源。它允许多个应用程序在同一个集群上高效地运行，…...

编程日记 2025/8/13 23:39:34

目录 1.String operations 1.1string::c_str 1.2string::data 1.3string::copy 1.4string::find 1.5string::rfind 1.6string::find_first_of 1.7string::find_last_of 1.8string::find_first_not_of和string::find_last_not_of find_first_not_of 功能典型用途 f…...

编程日记 2025/6/29 4:34:14

HarmonyOS NEXT深度解析：自研框架ArkUI-X的技术革命与跨平台实践

HarmonyOS NEXT～深度解析：自研框架ArkUI-X的技术革命与跨平台实践引言：ArkUI-X的诞生背景与战略意义在HarmonyOS NEXT全面摒弃AOSP代码的历史性转折点上，华为推出的ArkUI-X框架标志着国产操作系统研发进入深水区。根据华为202…...

编程日记 2025/8/13 17:23:50

CUDA：out of memory的解决方法（实测有效）

一、问题概述 1.问题分析 CUDA out of memory问题通常发生在深度学习训练过程中，当GPU的显存不足以容纳模型、输入数据以及中间计算结果时就会触发。这个问题可能由几个因素引起： 模型和数据规模：深度学习模型尤其是大型模…...

编程日记 2025/8/13 23:35:42

canal mysqltomysql增加同步的库操作

例如增加库 online 1、停止canal.adapter 服务。 ./bin/stop.sh2、备份数据库online，导入目标mysql 备份 mysqldump -h 127.0.0.1 -P 3307 --single-transaction -uroot -p -B online > online.sql导入 mysql -h 127.0.0.1 -P 3308 -uroot -p < onl…...

编程日记 2025/8/13 19:44:10

【AI】模型与权重的基本概念

在 ModelScope 平台上，「模型」和「权重」的定义与工程实践紧密结合，理解它们的区别需要从实际的文件结构和加载逻辑入手。以下是一个典型 ModelScope 模型仓库的组成及其概念解析： 1. ModelScope 模型仓库的典型结构以 deepseek-ai/deepse…...

编程日记 2025/8/13 18:29:16

k8s 中 deployment 管理的多个 pod 构成集群吗

在 Kubernetes (k8s) 中，通过 Deployment 创建的多个 Pod 本身并不构成一个“集群”，而是属于同一个工作负载（Workload） 的多个副本实例。它们的角色是无状态服务副本，而非独立的集群节点。以下是详细解释&#xff1…...

编程日记 2025/6/29 9:00:55

「动态规划」线性DP：股票问题合集 / LeetCode 121|122|123|188 （C++）

目录概述 Question1 思路算法过程 Code 复杂度 Question2 思路解题过程 Code 复杂度 Question3 思路解题过程 Code 复杂度 Question4 思路解题过程 Code 复杂度总结概述我们已经了解过了线性DP： 「动态规划」线性DP：最长…...

编程日记 2025/8/13 21:27:13

【Python os模块完全指南】从基础到高效文件操作

目录 🌟 前言🧩 技术背景与价值🚧 当前技术痛点🛠️ 解决方案概述👥 目标读者说明 📚 一、技术原理剖析🎨 核心概念图解💡 核心作用讲解🔑 关键技术模块说明⚖️ 技术选型…...

编程日记 2025/8/13 23:34:20

Ubuntu 安装 Keepalived、LVS

Keepalived Keepalived 是什么（高可用） Keepalived 是一个用于实现高可用性（High Availability, HA）的服务，是一款基于 VRRP 协议的高可用软件，常用于主备切换和虚拟IP漂移，在服务故障时自动…...

编程日记 2025/6/29 3:50:20

记录一个rabbitmq因为linux主机名服务无法启动的问题

https://g.co/gemini/share/fb5a55644f6f 过程因为主机名为数字导致之间无法进行网络访问，导致无法开启。修改主机名解决这一问题，debian在系统安装时会指定一个用户名，一般为IP地址的第一块，数字导致了无法访问。 #使用命令查看…...

编程日记 2025/8/13 23:39:33

打造个人知识库，wsl+ollama部署deepseek与vscode集成

目前大模型应用如火如荼，各大LLM如Deepseek也都提供了在线的助手服务，结合mcp-server还可以进一步拓展到本地的工具能力。但对于一些和本地业务和数据强相关的资料，在线的大模型训练数据集一般并不能涵盖，特别还有一些敏感或对安全要求很高的数据，使用在线大模型并不现实…...

编程日记 2025/8/13 23:37:08

Spring 项目无法连接 MySQL：Nacos 配置误区排查与解决

在开发过程中，我们使用 Nacos 来管理 Spring Boot 项目的配置，其中包括数据库连接配置。然而，在实际操作中，由于一些概念的混淆，我们遇到了一些连接问题。本文将分享我的故障排查过程，帮助大家避免类似的错…...

编程日记 2025/6/29 4:39:14

P值、置信度与置信区间的关系：统计推断的三大支柱

目录引言一、P值是什么？——假设检验的“证据强度”1.1 定义1.2 判断标准：显著性水平 α \alpha α（阿尔法）1.3 示例说明二、置信区间与置信度：参数估计的“不确定性范围”2.1 置信区间的定义2.2 置信度的含义三、显…...

编程日记 2025/6/29 2:39:37

探索智能仓颉：Cangjie Magic开发体验

探索智能仓颉：Cangjie Magic 的开发体验与技术革新在大型语言模型（LLM）驱动的智能体开发领域，2025年3月开源的 Cangjie Magic 以其独特的原生仓颉语言基因和三大核心技术突破，为开发者提供了一种全新的开发范式。本文将从技术架构、实际应用、开发体验及未来潜力等角度，…...

编程日记 2025/6/29 4:32:41

$在R语言中的作用

在 R 语言中，$ 是一个非常重要的操作符，主要用于访问对象的成员或组件。它的用途非常广泛，不仅限于数据框（data frame），还可以用于列表（list）、环境（environment&#xf…...

编程日记 2025/8/12 4:29:43

【Pandas】pandas DataFrame rolling

Pandas2.2 DataFrame Function application, GroupBy & window 方法描述DataFrame.apply(func[, axis, raw, …])用于沿 DataFrame 的轴（行或列）应用一个函数DataFrame.map(func[, na_action])用于对 DataFrame 的每个元素应用一个函数DataFrame.a…...

编程日记 2025/6/29 4:39:36

新疆地区主要灾害链总结

新疆地处亚欧大陆腹地，拥有高山（如天山、昆仑山）、盆地（如塔里木盆地、准噶尔盆地）、沙漠（如塔克拉玛干沙漠）、绿洲、内陆河流和冰川等复杂多样的地貌单元。其气候极端，干旱少雨是常态，但山区夏季暴雨集中、冬季积雪深厚，地质构造活跃，地震风险高。这些特点共同决定…...

编程日记 2025/6/29 4:12:16

在 Vue 2 中使用 qrcode 库生成二维码

🌟 前言欢迎来到我的技术小宇宙！🌌 这里不仅是我记录技术点滴的后花园，也是我分享学习心得和项目经验的乐园。📚 无论你是技术小白还是资深大牛，这里总有一些内容能触动你的好奇心。🔍 &#x…...

编程日记 2025/8/9 7:25:35

在 Ubuntu 系统中，挂起（Suspend）和休眠（Hibernate）

在 Ubuntu 系统中，挂起（Suspend）和休眠（Hibernate）是两种常见的电源管理模式。以下是相关命令及说明： --- ### **1. 挂起（Suspend）** 挂起会将当前系统状态保存到内存中&#xff0…...

编程日记 2025/8/12 8:36:37

什么是声明式UI什么是命令式UI？鸿蒙ArkTS为什么是声明式UI-优雅草卓伊凡

什么是声明式UI什么是命令式UI？鸿蒙ArkTS为什么是声明式UI-优雅草卓伊凡一、UI编程范式的根本分野在软件开发领域，用户界面(UI)构建方式经历了三次重大范式转换。作为优雅草科技CTO，卓伊凡在多个操作系统开发实践中发现，UI框架…...

编程日记 2025/6/29 4:33:19

nRF Connect SDK system off模式介绍

目录概述 1. 软硬件环境 1.1 软件开发环境 1.2 硬件环境 2 System Off 模式 2.1 模式介绍 2.2 注意事项 3 功能实现 3.1 框架结构介绍 3.2 代码介绍 4 功能验证 4.1 编译和下载代码 4.2 测试 4.3 使能CONFIG_APP_USE_RETAINED_MEM的测试 5 main.c的源代码文件…...

编程日记 2025/8/12 13:33:32

node.js 实战——餐厅静态主页编写（express+node+ejs+bootstrap）

ejs页面 <!DOCTYPE html> <html> <head><title><% title %></title><link relstylesheet href/stylesheets/style.css/><link relstylesheet href/stylesheets/font-awesome.css/><link relstylesheet href/stylesheets/f…...

编程日记 2025/8/13 20:37:11

晶体布局布线

1Clock时钟电路时钟电路就是类似像时钟一样准确运动的震荡电路，任何工作都是依照时间顺序，那么产生这个时间的电路就是时钟电路，时钟电路一般是由晶体振荡器、晶振、控制芯片以及匹配电容组成 2.时钟电路布局晶体电路布局需要优先考虑&…...

编程日记 2025/6/29 3:11:55

数据结构--树

一、树的概念树是由n(n≥0)个节点组成的有限集合，它满足以下条件： 1. 当n0时，称为空树 2. 当n>0时，有且仅有一个特定的节点称为根节点(root) 3. 其余节点可分为m(m≥0)个互不相交的有限集合，每个集合本身又是一…...

编程日记 2025/6/29 4:06:36

5月7号.

flex布局: 表单标签: 表单标签-表单项:...

编程日记 2025/6/29 3:50:06

Spark 之 YarnCoarseGrainedExecutorBackend

YarnCoarseGrainedExecutorBackend executor ID ，在日志里也有体现。 25/05/06 12:41:58 INFO YarnCoarseGrainedExecutorBackend: Successfully registered with driver 25/05...

编程日记 2025/6/29 5:03:38

Webug4.0靶场通关笔记19- 第24关邮箱轰炸

目录第24关邮箱轰炸 1.配置环境 2.打开靶场 3.源码分析 4.邮箱轰炸 （1）注册界面bp抓包 （2）发送到intruder （3）配置position （4）配置payload （5）开…...

编程日记 2025/6/29 3:27:40

机器学习实战：6种数据集划分方法详解与代码实现

在机器学习项目中，合理划分数据集是模型开发的关键第一步。本文将全面介绍6种常见数据格式的划分方法，并附完整Python代码示例，帮助初学者掌握这一核心技能。一、数据集划分基础函数 1. 核心函数：train_test_split from sklea…...

编程日记 2025/6/29 3:55:03

PostgreSQL 查询历史最大进程数方法

PostgreSQL 查询历史最大进程数方法 PostgreSQL 提供了多种方式来查询数据库的历史最大进程数（连接数）。以下是几种有效的方法： 一、使用统计收集器数据 1. 查看当前统计信息 SELECT max_connections, (SELECT setting FROM pg_settings …...

编程日记 2025/6/29 5:00:44

第十二节：图像处理基础-图像平滑处理 (均值滤波、高斯滤波、中值滤波)

在数字图像处理中，图像平滑（Image Smoothing）是去除噪声、改善图像质量的关键技术之一。通过滤波算法，可以有效地抑制高频噪声，但同时可能牺牲部分图像细节。本文将以均值滤波、高斯滤波和中值滤波为核心，结…...

编程日记 2025/6/29 3:12:59

Python中的global与nonlocal关键字详解

一、前言在Python编程中，变量作用域是一个非常重要的概念。对于初学者来说，经常会遇到在函数内部无法修改外部变量的问题。这时候，global和nonlocal关键字就能派上用场了。本文将详细介绍这两个关键字的用法、区别以及适用场景，…...

编程日记 2025/6/29 3:21:43

LVGL-对象 lv_obj_t

LVGL-对象 lv_obj_t **LVGL 对象核心概念总结****1. 对象与控件的关系****2. 对象的基本属性****3. 父子对象结构****4. 屏幕与图层管理****活动屏幕（Active Screen）****图层（Layers）** **5. 关键函数与操作****6. 面向对象设计的…...

编程日记 2025/6/29 2:19:26

【C/C++】ARM处理器对齐_伪共享问题

文章目录 1 什么是伪共享？2 为什么对齐？3 伪共享的实际影响4 为什么必须是 64 字节？5 其他替代方案6 验证对齐效果总结 1 什么是伪共享？ 伪共享是多线程编程中的一种性能问题，其本质是： 缓存行&#xff…...

编程日记 2025/6/29 4:17:28

【优化策略】离散化

概念离散化是算法设计中处理大数据范围时的关键技巧，它将大范围的数据映射到有较小的的离散空间中，同时保持数据的相对关系。本质：将原始数据映射到紧凑的连续整数空间数学表示：建立映射函数 f: ℝ → ℤ，满足 x…...

编程日记 2025/6/29 2:19:41

微粉助手 1.1.0 | 专为社交电商用户设计的一站式营销工具，集成了群发消息、智能加好友、清理僵尸粉等功能

微粉助手是一款专为社交电商用户设计的一站式营销工具。此会员版无需登录，去除了更新检测，并优化了启动速度。它集成了群发消息、智能添加好友、精准清理僵尸粉、自动跟圈以及短视频获客等核心功能，是企业实现社交媒体营销自动化的理想选择。…...

编程日记 2025/6/29 4:16:34

【代码优化篇】强缓存和协商缓存

强缓存和协商缓存一、强缓存与协商缓存的区别二、Vue2 前端实现强缓存（静态资源）三、Spring Boot 后端实现协商缓存（动态接口）四、测试缓存效果五、注意事项一、强缓存与协商缓存的区别强缓存：浏览器直接读取本地缓…...

编程日记 2025/6/29 2:24:39

分区器（2）

2. 设置ReduceTask 在MapReduce框架中，Reducer的数量（即ReduceTask的数量）可以通过配置参数来设置。设置方法通过配置文件： 在mapred-site.xml文件中设置mapreduce.job.reduces参数： xml <property><nam…...

编程日记 2025/8/11 10:19:36

外包团队协作效率低，如何优化

外包团队协作效率低是许多公司面临的挑战，尤其是在跨地域、跨文化和远程工作环境下。优化外包团队的协作效率需要从沟通方式、项目管理工具、文化差异及团队结构等多个方面入手。首先，明确的沟通与及时的反馈是提高团队效率的基础， 通过定期…...

编程日记 2025/6/29 2:39:21

2020年NCA CCF-C，改进灰狼算法RSMGWO+大规模函数优化，深度解析+性能实测

目录 1.摘要2.灰狼算法GWO原理3.改进策略4.结果展示5.参考文献6.代码获取7.读者交流 1.摘要灰狼优化算法（GWO）是一种新型自然启发式算法，具备较强的局部搜索能力，但在处理大规模问题时全局搜索能力较弱。本文提出了改进灰狼算法…...

编程日记 2025/8/10 20:36:43

【EasyPan】saveShare代码分析

【EasyPan】项目常见问题解答（自用&持续更新中…）汇总版保存分享文件到个人网盘代码分析一、代码结构概览该代码实现了一个将他人分享的文件保存到自己网盘的功能，主要分为三个部分： 控制器层（Controller&a…...

编程日记 2025/8/11 14:29:29

基于Django框架开发的B2C天天生鲜电商平台

天天生鲜介绍天天生鲜是一个基于Django框架开发的B2C(Business-to-Customer)电商平台，专注于生鲜食品的在线销售。该项目采用了主流的Python Web开发框架Django，结合MySQL数据库、Redis缓存等技术，实现了一个功能完整、界面友好的电商网站…...

编程日记 2025/6/29 4:50:53

[数据库之九] 数据库索引之顺序索引

1、什么是索引？ 拿到一本书，想直接跳到感兴趣的章节，而不是从头看到尾，这时需要看书的目录，上面列出章节和对应的页码，这里的目录可以看成是书的索引，如果没有索引，要查找书中某块内…...

编程日记 2025/8/12 4:09:06

使用 Celery + Redis + Eventlet 实现 Python 异步编程（Windows 环境）

一、环境搭建与依赖安装 1. 安装依赖包 pip install celery redis eventletcelery：异步任务队列框架。redis：作为消息中间件（Broker）和结果存储（Backend）。eventlet：用于 Windows 环境下的协程…...

编程日记 2025/8/9 11:18:06

Selenium Web自动化测试学习笔记（二）--八大元素定位

前置设置及代码目录结构如下，将驱动器chromedriver.exe复制粘贴到此目录下，具体环境配置参考笔记一： Selenium Web自动化测试学习笔记（一）-CSDN博客首先和笔记（一）一样导入一些包用于设置谷…...

编程日记 2025/6/29 3:56:35

如何设置飞书多维表格，可以在扣子平台上使用

扣子可以链接到飞书多维表格，但很多人不知道具体如何操作，今天给大家分享下操作流程。大家好，我是涛涛，欢迎来到我的空间。因为需要管理员审核，所以最好有管理员的手机就在旁边方便操作。 (一) 进入应用中心 https…...

编程日记 2025/6/29 4:17:32

C++初阶-string类的简单应用

目录 1.仅仅反转字母 2.字符串中第一个唯一字符 3.字符串最后一个单词的长度 4.验证回文串 5.字符串相加 6.总结 1.仅仅反转字母题目链接：https://leetcode.cn/problems/reverse-only-letters/description/ 在数据结构中我们学了一种方法叫做前后指针法&…...

编程日记 2025/6/29 4:43:37

企业数字化转型第二课：接受不完美（1/2）

一.引言先看一组中国企业数字化转型相关的数据： 战略认知层面：92%中国企业将数字化纳入战略核心（麦肯锡2023）执行困境层面：63%企业转型首年遭遇重大挫折（BCG 2024追踪）价值释放周期&#xff1…...

编程日记 2025/8/12 8:31:08

【MCP】function call与mcp若干问题整理

前言：大模型里agent 的 funcation call 是什么概念在大模型中，Agent是一个能够理解目标、进行自主规划，并利用可用工具（包括Function Call）来执行任务以达成目标的系统或程序。Function Call是大型语言模型提供的一项…...

编程日记 2025/8/11 20:25:15

QT聊天项目DAY09

1. 安装Redis 直接从老师的网盘下载链接: https://pan.baidu.com/s/1v_foHZLvBeJQMePSGnp4Ow?pwdyid3 提取码: yid3 启动Redis服务看一下，启动成功了 .\redis-server.exe .\redis.windows.conf 启动客户端看一下 2. 配置redis库，调用API 编译一下 …...

编程日记 2025/6/29 3:24:10