当前位置：首页 > news >正文

配置集群(yarn)

news 来源：原创 2025/7/15 16:45:28

在配置 YARN 集群前，要先完成以下准备工作：

集群环境规划：明确各节点的角色，如 ResourceManager、NodeManager 等。
网络环境搭建：保证各个节点之间能够通过网络互通。
时间同步设置：安装 NTP 服务，确保集群中所有节点的时间保持一致。
用户创建：创建一个专门用于 Hadoop 操作的用户，例如hadoop。
SSH 无密码登录配置：实现各节点间的无密码 SSH 访问。

配置步骤

1. 配置 Hadoop 环境变量

编辑~/.bashrc文件，添加如下内容：

bash

# Hadoop环境变量
export HADOOP_HOME=/path/to/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效：

bash

source ~/.bashrc

2. 配置`core-site.xml`

该文件主要用于配置 Hadoop 的核心参数，比如 HDFS 的 NameNode 地址：

xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://namenode:8020</value></property><property><name>hadoop.tmp.dir</name><value>/path/to/hadoop/tmp</value></property>
</configuration>

3. 配置`hdfs-site.xml`

此文件用于配置 HDFS 的相关参数：

xml

<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/path/to/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/path/to/datanode</value></property>
</configuration>

4. 配置`yarn-site.xml`

该文件用于配置 YARN 的核心参数：

xml

<configuration><!-- ResourceManager地址 --><property><name>yarn.resourcemanager.hostname</name><value>resourcemanager</value></property><!-- NodeManager使用的容器运行时 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 启用内存和CPU资源限制 --><property><name>yarn.nodemanager.resource.memory-mb</name><value>8192</value></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>4</value></property><!-- 容器的最小和最大内存 --><property><name>yarn.scheduler.minimum-allocation-mb</name><value>1024</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>8192</value></property>
</configuration>

5. 配置`mapred-site.xml`

该文件用于配置 MapReduce 的运行方式：

xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.application.classpath</name><value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value></property>
</configuration>

6. 配置`workers`文件

在该文件中列出所有的 NodeManager 节点，每行一个节点：

plaintext

node1
node2
node3

集群启动

1. 格式化 HDFS

首次启动 HDFS 前，需要进行格式化操作：

bash

hdfs namenode -format

2. 启动 HDFS

bash

start-dfs.sh

3. 启动 YARN

bash

start-yarn.sh

4. 启动历史服务器（可选）

bash

mr-jobhistory-daemon.sh start historyserver

验证配置

查看 Web 界面：
- ResourceManager 的 Web 界面地址为：http://resourcemanager:8088
- NameNode 的 Web 界面地址为：http://namenode:9870
运行测试作业：

bash

yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 10 100

常见问题排查

检查日志文件：日志文件位于$HADOOP_HOME/logs目录下。
检查进程状态：使用jps命令查看各个服务进程是否正常运行。
网络连通性检查：确保各节点之间的网络连接正常。

配置集群(yarn)

在配置 YARN 集群前，要先完成以下准备工作： 集群环境规划：明确各节点的角色，如 ResourceManager、NodeManager 等。网络环境搭建：保证各个节点之间能够通过网络互通。时间同步设置：安装 NTP 服务&#xff0…...

编程日记 2025/7/15 16:45:28

按钮导航组件 | 纯血鸿蒙组件库AUI

摘要： 按钮导航组件(A_ButtonNav)：可设置导航数据(含文本及路由)，可设置按钮颜色、导航标题及导航子标题。一、组件调用方式 1.1.极简调用： 用 A_ButtonNav 调用“按钮导航组件”，只需要给属性 data （导…...

编程日记 2025/6/29 1:35:41

自适应主从复制模拟器的构建与研究

自适应主从复制模拟器的构建与研究摘要：本文旨在构建一个自适应主从复制模拟器，深入研究主从复制原理及优化方法。从研究者视角出发，详细阐述模拟器的设计、实现与实验过程，通过表格、图表及代码等辅助手段，逐步探讨如何在不同网络条件和负载下，自动调整主从复制参数和…...

编程日记 2025/7/11 3:28:15

015枚举之滑动窗口——算法备赛

滑动窗口最大子数组和题目描述给你一个整数数组 nums ，请你找出一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。原题链接思路分析见代码注解代码 int maxSubArray(vector<int>& num…...

编程日记 2025/6/29 1:42:07

【Dv3Admin】工具视图配置文件解析

在开发后台管理系统时，处理复杂的 CRUD 操作是常见的需求。Django Rest Framework（DRF）通过 ModelViewSet 提供了基础的增删改查功能，但在实际应用中，往往需要扩展更多的功能，如批量操作、权限控制、查询优化等。dvadmin/utils/viewset.py 模块通过继承并扩展 ModelViewS…...

编程日记 2025/6/29 1:40:13

在MyBatis Plus里处理LocalDateTime类型

在MyBatis Plus里处理LocalDateTime类型在MyBatis Plus里处理LocalDateTime类型时，你要确保数据库字段和Java实体类属性之间的类型映射是正确的。下面为你介绍处理这种情况的方法： 1. 数据库字段类型对应设置要保证数据库字段类型和LocalDateTime相…...

编程日记 2025/6/29 2:21:09

编程技能：字符串函数03，strncpy

专栏导航本节文章分别属于《Win32 学习笔记》和《MFC 学习笔记》两个专栏，故划分为两个专栏导航。读者可以自行选择前往哪个专栏。 （一）WIn32 专栏导航上一篇：编程技能：字符串函数02，strcpy 回到目录…...

编程日记 2025/7/5 1:57:07

edge设置位IE模式打开网页

打开Edge浏览器->在浏览器工具栏右键->自定义工具栏->外观->选择要在工具栏上显示的按钮->找到“Internet Explorer 模式”按钮->开启,将其添加到工具栏中...

编程日记 2025/6/29 4:18:46

代码随想录训练营第二十二天| 101.对称二叉树 100.相同的树

101.对称二叉树： 文档讲解：代码随想录|101.对称二叉树视频讲解：新学期要从学习二叉树开始！ | LeetCode：101. 对称二叉树_哔哩哔哩_bilibili 状态：已做出思路： 这道题目我初始做的时候想着使用…...

编程日记 2025/6/29 3:19:38

To manage Node.js versions on Windows, I recommend using nvm-windows (Node Version Manager for Windows). Here’s how we can handle this: First, let’s install nvm-windows. I’ll propose a command to check if it’s already installed: nvm versionGreat! I s…...

编程日记 2025/6/29 4:15:33

智能手表测试计划文档（软/硬件）

📄 智能手表测试计划文档（软/硬件） 项目名称：Aurora Watch S1 文档编号：AW-S1-QA-TP-001 编制日期：2025-xx-xx 版本：V1.0 编写人：xxx（测试主管） 一、测试目标…...

编程日记 2025/7/9 9:29:10

基于大模型的原发性醛固酮增多症全流程预测与诊疗方案研究

目录一、引言 1.1 研究背景与意义 1.2 国内外研究现状 1.3 研究目的与方法二、原发性醛固酮增多症概述 2.1 疾病定义与发病机制 2.2 临床表现与诊断标准 2.3 流行病学特征三、大模型预测原理与技术 3.1 大模型简介 3.2 预测原理与算法 3.3 数据收集与预处理四…...

编程日记 2025/6/29 1:39:54

spring中的@Lazy注解详解

一、核心功能与作用 Lazy 注解是 Spring 框架中用于延迟 Bean 初始化的核心工具，通过将 Bean 的创建推迟到首次使用时，优化资源利用和启动性能。其核心功能包括： 延迟初始化默认情况下，Spring 在容器启动时立即初始化所有单例 …...

编程日记 2025/6/29 1:35:27

Docker快速入门与应用

1. 什么是 Docker？ Docker 就像一个“魔法箱子”，可以把你开发的应用（代码、环境、配置）‌打包成一个标准化的容器‌，这个容器可以在任何支持 Docker 的系统上运行，无需担心环境差异导致的问题。 ‌类比‌…...

编程日记 2025/6/29 1:48:05

判断一个数是不是素数的最高效的算法

判断一个数是否是素数，有从简单到复杂多种方法。最高效的算法取决于输入规模（是几个亿以内的数，还是上百位的大整数），我会按实用场景分类讲解： ✅ 常规范围内（比如 ≤ 1e12）判断素数…...

编程日记 2025/7/10 0:58:20

《Head First 设计模式》第一章 - 笔记

本书是本人写的设计模式的笔记，写下核心要点，如果你掌握过设计模式，想快速阅读本书内容，这个笔记适合你阅读。如果你是新手，有 java 基础和 oo 设计原则基础，你适合跟我一样从零阅读本书。第一章策略模式…...

编程日记 2025/7/5 0:44:15

GPT系列：自然语言处理的演进与多模态的探索

GPT系列：自然语言处理的演进与多模态的探索 GPT系列的发展一、GPT-1 ：通过生成式的预训练改进自然语言GPT-1的动机做一个预训练模型的难点GPT-1的微调模式GPT-1的训练数据Bert 二、GPT-2语言模型是非监督的GPT-2的动机引入promptGPT-2模型架构的改变GPT-…...

编程日记 2025/7/2 22:48:58

Linux驱动：驱动编译流程了解

要求 1、开发板中的linux的zImage必须是自己编译的 2、内核源码树，其实就是一个经过了配置编译之后的内核源码。 3、nfs挂载的rootfs，主机ubuntu中必须搭建一个nfs服务器。内核源码树解压 tar -jxvf x210kernel.tar.bz2 编译 make x210ii_qt_defconfigmakeCan’t use ‘…...

编程日记 2025/6/29 4:26:43

【MySQL】数据库基础

目录 1.什么是数据库2.见一见数据库3.服务器、表、库之间的关系4.MySQL架构5.sql语句分类6.查看MySQL存储引擎6.1 查看存储引擎6.2 常见存储引擎对比 1.什么是数据库概念：数据库一般是指，在磁盘或者内存中存储的特定结构组织的数据 – 将来在磁盘上存储…...

编程日记 2025/6/29 1:48:31

1.1 文章简介

前因后果链行业需求 → 技能断层 → 课程设计响应 (高薪岗位要求数学基础) → (符号/公式理解困难) → (聚焦原理与应用) 行业驱动因素 • 前因：机器学习/AI等领域的高薪岗位激增，但数学能力成为主要门槛 • 关键矛盾：算法论文中的数学…...

编程日记 2025/6/29 3:35:10

laravel 中使用的pdf 扩展包 laravel-snappy(已解决中文乱码)

Centos7 安装 wkhtmltopdf 1、先查看系统是 32 位的还是 64 位的 uname -a2、通过 composer 安装 wkhtmltopdf 32位: $ composer require h4cc / wkhtmltopdf-i386 0.12.x $ composer require h4cc / wkhtmltoimage-i386 0.12.x 64位: $ composer require h4cc/wkhtmltopdf-…...

编程日记 2025/6/29 1:39:38

java反序列化commons-collections链6

cc链6，最好用的cc链，因为它不受jdk版本的限制和cc版本的限制，前半段很像urldns链，后半段是cc1链先来看一下它的利用链 Gadget chain:java.io.ObjectInputStream.readObject()java.util.HashSet.readObject()java.util.HashMap.p…...

编程日记 2025/6/29 1:35:36

WebSocket的原理及QT示例

一.WebSocket 介绍 1.概述 WebSocket 是一种在单个 TCP 连接上进行全双工通讯的协议，它在 2011 年被 IETF 定为标准 RFC 6455，并由 RFC7936 补充规范。与传统的 HTTP 协议不同，WebSocket 允许服务器和客户端之间进行实时、双向的数据传输&a…...

编程日记 2025/6/29 2:24:10

css 点击后改变样式

背景： 期望实现效果：鼠标点击之后，保持选中样式。实现思路：在css样式中，:active 是一种伪类，用于表示用户当前正在与被选定的元素进行交互。当用户点击或按住鼠标时，元素将被激活，此…...

编程日记 2025/6/29 2:35:21

AI 在模仿历史语言方面面临挑战：大型语言模型在生成历史风格文本时的困境与研究进展

概述在当今数字化时代，人工智能（AI）技术在诸多领域展现出了强大的能力，但在处理历史语言这一特定任务时，却遭遇了不小的挑战。美国和加拿大的研究人员通过合作发现，像 ChatGPT 这样的大型语言模型&#x…...

编程日记 2025/6/29 4:23:37

C++.Windows图形

Windows图形 1. 基础知识1.1 Windows图形编程基础1.2 GDI与GDI1.3 窗口消息处理2.1 注册窗口类2.2 创建窗口2.3 显示窗口3.1 创建按钮3.2 按钮消息处理4.1 设置窗口透明度4.2 透明窗口示例5.1 使用区域创建异形窗口5.2 异形窗口示例6.1 GDI抗锯齿设置6.2 抗锯齿绘图示例7.1 Dir…...

编程日记 2025/6/29 2:33:42

【Vue3】使用vite创建Vue3工程、Vue3基本语法讲解

一、什么是Vite Vite是新一代前端构建工具，官网地址：Vite中文网，vite的优势如下： 轻量快速的热重载（HMR），能实现极速的服务启动对TypeScript、JSX、CSS等支持开箱即用真正的按需编译&#xff…...

编程日记 2025/7/1 4:43:12

专题二：二叉树的深度优先搜索

以leetcode2331题为例题目分析： 以第一个示例为例算法原理分析： 从宏观角度，也就是我的算法之回溯的第一篇我们发现我们在研究示例的时候，必须从下往上推也就是我在研究一个结点是true还是false的时候，必须…...

编程日记 2025/6/29 1:39:41

Termius ssh连接服务器 vim打开的文件无法复制问题

你的问题是： • 在 Termius (macOS) SSH 连接到 VMware Ubuntu，使用 vim 打开 .cpp 文件时，可以复制文本； • 但在 Windows 10 上 SSH 到 VMware 的 Red Hat 6.4 时，复制操作无效。 ⸻ 🎯 初步分析复制…...

编程日记 2025/6/29 5:01:57

搭建大数据学习的平台

一、基础环境准备 1. 硬件配置物理机：建议 16GB 内存以上，500GB 硬盘，多核 CPU虚拟机：至少 3 台（1 主 2 从），每台 4GB 内存，50GB 硬盘 2. 操作系统 Ubuntu 20.04 LTS 或 CentOS…...

编程日记 2025/7/14 8:02:18

Matlab 模糊控制节水洗衣机模型

1、内容简介 Matlab 232-模糊控制节水洗衣机模型可以交流、咨询、答疑 2、内容说明略 3、仿真分析略 4、参考论文略...

编程日记 2025/7/8 12:46:15

如何找正常运行虚拟机

1.新建虚拟机。Linux centos7，给虚拟机改个名字不要放在c盘 2.安装操作系统。cd/dvd->2009.iso 启动虚拟机...

编程日记 2025/7/12 10:40:33

python二手书交易管理系统

目录技术栈介绍具体实现截图系统设计研究方法：设计步骤设计流程核心代码部分展示研究方法详细视频演示试验方案论文大纲源码获取/详细视频演示技术栈介绍 Django-SpringBoot-php-Node.js-flask 本课题的研究方法和研究步骤基本合理，难度适中&#xf…...

编程日记 2025/7/7 4:48:25

使用本地部署的 LLaMA 3 模型进行中文对话生成

以下程序调用本地部署的 LLaMA3 模型进行多轮对话生成，通过 Hugging Face Transformers API 加载、预处理、生成并输出最终回答。程序用的是 Chat 模型格式（如 LLaMA3 Instruct 模型），遵循 ChatML 模板，并使用 apply…...

编程日记 2025/7/1 3:09:00

C++编程练习，认识面向对象权限，如何进行封装

#include <iostream> #include <string> using namespace std; /* 银行的账户是一个模板，是一个类，有存款人信息和账户额度，而具体的存款人视为一个对象， 一个对象不能私自修改账户额度，需要通过一个操作流…...

编程日记 2025/6/29 2:24:00

A Survey of Learning from Rewards：从训练到应用的全面剖析

A Survey of Learning from Rewards：从训练到应用的全面剖析你知道大语言模型（LLMs）如何通过奖励学习变得更智能吗？这篇论文将带你深入探索。从克服预训练局限的新范式，到训练、推理各阶段的策略，再到广泛…...

编程日记 2025/6/29 3:21:48

电脑端音乐播放器推荐：提升你的听歌体验！

在快节奏的职场环境中，许多上班族都喜欢用音乐为工作时光增添色彩。今天要分享的这款音乐工具，或许能为你的办公时光带来意想不到的惊喜。一、软件介绍-澎湃澎湃音乐看似是个普通的播放器，实则藏着强大的资源整合能力。左侧功能栏清晰陈列着…...

编程日记 2025/6/29 1:35:37

小刚说C语言刷题—1149 - 回文数个数

1.题目描述一个正整数，正读和反读都相同的数为回文数。例如 22， 131， 2442 ， 37073， 66，…… 所有 11位数都是回文数。给出一个正整数 n （ 1≤n≤10000 ），求出 1,2…...

编程日记 2025/6/29 4:45:14

基于SpringBoot的博客系统测试报告

一、编写目的本报告为博客系统测试报告，本项目模拟了csdn，实现了包括了用户登录，发布博客文章，查看博客等功能。二、项目背景博客系统采用前后端分离的方法来实现，同时使用了数据库来存储相关的数据&#xff0c…...

编程日记 2025/6/29 4:17:34

Koa知识框架

一、核心概念 1. 基本特点由 Express 原班人马开发的下一代 Node.js Web 框架基于中间件的洋葱圈模型轻量级核心（仅约 600 行代码） 完全使用 async/await 异步流程控制没有内置任何中间件，高度可定制 2. 核心对象 Application (Ko…...

编程日记 2025/6/29 1:44:07

React Native踩坑实录：解决NativeBase Radio组件在Android上的兼容性问题

React Native踩坑实录：解决NativeBase Radio组件在Android上的兼容性问题问题背景在最近的React Native项目开发中，我们的应用在iOS设备上运行良好，但当部署到Android设备时，进入语言设置和隐私设置页面后应用崩溃。我们遇到了…...

编程日记 2025/7/13 11:19:26

RCE联系

过滤绕过空格 ● 进制绕过题目练习数字rce 使用$0执行bash，<<<将后面的字符串传递给左边的命令。例如： <?php highlight_file(__FILE__); function waf($cmd) { $whiteList [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, \\, \, $, <]; $cmd_ch…...

编程日记 2025/7/3 20:34:48

区块链大纲笔记

中心化出现的原因是由于网络的形成（不然就孤立了，这显然不符合现实，如，社会，计算机网路），接着由于网络中结点能力一般不对等同时为了便于管理等一系列问题，导致中心化网络的出现。&a…...

编程日记 2025/6/29 4:06:14

SQL：JOIN 进阶

目录 JOIN 是什么？ 🔹OUTER JOIN（外连接） 外连接的分类外连接与内连接的区别 🔹USING 子句语法结构和 ON 的对比 📘USING 的内部逻辑 🧩 多个字段的 USING USING 的 SELECT 特性&a…...

编程日记 2025/6/29 4:52:03

SATA—Link层状态机

一、概述 Link层的状态机大致可以分为五类： 链路层空闲状态机通信异常处理状态机链路层发送状态机链路层接收状态机链路层电源管理下的状态机二、链路层空闲状态机链路层空闲状态机共包含两个状态L_IDLE、L_SyncEscape，每个状态下的处理机制与条状…...

编程日记 2025/6/29 4:17:33

12.2.2 allocator类

allocator类将分配内存空间、调用构造函数、调用析构函数、释放内存空间这4部分操作分开，全部交给程序员来执行，不像new和delete #include <iostream> #include <string>int main() {const int n 10;std::allocator<std::string> al…...

编程日记 2025/7/10 16:59:42