当前位置：首页 > news >正文

Hadoop 集群扩容新增节点操作文档

news 来源：原创 2025/7/13 10:35:06

Hadoop 集群扩容新增节点操作文档

一、前期准备

1. 环境检查（所有新节点）

确保 JDK 安装：

java -version

确保 Hadoop 安装：

hadoop version

添加主机名映射（所有节点）：

cat >> /etc/hosts <<EOF
192.168.1.10 master
192.168.1.11 node01
192.168.1.12 node02
192.168.1.13 node03  # 新增节点
EOF

测试 SSH 免密（主节点执行）：

ssh node03 hostname

2. Hadoop 安装与配置同步

将 Hadoop 安装包拷贝至新节点：

scp -r /opt/hadoop user@node03:/opt/

同步 Hadoop 配置文件：

scp -r $HADOOP_HOME/etc/hadoop user@node03:$HADOOP_HOME/etc/

二、修改主节点配置

1. 添加到 workers 文件（或 slaves）

说明：workers 文件是作为批量远程启动服务的清单使用，一般适用于远程批量启动多个节点服务。

echo "node03" >> $HADOOP_HOME/etc/hadoop/workers

2. 若启用了白名单，修改 dfs.hosts

echo "node03" >> $HADOOP_HOME/etc/hadoop/dfs.hosts

三、启动新节点服务

1. 新节点执行以下命令：

启动 DataNode：

$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode

启动 NodeManager：

$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager

2. 可选：主节点上运行 balancer（平衡数据）

hdfs balancer -threshold 10

四、验证与测试

1. 查看 HDFS 节点状态：

hdfs dfsadmin -report

或访问：

http://<namenode_host>:9870/dfshealth.html

2. 查看 YARN 节点状态：

访问：

http://<resourcemanager_host>:8088/cluster/nodes

3. 测试任务提交：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 5 100

五、扩容自动化脚本（示例）

auto_add_node.sh

#!/bin/bash
# 用于新节点自动加入 Hadoop 集群HADOOP_HOME=/opt/hadoop
NEW_NODE=$1echo "[INFO] 添加新节点 $NEW_NODE"# 同步配置文件
scp -r $HADOOP_HOME/etc/hadoop $NEW_NODE:$HADOOP_HOME/etc/# 在主节点添加到 workers 列表
echo "$NEW_NODE" >> $HADOOP_HOME/etc/hadoop/workers# 远程启动服务
ssh $NEW_NODE "$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode"
ssh $NEW_NODE "$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager"echo "[INFO] 启动完成，验证状态请访问 ResourceManager 和 NameNode Web 页面"

执行方式：

chmod +x auto_add_node.sh
./auto_add_node.sh node03

Hadoop 集群扩容新增节点操作文档

Hadoop 集群扩容新增节点操作文档一、前期准备 1. 环境检查（所有新节点） 确保 JDK 安装： java -version确保 Hadoop 安装： hadoop version添加主机名映射（所有节点）： cat >> /etc/h…...

编程日记 2025/7/13 10:35:06

高光谱相机在工业检测中的应用：LED屏检、PCB板缺陷检测

随着工业检测精度要求的不断提升，传统机器视觉技术逐渐暴露出对非可见光物质特性识别不足、复杂缺陷检出率低等局限性。高光谱相机凭借其独特的光谱分析能力，为工业检测提供了革命性的解决方案。以下结合中达瑞和VIX系列推扫式高光谱相机的技术特点与实际…...

编程日记 2025/7/10 5:54:47

07-IDEA企业开发工具-开发入门程序

1. IDEA创建Java项目的代码结构项目结构: IDEA中的Java项目包含四种主要结构：工程(Project)、模块(Module)、包(Package)、类(Class)。工程(Project): 代表整个项目，通常是一个磁盘目录或文件夹。模块(Module): 工程下的子单元，用于划分项…...

编程日记 2025/7/13 10:15:46

即插即用模块(3) -LSK 特征提取

paper：LSKNet: A Foundation Lightweight Backbone for Remote Sensing Code：https://github.com/zcablii/LSKNet 大型选择性内核块 (LSK Block) 功能通过动态调整感受野，自适应提取遥感图像中目标的上下文信息，增强目标与环境关…...

编程日记 2025/7/13 8:46:16

彩虹表攻击与Nest密码存储

文章目录前言🧨 什么是彩虹表攻击？📷 图中解析左侧是彩虹表：右侧是用户数据库中的数据： 🔐 如何防御彩虹表攻击？✅ 1. **使用 Salt 加密（推荐）**✅ 2. **使用强哈希函数…...

编程日记 2025/7/13 9:58:43

vue keep-alive标签的运用

keep-alive，想必大家都不会很陌生，在一些选项卡中会使用到。其实，它的作用大概就是把组件的数据给缓存起来。比如果我有一个选项卡，标签一，标签二，标签三。现在，我需要实现，当我在标…...

编程日记 2025/7/9 20:36:17

代码编写 1. 导入模块和常量定义 python import random from math import sin, cos, pi, log from tkinter import *CANVAS_WIDTH 640 # 画布的宽 CANVAS_HEIGHT 480 # 画布的高 CANVAS_CENTER_X CANVAS_WIDTH / 2 # 画布中心的X轴坐标 CANVAS_CENTER_Y CANVAS_HEIGH…...

编程日记 2025/7/13 1:42:17

Python流程控制

目录一，条件判断：if语句 1.基本语法与示例 2.多重条件判断（elif） 3.常见错误与避坑指南 1.缩进错误 2.遗漏冒号二，循环结构：while与for 1.while循环 2.Python的注释 3.字符串的格式化输出 4.fo…...

编程日记 2025/7/9 22:10:34

机器人雅克比Jacobian矩阵程序

% 定义机器人的连杆参数 L1 Link(d, 0, a, 0, alpha, pi/2); L2 Link(d, 0, a, 1, alpha, 0); L3 Link(d, 0, a, 1, alpha, 0);% 创建机器人对象 robot SerialLink([L1, L2, L3], name, MyRobot);% 设置机器人的关节角度（弧度） q [0, pi/4, pi/6];%…...

编程日记 2025/6/29 11:57:57

Qt Creator中自定义应用程序的可执行文件图标

要在Qt Creator中为你的应用程序设置自定义可执行文件图标，你需要按照以下步骤操作： Windows平台设置方法准备图标文件： 创建一个.ico格式的图标文件（推荐使用256x256像素，包含多种尺寸） 可以使用在线工…...

编程日记 2025/7/7 11:13:52

应该怎样理解“被劫持“

通常, 在 iOS 开发相关的语境中，「被劫持」的精确定义一句话：任何「未经应用或服务器授权，第三方改变了客户端—服务器之间解析结果、传输路径或数据内容」的情形，都视为网络被劫持。具体可拆成六大类，每类都对应可…...

编程日记 2025/7/10 10:00:54

RocketMQ面试题：进阶部分

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/6/29 9:28:41

【k8s系列7-更新中】kubeadm搭建Kubernetes高可用集群-三主两从

主机准备结合前面的章节，这里需要5台机器，可以先创建一台虚拟机作为基础虚拟机。优先把5台机器的公共部分优先在一台机器上配置好 1、配置好静态IP地址 2、主机名宇IP地址解析 [root@localhost ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost…...

编程日记 2025/7/8 5:15:25

12、高阶组件：魔法增幅器——React 19 HOC模式

一、魔法增幅器的本质 "高阶组件是魔法师用咒语叠加的炼金术，"霍格沃茨魔咒研究院院长凝视着发光的增幅器，"通过函数式能量场的嵌套，让基础组件获得预言家日报式的逻辑继承！" ——以神秘事务司的「维度叠加理…...

编程日记 2025/7/9 19:13:29

Linux避免文件误删详解（Linux Avoids File Deletion Errors with Detailed Explanation）

Linux避免文件误删详解背景大家都知道，rm指令在Linux中非常牛，rm -rf更是牛中的霸主。什么删系统跑路、删库跑路就是这个指令造成的。可以看出指令虽然牛，但是危险性极高。那么怎么避免某些时候的这种误操作造成的影响呢，阿祥…...

编程日记 2025/7/10 21:11:17

模板方法模式：定义算法骨架的设计模式

模板方法模式：定义算法骨架的设计模式一、模式核心：模板方法定义算法骨架，具体步骤延迟到子类实现在软件开发中，经常会遇到这样的情况：某个算法的步骤是固定的，但具体步骤的实现可能因不同情况而有所不…...

编程日记 2025/7/9 5:27:26

QT之Q_PROPERTY介绍以及在QWidget中的用法

目录一、 Q_PROPERTY介绍 1、 Q_PROPERTY是什么 2、Q_PROPERTY 的语法 3、Q_PROPERTY 的作用二、在QWidget中的用法 1、示例1：自带属性 2、示例2：自建属性第一种 3、示例3：自建属性第二种 4、动态属性三、注意事项四、总结一…...

编程日记 2025/7/12 10:27:45

MySQL 8 自动安装脚本（CentOS-7 系统）

文章目录一、MySQL 8 自动安装脚本脚本说明📌 使用脚本前提条件1. 操作系统2. 用户权限3. 网络要求 📌 脚本的主要功能1. 环境检查2. MySQL 自动安装3. 自动配置 MySQL4. 防火墙配置5. 验证与输出 📌 适用场景二、执行sh脚本1. 给予脚本执行…...

编程日记 2025/7/11 14:52:24

软件测试基础知识（2） -- 软件评测师（十三）

3 基于风险的测试风险是当前未发生而未来有肯会发生并造成一定负面影响的事件。 3.1 基于风险的测试概述 （1）测试计划内容的核心： 1）测什么：从风险出发，需要明确地列举出要测试哪些具体的功能和非功能的质…...

编程日记 2025/7/9 1:26:51

axios 在请求拦截器中设置Content-Type无效问题

Axios 会根据请求数据自动设置 Content-Type： 当请求体为空时，Axios 会移除 Content-Type 头部当请求体为对象时，默认设置为 application/json 当请求体为 URLSearchParams 时，默认设置为 application/x-www-form-urlencoded …...

编程日记 2025/6/29 9:29:30

MFC案例：使用键盘按键放大、缩小窗口图像的实验

当在对话框窗口居中显示一幅图像时，图像的尺寸可能大于或小于窗口的尺寸，这时我们希望通过使用按键“”进行图像放大显示，使用按键“-”进行缩小显示（当然也可以使用其它按键）。下面开始使用MFC进行这个实验&#xff0…...

编程日记 2025/6/29 11:56:08

本地（NAS/服务器）与云端（Docker/Kubernetes）部署详解与对比

本地（NAS/服务器）与云端（Docker/Kubernetes）部署详解与对比一、本地部署（NAS/服务器） 适用场景： 需要完全控制硬件和数据（如隐私敏感场景）。小规模应用或测试环境。网…...

编程日记 2025/7/10 19:45:25

如何解决极狐GitLab 合并冲突？

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网合并冲突 (BASIC ALL) 合并冲突发生在合并请求的两个分支（源分支和目标分支）对相同代码行进行了不同…...

编程日记 2025/7/10 16:35:33

DeepSeek在物联网设备中的应用：通过轻量化模型实现本地化数据分析

文章目录一、引言二、DeepSeek轻量化模型的技术原理1. 模型量化2. 模型剪枝3. 动态精度调整三、本地化数据分析的实现路径1. 硬件环境配置2. 模型加载与推理3. 数据预处理与后处理四、行业应用案例1. 医疗智能穿戴设备2. 工业设备预测性维护3. 智能家居能耗优化五、性能优化…...

编程日记 2025/7/11 1:15:49

opencv--图像

像素(像素点) 定义： Pixel 是 Picture Element（图像元素）的缩写，是数字图像中最小的独立单位。每个像素代表图像中的一个点的颜色和亮度信息。关键特性： 颜色：通过不同的色彩模型（如RGB、CMYK…...

编程日记 2025/7/9 11:34:27

【KWDB 创作者计划】_嵌入式硬件篇---数字电子器件

文章目录前言一、系列前缀（如 "74" 或 "54"）74（商用级）54（工业级）二、逻辑家族（如 "LS"、"HC"、"HCT" 等）TTL（晶体管-晶体管逻辑）家族CMOS（互补金属氧化物半导体）家族BiCMOS（双极 CMOS）家族三、功能编号（如…...

编程日记 2025/7/8 4:56:58

前端加密介绍与实战

前端数据加密文章目录前端数据加密前端数据加密介绍为什么需要前端数据加密？前端数据加密的常见方式前端数据加密的实现场景：加密用户密码并发送到后端步骤 1：安装加密库步骤 2：实现加密逻辑步骤 3：后端解密实战总结…...

编程日记 2025/7/13 1:03:47

DAG（有向无环图）计算模型面试内容整理-拓扑排序（Topological Sort）和节点依赖与并行度

拓扑排序（Topological Sort）拓扑排序（Topological Sort）：拓扑排序是针对有向无环图（DAG）的一种线性排序方法。这种排序方法的特点是，对于DAG中的每一条有向边 (A → B)，在拓扑排序中节点A总是排在节点B之前。...

编程日记 2025/7/12 13:20:42

AI语音助手自定义角色百度大模型【全新AI开发套件掌上AI+4w字教程+零基础上手】

1、简介此项目主要使用ESP32-S3实现一个自定义角色的AI语音聊天助手（比如医生角色），可以通过该项目熟悉ESP32-S3 arduino的开发，百度语音识别，百度语音合成API调用，百度APPBuilder API的调用实现自定义角…...

编程日记 2025/7/11 16:13:42

【Java面试笔记：基础】13.谈谈接口和抽象类有什么区别？

在 Java 中，接口（Interface）和抽象类（Abstract Class）都是实现多态和代码抽象的机制，但它们在设计目的、语法特性及使用场景上有显著差异。 1. 接口和抽象类的区别接口（Interface）定义：接口是对行为的抽象，是抽象方法的集合，用于定义 API 规范。特点：不能…...

编程日记 2025/7/10 9:35:27

内存管理（Linux程序设计）

内存管理目录内存管理一.简单的内存分配代码功能概述代码流程图变量声明动态内存分配内存分配错误检查向内存写入字符串设置退出状态并退出程序二.请求全部的物理内存代码功能概述变量声明三..可用内存四.滥用内存 1.代码功能（预期 …...

编程日记 2025/7/10 8:31:26

Prompt 结构化提示工程

Prompt 结构化提示工程目前ai开发工具都大同小异，随着deepseek的流行，ai工具的能力都差不太多，功能基本都覆盖到了。而prompt能力反而是需要更加关注的（说白了就是能不能把需求清晰的输出成文档）。因此大家可能需要加…...

编程日记 2025/6/29 12:20:50

Postman设置了Cookies但是请求不携带Cookie

1 问题说明使用Postman工具往往要向本地服务器发送请求携带Cookie便于测试接口，但是在Send下面的Cookies选项中设置域名127.0.0.1，并添加Cookie，发现发送的请求怎么都不会携带Cookie： 通过Fiddler抓包发现并没有Cookie&#xff1…...

编程日记 2025/7/7 21:32:55

微服务Nacos组件的介绍、安装、使用

微服务Nacos组件的介绍、安装、使用在微服务架构日渐普及的今天，服务注册与配置管理成了系统架构中的关键环节。阿里巴巴开源的 Nacos（Naming and Configuration Service）正是解决这一问题的利器。本文将为你全面介绍 Nacos 的概念、安装方…...

编程日记 2025/7/8 20:05:28

深度剖析塔能科技精准节能方案：技术创新与实践价值

在能源管理领域不断追求高效与可持续发展的进程中，塔能科技的精准节能方案逐渐成为行业内备受瞩目的焦点。精准节能：核心技术与实现路径塔能科技的精准节能理念建立在对能源消耗的精细监测与深度分析基础之上。以其节能管理平台为例，该平台…...

编程日记 2025/7/12 10:45:50

AI PPT创作原理解析：让你的演示文稿更智能

在当今信息爆炸的时代，演示文稿已成为我们工作和学习中不可或缺的一部分。然而，制作一份高质量的PPT往往需要投入大量的时间和精力。随着人工智能技术的迅猛发展，AI PPT创作工具应运而生，极大地简化了PPT的制作过程。本文将深入解…...

编程日记 2025/7/8 18:42:53

ollama本地搭建大模型

dajdaj人工智能，现在流行的大模型有很多，像流行的：gpt-3.5-turbo、通义千问2.5，Llama3； 本地安装大模型有什么好处大模型都是开源的，安装在自己的电脑上也是免费使用的；可以结合自己的私有文…...

编程日记 2025/7/9 5:09:12

AIGC（生成式AI）试用 31 -- AI做软件程序测试 2

接上文 AIGC（生成式AI）试用 30 -- AI做软件程序测试 1 整合测试项提问并输出测试用例思考并调整提问方式，为完整的输年程序测试提问准备 - 再次对需求提问 --> 实际是之前的提问记录找不到了，不过有新发现；不妨后…...

编程日记 2025/7/9 9:40:11

【深度学习与大模型基础】第13章-什么是机器学习

1. 什么是机器学习？ 想象你在教一个小朋友认猫： 传统编程：你写一本《猫的100条特征手册》（比如有胡须、尖耳朵），让计算机对照检查。机器学习：你直接给计算机看1000张猫和狗的图片&#xff0c…...

编程日记 2025/6/29 9:27:29

大数据利器Kafka

大数据利器Kafka：从入门到实战的全面指南在大数据的世界里，Kafka就像是一个高效的“数据快递员”，负责在不同的系统之间快速、可靠地传递数据。今天，咱们就一起来深入了解一下这个强大的工具。Kafka是由LinkedIn开发的分布式发布…...

编程日记 2025/7/9 1:27:03

工具指南：免费将 PDF 转换为 Word 的 10 个工具

可移植文档格式或 PDF 是大多数企业使用的流行文件格式，主要用于共享项目材料并确保整个团队协同工作。它还有助于避免处理大量文档和丢失关键数据。使用顶级 PDF 转换器还可以更轻松地高效地进行日常活动。企业可以依靠专业的文档扫描服务对其他格式的文档进行 PDF…...

编程日记 2025/7/8 8:13:11

Elasticsearch复习笔记

文章目录 ES 基础为什么用 Elasticsearch初识和安装概述安装 elasticsearch安装 Kibana 倒排索引正向索引倒排索引正向和倒排基础概念文档和字段索引和映射MySQL 和 elasticsearch IK 分词器安装 IK 分词器使用 IK 分词器拓展词典 ES 索引库操作Mapping 映射属性ES 索引库的 C…...

编程日记 2025/7/12 16:54:14

STM32 SysTick定时器

一、SysTick系统定时器概述 1.1 什么是SysTick定时器 SysTick（System Tick Timer）是ARM Cortex-M系列处理器内核集成的24位系统定时器，作为ARM架构的标准外设，它被深度整合在NVIC（嵌套向量中断控制器）中。…...

编程日记 2025/7/10 10:21:56

Modbus TCP协议介绍、原理解析与应用示例

深入了解Modbus TCP协议：介绍、原理解析与应用示例在工业自动化领域，设备之间的通信与数据交换至关重要。Modbus协议作为一种经典的通信协议，因其简单、开放和易于实现的特点，被广泛应用于各种工业设备之间的数据传输。而Modbus…...

编程日记 2025/6/29 9:27:33

Elasticsearch 报错 Limit of total fields [1000] has been exceeded

一、错误代码： spring boot 链接es 插入审计日志数据报错： Caused by: org.elasticsearch.ElasticsearchException: Elasticsearch exception [typeillegal_argument_exception, reasonLimit of total fields [1000] has been exceeded while adding ne…...

编程日记 2025/7/10 16:00:11