当前位置：首页 > news >正文

Hadoop----高可用搭建

news 来源：原创 2025/7/17 9:31:44

目录标题

- **什么是高可用？**
- **⭐搭建的步骤**
- 一.`jdk`**安装配置**
- - - **要点**:
- 二.`zookeeper`**集群配置**
- - - **要点**
- 三.`Hadoop`高可用的搭建
- - - **要点**
  - - ①环境变量的配置
    - ②配置文件的修改
  - ③内容分发
  - ④集群任务的初次启动

什么是高可用？

通过冗余设计 + 自动恢复机制，显著降低因单点故障导致的服务中断概率（如NameNode停机从小时级恢复缩短至分钟级），使系统具备“高持续服务能力”

⭐搭建的步骤

①安装好jdk并配置好环境变量

②安装好zookeeper并完成zookeeper的集群设置，且成功启动
（成功启动的意思为，可以显示出哪台机子为leader，哪台机子为follower）

③安装好Hadoop，配置好环境变量，完成Hadoop的高可用配置

一.`jdk`安装配置

- 要点:

解压命令
tar -rf … …
配置环境变量并启用

配置内容为
在这里插入图片描述
启用为
source /etc/profile

二.`zookeeper`集群配置

且看前文《zookeeper----初步了解与安装》

- 要点

①关闭集群虚拟机的防火墙
②myid的配置与zoo.cfg内的编号要完全对应
③zoo.cfg内的编号配置的符号
防火墙的关闭

三.`Hadoop`高可用的搭建

- 要点

①环境变量的配置

在这里插入图片描述
（配置好后，记得source）

②配置文件的修改

文件的位置
Hadoop中的 etc/hadoop/内

⭐四个文件+workers+hadoop-env.sh

在这里插入图片描述
⭐workers为虚拟机名字根据自身名字加入

文件一

core-site.xml

文件二

hdfs-site.xml

文件三

mapred-site.xml

文件四

yarn-site.xml

③内容分发

在这里插入图片描述
将一台机子配置好的hadoop分发给集群其他虚拟机
scp -r 文件虚拟机名:位置

以及环境变量分发

（先确保集群内每台机子的jdk都拥有，且设置好了环境变量）

④集群任务的初次启动

在这里插入图片描述
⭐注:除了zookeeper打开关闭命令，在zookeeper中执行，其他都在hadoop内执行

启动初期，先将虚拟机的zookeeper集群打开
bin/zkServer.sh start
将集群每一台的journalnode初始化开启
bin/hdfs --daemon start journalnode
只在任意一台机子进行namenode初始化且开启（查看是否初始化正确）

初始化命令
bin/hdfs namenode - format

开启命令
bin/hdfs --daemon start namenode

将namenode信息同步给另外两台机
命令如上图（两种方式）
将所有启动的进程关闭以及zookeeper集群
重启zookeeper集群
在任意一台虚拟机初始化zkfc
bin/hdfs zkfc -formatZK
启动hdfs以及yarn进程
（最好在初始化namenode的虚拟机上执行）
命令如上图

⭐注意
要想关闭某个进程或zookeeper集群

将start换成stop即可

Hadoop----高可用搭建

目录标题 **什么是高可用？****⭐搭建的步骤**一.jdk**安装配置**- **要点**: 二.zookeeper**集群配置**- **要点** 三.Hadoop高可用的搭建- **要点**①环境变量的配置②配置文件的修改 ③内容分发④集群任务的初次启动什么是高可用？ 通过冗余设计自动…...

编程日记 2025/7/17 9:31:44

2023蓝帽杯初赛内存取证-1

获取关于内存镜像文件的基本信息： vol.py -f memdump.mem imageinfo 得知Image local date and time : 2023-06-21 01:02:27 0800 Image local date and time是本地时区（中国——东八区） 答案：2023-06-21 01:02:27...

编程日记 2025/7/9 4:56:40

算法之回溯法

回溯法回溯法定义与概念核心思想回溯法的一般框架伪代码表示C语言实现框架回溯法的优化技巧剪枝策略实现剪枝的C语言示例记忆化搜索案例分析N皇后问题子集和问题全排列问题寻路问题回溯法的可视化理解决策树状态空间树回溯过程回溯法与其他算法的比较回溯法与动态规划的区…...

编程日记 2025/7/16 19:50:08

Linux 内核中 cgroup（控制组）作用是什么？

cgroup（Control Groups） 是 Linux 内核提供的一种机制，用于对进程（或线程）组进行资源限制、优先级分配、统计监控和任务控制。通过将进程分组管理，可以实现对 CPU、内存、磁盘 I/O、网络等系统资源的精细…...

编程日记 2025/6/29 9:32:48

Relay IR的核心数据结构

在 Apache TVM 的 Relay IR 中，基础节点（Var、Const、Call、Function 和 Expr）是构建计算图的核心数据结构。以下是对它们的详细解析，包括定义、作用、内部组成及相互关系： 1. Expr（表达式基类）…...

编程日记 2025/7/17 6:58:01

【MCP Node.js SDK 全栈进阶指南】初级篇（4）：MCP工具开发基础

在MCP（模型上下文协议）的生态系统中，工具（Tools）是一种强大的扩展机制，允许AI模型执行各种操作并获取结果。本文将深入探讨MCP TypeScript-SDK中的工具开发基础，包括工具定义与参数验证、Zod模式详解与高级用法、异步工具处理与错误管理以及工具调用与结果格式化。通过学…...

编程日记 2025/7/17 5:07:24

3Blue1Brown/videos - 数学视频生成代码库

本文翻译整理自：https://github.com/3b1b/videos 文章目录一、关于本项目相关链接资源关键功能特性二、注意事项三、工作流1、核心原理2、Sublime 专用配置四、快捷键功能说明一、关于本项目本项目包含用于生成 3Blue1Brown 数学解说视频的代码。相关链接资源…...

编程日记 2025/6/29 10:22:54

vue3 + element-plus中el-drawer抽屉滚动条回到顶部

el-drawer抽屉滚动条回到顶部 <script setup lang"ts" name"PerformanceLogQuery"> import { ref, nextTick } from "vue"; ...... // 详情 import { performanceLogQueryByIdService } from "/api/performanceLog"; const onD…...

编程日记 2025/6/29 11:20:59

【inlining failed in call to always_inline ‘_mm_aesenclast_si128’】

gcc编译错误：inlining failed in call to always_inline ‘_mm_aesenclast_si128’: target specific option mismatch 消除方法： 假如是GCC，则CFLAGS添加如下编译选项：-maes 假如是cmake，参加如下脚本： …...

编程日记 2025/7/16 5:04:07

DB-GPT支持mcp协议配置说明

简介在 DB-GPT 中使用 MCP（Model Context Protocol）协议，主要通过配置 MCP 服务器和智能体协作实现外部工具集成与数据交互。开启mcp服务，这里以网页抓取为例 npx -y supergateway --stdio "uvx mcp-server-fetch" …...

编程日记 2025/7/10 20:52:32

前端之勇闯DOM关

一、DOM简介 1.1什么是DOM 文档对象类型（Document Object Model，简称DOM），是W3C组织推荐的处理课扩展标记语言（HTML或者XML）的标准编程接口 W3C已经定义了一系列的DOM接口，通过这些DOM接口可…...

编程日记 2025/7/13 1:42:11

实现鼠标拖拽图片效果

我们需要一个图片可以是你的女朋友可以是男朋友 ，我就拿窝的偶像一个大佬——>甘为例吧！ 哈哈哈哈哈 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport&q…...

编程日记 2025/7/13 6:52:48

nodejs模块暴露数据的方式，和引入（导入方式）方式

在 Node.js 中，模块之间通过模块导出（exports） 和模块导入（require 或 ESModule 的 import） 来进行数据和功能的共享。下面我详细总结一下两种主要的模块系统： 一、CommonJS 模块（Node.js 默认…...

编程日记 2025/6/29 9:32:42

AXOP33552: 400MHz 高速双通道运算放大器

AXOP33552是一款通用型高速双通道运算放大器，产品的工作电压为2V至5.5V，具有400MHz的带宽，f0.1dB的带宽为 120MHz，单通道静态电流为10mA。产品特别对噪声和THD做了优化，其噪声为5nV/√Hz 1MHz，2次谐波为-85…...

编程日记 2025/7/14 6:25:43

Spring Boot日志配置

目录 logback 使用logback 获取日志对象日志级别控制日志输出级别日志输出格式控制配置方式日志转存示例日志是应用程序不可或缺的一部分，记录着程序运行的信息。主要作用有： 记录日常运营的重要信息记录应用报错信息记录过程数据等…...

编程日记 2025/7/9 11:49:35

不可变数据:基于持久化数据结构的状态管理

不可变数据:基于持久化数据结构的状态管理一、什么是不可变数据？ 不可变数据是指一旦创建就无法更改的数据。在计算机科学中，不可变数据结构是指其内容或状态不能被修改的数据结构。在不可变数据中，所有修改操作都会生成新的数据副本&#…...

编程日记 2025/7/17 4:36:20

PyTorch卷积层填充（Padding）与步幅（Stride）详解及代码示例

本文通过具体代码示例讲解PyTorch中卷积操作的填充（Padding）和步幅（Stride）对输出形状的影响，帮助读者掌握卷积层的参数配置技巧。一、填充与步幅基础填充（Padding）：在输入数据边缘…...

编程日记 2025/7/10 1:26:21

C++手撕STL-其叁

Deque 今天我们进入新的容器：deque，一般叫做双端队列。比起传统的先入先出的队列queue，deque的出场率显然要低得多，事实上deque比起queue来说最大的特点就是多了一个push_front()和pop_front()，其他并没有太多不同。…...

编程日记 2025/7/13 20:16:41

AI大模型－window系统CPU版安装anaconda以及paddle详细步骤-亲测有效

window系统CPU版安装anaconda以及paddle详细步骤-亲测有效一安装anaconda 下载地址：anaconda下载下载成功后，选择非C盘安装，按提示安装即可修改镜像文件安装成功后，运行anaconda软件，若提示更新则点击更新，更新完后，修改镜像文件找到用户目录下的.condarc文件，覆…...

编程日记 2025/6/29 9:33:24

UML概览

🥰名片： 🐳作者简介：乐于分享知识的大二在校生 🌳本系列专栏: (点击直达)统一建模语言UML 🫣致读者：欢迎评论与私信,对于博客内容的疑问都会尽量回复哒!!! 本文序： ⛰️本文介绍&…...

编程日记 2025/7/15 22:14:42

影刀填写输入框(web) 时出错: Can not convert Array to String

环境： 影刀5.26.24 Win10专业版问题描述： [错误来源]行12: 填写输入框(web) 执行填写输入框(web) 时出错: Can not convert Array to String. 解决方案： 1. 检查变量内容在填写输入框之前，打印BT和NR变量的值&#xff…...

编程日记 2025/7/11 2:01:30

LLMs可在2位精度下保持高准确率

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/7/16 7:51:56

C语言高频面试题——结构体和联合体区别

在 C 语言中，结构体（struct） 和联合体（union） 是两种重要的复合数据类型，用于组织和管理多个相关的变量。尽管它们在语法上有些相似，但在内存布局、用途和行为上有显著的区别。以下是详细的对比…...

编程日记 2025/7/17 7:48:02

App爬虫工具篇-mitmproxy

mitmproxy 是一个支持 HTTP 和 HTTPS 的抓包程序，类似 Fiddler、Charles 的功能，它通过控制台的形式和ui界面的方式此外，mitmproxy 还有两个关联组件，一个是 mitmdump，它是 mitmproxy 的命令行接口，利用它可以对接 Python 脚本，实现监听后的处理；另一个是 mitmweb，它…...

编程日记 2025/7/13 9:05:19

配置openjdk调试环境

先决条件首先在Ubuntu 18.04上编译SlowDebug版本的openjdk。注意，这里我选择的是x86处理器的电脑。苹果M系列属于ARM芯片，指令集不一样。由于我在苹果上进行垃圾回收调试的时候会报SIGILL错误。为了了解JVM的内部工作原理，不要在这种问题上…...

编程日记 2025/7/12 12:49:51

加油站小程序实战教程13充值规则配置

目录 1 创建数据源2 搭建管理功能最终效果我们目前已经实现了会员的注册以及登录功能，有了基础的认证之后就进入到了业务部分的开发。会员的话首先是可以进行充值，在充值的时候通常会有一定的赠送，本篇我们来开发一下充值规则的配置功能。 1…...

编程日记 2025/6/29 11:53:14

jQuery — 总结

介绍 jQuery是一款高效、轻量级的JavaScript库，旨在简化网页开发中的常见任务。自2006年发布以来，它凭借直观的语法和强大的功能迅速成为前端开发的标配工具。其核心设计理念是“写更少，做更多”，通过封装复杂的原生JavaScript操作…...

编程日记 2025/7/14 8:01:22

【信息安全工程师备考笔记】第二章网络信息安全概述

第二章网络攻击原理与常用方法 2.1 网络攻击概述概念：损害网络系统安全属性的危害行为危害行为基本类型信息泄露攻击（机密性）完整性破坏攻击（完整性）拒绝服务攻击（可用性）非法使用攻击…...

编程日记 2025/6/29 9:34:38

国家自然科学基金答辩ppt制作案例模板下载

国家自然科学基金 National Natural Science Foundation of China 支持基础研究，坚持自由探索，发挥导向作用，发现和培养科学技术人才，促进科学技术进步和经济社会协调发展，逐渐形成和发展了由研究项目、人才项目和环境…...

编程日记 2025/7/11 16:29:46

代码随想录第三十七天|华为秋季笔试真题230823

刷题小记： 主要偏向扎实编码基础的考察，但貌似近些年题目难度有所提高，仅供参考。卡码网136.获取连通的相邻节点列表（卡码网136.获取连通的相邻节点列表） 题目分析： 题目描述： 存在N个转发…...

编程日记 2025/7/12 4:00:51

KUKA机器人KR 3 D1200 HM介绍

KUKA KR 3 D1200 HM是一款小型机器人，型号中HM代表“Hygienic Machine（卫生机械）用于主副食品行业”，也是一款并联机器人。用于执行高速、高精度的抓取任务。这款机器人采用食品级不锈钢设计，额定负载为3公斤&#xff…...

编程日记 2025/7/9 8:23:20

从零开始创建MCP Server实战指南

一、MCP协议核心概念 1.1 什么是MCP？ MCP（Model Context Protocol） 是一个标准化的“沟通规则”，由公司Anthropic提出，专门用于让大语言模型（LLM，比如通义千问、ChatGPT等）与外部工…...

编程日记 2025/7/16 5:31:27

C语言教程（十二）：C 语言数组详解

一、引言数组的基本概念数组是一组具有相同数据类型的元素的集合，这些元素在内存中连续存储。通过一个统一的数组名和下标来访问数组中的每个元素。使用数组可以方便地处理大量相同类型的数据，避免为每个数据单独定义变量。二、一维数组 2.1 数组的…...

编程日记 2025/7/12 16:01:44

Linux[基础指令][2]

Linux[基础指令][2] cp(复制) 格式:cp [-rf] 源文件 {普通文件,目录} 拷贝 cp -r 递归拷贝目录蓝色为目录,白色为具体文件拷贝后面加一个不存在的文件会新建文件再拷贝 cp -ir -i是覆盖的时候询问如果目标文件存在就会覆盖原有文件 mv(重命名/剪切) 格式:mv 源文件…...

编程日记 2025/7/10 1:36:40

MySQL_MCP_Server_pro接入cherry_studio实现大模型操作数据库

大模型直接与数据库交互，实现基本增删改查操作。首先贴下代码地址： https://github.com/wenb1n-dev/mysql_mcp_server_pro 安装环境：win10 1、下载代码 git clone https://github.com/wenb1n-dev/mysql_mcp_server_pro 2、使用conda创建…...

编程日记 2025/6/29 10:59:30

linux命令集

命令 grep -r --includeAndroid.bp libcfs ./ 参数说明选项/参数作用-r递归搜索子目录。--includeAndroid.bp仅搜索名为 Android.bp 的文件（精确匹配文件名）。libcfs要搜索的关键字（单引号包裹特殊字符如以避免被 Shell 解析&#xff…...

编程日记 2025/7/16 14:14:32

数据结构：链表

链表的概念及结构： 链表的概念： 链表是一种物理储存结构上非连续的储存结构，数据元素的逻辑顺序是通过引用链接次序实现的那物理存储结构连续是什么意思？ 之前我们讲过顺序表，顺序表的底层是数组，如下…...

编程日记 2025/7/12 7:23:56

【高并发内存池】从零到一的项目之高并发内存池整体框架设计及thread cache设计

个人主页 ： zxctscl 专栏【C】、【C语言】、【Linux】、【数据结构】、【算法】如有转载请先通知文章目录前言1. 高并发内存池整体框架设计2. 高并发内存池--thread cache2.1 定长内存池的问题2.2 整体框架2.3 自由链表2.4 thread cache哈希桶的对齐规则2.5…...

编程日记 2025/7/11 5:42:45

电气动调节单座V型球阀带阀杆节流套沟槽孔板的作用-耀圣

电气动调节单座V球阀杆节流套是阀门中的一个重要组件，主要用于调节和控制流体介质的流量、压力或流速，同时兼具导向、密封和稳定阀杆运动降低流速减少冲刷的作用。以下是其具体功能和应用场景的详细说明： 1. 节流与流量控制** 作用原理**&am…...

编程日记 2025/7/16 4:52:37

vscode使用笔记

文章目录安装快捷键 vscode是前端开发的一款利器。安装快捷键 ctrlp # 查找文件(和idea的双击shift不一样) ctrlshiftf # 搜索内容...

编程日记 2025/7/6 2:36:56

基于 SpringAI 整合 DeepSeek 模型实现 AI 聊天对话

目录 1、Ollama 的下载配置与 DeepSeek 的本地部署流程 1.1 下载安装 Ollama 1.2 搜索模型并进行本地部署 2、基于 SpringAI 调用 Ollama 模型 2.1 基于OpenAI 的接口规范（其他模型基本遵循） 2.2 在 IDEA 中进行创建 SpringAI 项目并调用 DS 模型 3、基…...

编程日记 2025/7/10 21:44:24

Idea创建项目的搭建方式

目录一、普通Java项目二、普通JavaWeb项目三、maven的JavaWeb项目四、maven的Java项目一、普通Java项目 1. 点击 Create New Project 2. 选择Java项目，选择JDK，点击Next 3. 输入项目名称（驼峰式命名法），可选…...

编程日记 2025/7/17 8:02:59

【MATLAB第115期】基于MATLAB的多元时间序列的ARIMAX的预测模型

【MATLAB第115期】基于MATLAB的多元时间序列的ARIMAX的预测模型 ‌一、简介 ARIMAX‌（Autoregressive Integrated Moving Average with eXogenous inputs）模型是一种结合自回归（AR）、差分（I）、移动平均&a…...

编程日记 2025/7/15 4:12:25

【以太网安全】——防护高级特性配置总结

目前网络中以太网技术的应用非常广泛、然后、各种网络攻击的纯在（例如针对ARP DHCP 等攻击）不仅造成了网络合法用户无法正常访问网络资源、而且对网络信息安全构成严重威胁、以下配置是对局域网安全配置命令做详解主要的安全威胁 MAC攻击:泛洪、欺骗 …...

编程日记 2025/7/9 1:27:42

微信小程序 van-dropdown-menu

点击其他按钮，关闭van-dropdown-menu下拉框 DropdownMenu 引入页面使用index.wxmlindex.scssindex.ts(重点)index.ts(全部) DropdownMenu 引入在app.json或index.json中引入组件 "usingComponents": {"van-dropdown-menu": "vant/weapp…...

编程日记 2025/7/16 8:07:02