当前位置：首页 > news >正文

hadoop搭建

news 来源：原创 2025/7/22 16:09:57

前言

一般企业中不会使用master slave01 slave02来命名

vmware创建虚拟机

打开vmware软件，新建虚拟机

典型

稍后安装系统

选择centos7

虚拟机名称和安放位置自行选择（最小化安装消耗空间较少）

默认磁盘大小即可

自定义硬件

选择centos7的iso镜像文件（没有的话自行上阿里云下载）随后点击关闭centos-7.9.2009-isos-x86_64安装包下载_开源镜像站-阿里云

完成

开启虚拟机

安装centos7

键盘上下键选择第一项直接安装，第二项是测试镜像完整性并安装，耗时较久

等待一会

语言中英文都可，按自己喜好，选择继续

选择安装位置，默认即可

直接点击完成

点击开始安装即可

点击设置root用户密码

如果设置的是弱密码需要点击两次完成

点击创建用户

创建一个hd用户，如果设置的是弱密码需要点击两次完成

等待安装，点击完成配置

再次等待，点击重启

启动centos7进行初步设置

登录root用户，输入密码不会有提示输入完毕后直接回车即可登录

登录后发现没有IP地址

先配置一个临时IP地址(ens33 对应自己的网卡）

ip根据自己实际情况而设置

ifconfig ens33 192.168.20.30

使用远程工具ssh连接，这里使用MobaXterm

连接类型选择SSH ，输入centos7的IP地址（前面设置了192.168.20.30）根据自己的实际情况来，选择登录hd 用户，点击OK连接，随后输入密码（一样的输入密码是没有提示的）

切换到root用户（因为后面配置需要root用户权限）

su root

修改为静态ip地址（前面设置的是临时ip重启后失效）

vi /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO从dhcp修改为static

ONBOOT从no修改为yes

在文件末尾加入如下三行（因为不需要联网所以不用配置DNS）ip根据自己实际情况而设置

IPADDR=192.168.20.30
NETMASK=255.255.255.0
GATEWAY=192.168.20.2

:wq保存退出、ZZ也可

重启网卡令配置生效

systemctl restart network

关闭防火墙并永久禁用防火墙和selinux，setenforce 0重启后会失效，修改selinux文件需要重启才能生效

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vi /etc/selinux/config

将SELINUX=enforcing修改为SELINUX=disabled

保存退出

安装Java环境

先删除Linux自带的Java环境

在root用户下

yum remove  -y  java*

回到hd用户

su hd

在hd用户目录下创建apps文件夹来放软件包及安装软件

上传Java包

将jdk-8u121-linux-x64.gz包上传至上面创建的apps目录下

解压Java包

注意以hd用户解压否则会出现hd用户无权限无法启动Hadoop

tar -zxvf jdk-8u121-linux-x64.gz

 mv jdk1.8.0_121/ java

配置Java环境

su root

添加环境变量

vi /etc/profile

G来到文件末尾，o在下一行插入

export JAVA_HOME=/home/hd/apps/java
export PATH=$PATH:$JAVA_HOME/bin

加载系统环境并查看Java版本

source /etc/profile
java -version

Hadoop安装

上传Hadoop包

上传hadoop-2.8.1.tar.gz至apps目录并解压

切换至hd用户

su hd

解压 Hadoop包

tar -zxvf hadoop-2.8.1.tar.gz

修改目录名

mv hadoop-2.8.1 hadoop

修改Hadoop配置文件

先进入Hadoop配置文件目录

cd hadoop/etc/hadoop/

修改hadoop-env.sh

vi hadoop-env.sh

按G来到文件末尾o在下一行插入，在文件末尾追加

export JAVA_HOME=/home/hd/apps/java

:wq保存退出或 ZZ保存退出

注意！！！！看了再往下做

下面修改的4个文件一定要在<configuration></configuration>中添加，不要图省事直接追加在文件末尾，一个xml文件只能一个根节点，出现了2个会导致Hadoop无法启动（本人踩的雷）

修改core-site.xml

 vi core-site.xml

在<configuration></configuration>中添加

    <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/hd/apps/hadoop/tmpdata</value></property><!--Hadoop回收站trash，默认是关闭的 可以设置一个时间阀值（单位：分钟），
当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。
--><property><name>fs.trash.interval</name><value>1440</value>
</property>

修改hdfs-site.xml

vi hdfs-site.xml

在<configuration></configuration>中添加

    <!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>2</value></property><!-- 设置namenode的http通讯地址 --><property><name>dfs.namenode.http-address</name><value>master:50070</value></property><!-- 设置secondarynamenode的http通讯地址 --><property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value></property><!-- 设置namenode存放的路径 --><property><name>dfs.namenode.name.dir</name><value>/home/hd/apps/hadoop/namenode</value></property><!-- 设置datanode存放的路径 --><property><name>dfs.datanode.data.dir</name><value>/home/hd/apps/hadoop/datanode</value></property>

修改mapred-site.xml

因为我的包里没有mapred-site.xml，需要将mapred-site.xml.template重命名为mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

再来修改文件

vi mapred-site.xml

在<configuration></configuration>中添加

    <!-- 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/home/hd/apps/hadoop</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/home/hd/apps/hadoop</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/home/hd/apps/hadoop</value></property>

修改yarn-site.xml

vi yarn-site.xml

在<configuration></configuration>中添加

    <!-- 指定YARN的老大（ResourceManager）的地址 --><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><!-- reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

修改slaves

vi slaves

追加

slave01
slave02

修改环境变量

先切换到root用户

su root

vi /etc/profile

在文件末尾追加

export HADOOP_HOME=/home/hd/apps/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

加载环境

source /etc/profile

查看Hadoop版本

hadoop version

克隆虚拟机

先关闭虚拟机

shutdown -h now

右键虚拟机标签，选择管理，克隆

我选择链接克隆，根据自己情况来选择（链接克隆如果母机损坏了链接克隆的机器也无法正常启动，但是占用空间小，克隆速度快）

为了方便分辨虚拟机名称设为hd2，存储位置自行选择，点击完成即可

完毕

同样方法再克隆一台

启动并修改克隆的虚拟机IP地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

将网卡ID删除（避免与母机冲突）并修改IP地址，ip根据自己实际情况而设置

重启网卡

systemctl restart network

随后检查个各机器防火强是否关闭，selinux是否关闭

 systemctl status firewalld  
setenforce 0

java版本，Hadoop版本是否一致（如果没有的话自行检查 /etc/profile 环境变量 source加载）

 java -version
hadoop version

修改主机名

母机 master

从机1 slave01

从机2 slave02

一般企业中是不会像这样命名的

hostnamectl set-hostname master

bash重新加载交互

hostnamectl set-hostname slave01
hostnamectl set-hostname slave02

修改/etc/hosts 文件

切换到root用户

su root

修改hosts文件

vi /etc/hosts

在文件末尾追加（ip根据自己实际情况而设置）

192.168.20.30 master
192.168.20.31 slave01
192.168.20.32 slave02

保存并退出

同步到两台子机上

scp /etc/hosts root@slave01:/etc/
scp /etc/hosts root@slave02:/etc/

输入yes

输入密码后回车（没有提示的）

第二台同理

免密登录

先退出root用户，直接

exit

在master上生成密钥

ssh-keygen

回车

继续回车

一直回车

拷贝密钥到需要免密登录的机器

master slave01 slave02三台机器

ssh-copy-id slave02
ssh-copy-id slave01
ssh-copy-id master

输入yes，随后输入密码，回车

另外两台同理

测试免密登录

ssh slave01
ssh slave02
ssh master

不需要输入密码就说明成功了（如若不成功检查防火墙，重新生成密钥并发送到三个节点，并确认你的当前用户是hd）

exit退出

格式化Hadoop

只需要在master上格式化

hadoop namenode -format

( )( )启动！！！

启动Hadoop集群

start-dfs.sh 启动HDFS分布式文件系统，停止stop-dfs.sh

start-yarn.sh 启动Yarn资源管理器，停止stop-yarn.sh

start-all.sh HDFS分布式文件系统与Yarn启动，停止stop-all.sh

主要使用一键启动所有

start-all.sh

如要停止，使用

stop-all.sh

启动卡住没有datanode解决办法

启动Hadoop后没有DataNode进程的解决方法_hadoop没有datanode-CSDN博客

中途提示Host key verification failed解决办法

解决Host key verification failed.(亲测有效)-CSDN博客

使用jps查看启动服务

master服务如图

两个slave服务如图

hdfs 文件系统访问地址：http://192.168.20.30:50070

ip根据自己实际情况而设置

Yarn资源管理器访问地址：http://192.168.20.30:8088

ip根据自己实际情况而设置

hadoop搭建

前言一般企业中不会使用master slave01 slave02来命名 vmware创建虚拟机打开vmware软件，新建虚拟机典型稍后安装系统选择centos7 虚拟机名称和安放位置自行选择（最小化安装消耗空间较少） 默认磁盘大小即可自定义硬件选择centos7的i…...

编程日记 2025/7/22 16:09:57

19_HTML5 Web Workers --[HTML5 API 学习之旅]

HTML5 Web Workers 是一种允许 JavaScript 在后台线程中运行的技术，从而不会阻塞用户界面或其他脚本的执行。通过使用 Web Workers，你可以执行复杂的计算任务而不影响页面的响应速度，提升用户体验。 Web Workers 的特点 Web Workers 是 HTM…...

编程日记 2025/7/21 16:32:38

【PCIe 总线及设备入门学习专栏 5.1 -- PCIe 引脚 PRSNT 与热插拔】

文章目录 OverviewPRSNT 与热插拔PRSNT 硬件设计 Overview Spec 定义的热插拔是把一个PCIe卡（设备）从一个正在运行的背板或者系统中插入/或者移除。这个过程需要不影响系统的其他功能。插入的新的设备可以正确工作。显然，这里面需要考虑的问…...

编程日记 2025/7/22 15:51:30

使用docker compose安装gitlab

使用docker compose安装gitlab GitLab简介设置GITLAB_HOME路径创建docker挂载目录获取可用的GitLab版本编写docker-compose.yml文件启动docker基础配置 GITLAB_OMNIBUS_CONFIG修改配置中文设置数据库配置系统邮箱配置 GitLab简介 GitLab是一个基于Git的开源项目&#xff0c…...

编程日记 2025/7/22 16:00:00

性能中 UV、PV 和并发量的关系

在性能测试中，UV（独立访客数）、PV（页面浏览量）和并发量是重要的指标，用于评估系统的负载能力。它们之间关系紧密，需要通过合理的计算和示例进行说明。 1. 概念解析 UV（Unique Visito…...

编程日记 2025/7/22 9:16:55

Go语言zero项目服务恢复与迁移文档

## 一. 服务器环境配置在迁移和配置项目时，首先需要确保服务器环境正确配置。以下是配置步骤： ### 1. 安装 Go 语言环境首先，确保 Go 语言环境已经安装，并且配置正确。执行以下步骤： # 下载 Go 语言安装包 wge…...

编程日记 2025/7/22 16:29:28

Redis - Token JWT 概念解析及双token实现分布式session存储实战

Token 定义：令牌，访问资源接口（API）时所需要的资源凭证一、Access Token 定义：访问资源接口（API）时所需要的资源凭证，存储在客户端组成组成部分说明uid用户唯一的身份标识time…...

编程日记 2025/7/22 16:44:19

QT中使用OpenGL function

1.前言 QT做界面编程很方便，QTOpenGL的使用也很方便，因为QT对原生的OpenGL API进行了面向对象化的封装。如： 函数：initializeOpenGLFunctions()...... 类：QOpenGLVertexArrayObject、QOpenGLBuffer、QOpenGLShader…...

编程日记 2025/7/22 15:24:43

STM32-笔记18-呼吸灯

1、实验目的使用定时器 4 通道 3 生成 PWM 波控制 LED1 ，实现呼吸灯效果。频率：2kHz，PSC71，ARR499 利用定时器溢出公式周期等于频率的倒数。故Tout 1/2KHZ；Ft 72MHZ PSC71（喜欢设置成Ft的倍数&…...

编程日记 2025/7/22 17:20:24

MAC M4安装QT使用国内镜像源在线安装

MAC M4安装QT使用国内镜像源在线安装一、下载安装包1. 访问[https://www.qt.io/](https://www.qt.io/)下载在线安装包2. 下载结果二、创建QT账户，安装的时候需要三、安装1. 终端打开安装包2. 指定安装源3. 运行安装完的QT 一、下载安装包 1. 访问https://www.qt.…...

编程日记 2025/7/22 17:18:59

go语言中zero框架项目日志收集与配置

在 GoZero 项目中，日志收集和配置是非常重要的，尤其是在分布式系统中，日志可以帮助开发人员追踪和排查问题。GoZero 提供了灵活的日志系统，能够方便地进行日志的配置和管理。以下是如何在 GoZero 项目中进行日志收集与配置的基本…...

编程日记 2025/7/22 17:29:03

springboot496基于java手机销售网站设计和实现(论文+源码)_kaic

摘要现代经济快节奏发展以及不断完善升级的信息化技术，让传统数据信息的管理升级为软件存储，归纳，集中处理数据信息的管理方式。本手机销售网站就是在这样的大环境下诞生，其可以帮助管理者在短时间内处理完毕庞大的数据信息&am…...

编程日记 2025/7/22 12:08:55

iClient3D for Cesium在Vue中快速实现场景卷帘

作者：gaogy 1、背景 iClient3D for Cesium是由SuperMap提供的一个前端3D地图客户端，提供了丰富的功能与接口，使得开发者能够在Web应用中快速集成并展现3D地理信息。而在Vue框架中集成iClient3D，不仅可以利用Vue的响应式特性提高开…...

编程日记 2025/7/22 23:06:39

Elasticsearch-索引的批量操作

索引的批量操作批量查询和批量增删改批量查询 #批量查询 GET product/_search GET /_mget {"docs": [{"_index": "product","_id": 2},{"_index": "product","_id": 3}] }GET product/_mget {"…...

编程日记 2025/7/22 17:25:05

TVS二极管选型【EMC】

TVS器件并联在电路中，当电路正常工作时，他处于截止状态（高阻态），不影响线路正常工作，当线路处于异常过压并达到其击穿电压时，他迅速由高阻态变为低阻态，给瞬间电流提供一个低阻抗导通…...

编程日记 2025/7/22 17:27:45

反编译APK获取xml资源

第一步去官网下载 jar 包最新的即可 apktool官网下载地址下载好重命名一下改成 apktool.jar 第二步将你的 apk 和 jar 包放在同一个文件夹下面第三步在该文件夹下打开命令行并输入 java -jar apktool.jar d 测试.apk回车后会正在解析解析完成后，文件夹下…...

编程日记 2025/7/22 17:30:23

C++ 设计模式：装饰模式（Decorator Pattern）

链接：C 设计模式链接：C 设计模式 - 桥接模式装饰模式（Decorator Pattern）是一种结构型设计模式，它允许向一个现有的对象添加新的功能，同时又不改变其结构。装饰模式通过创建一个装饰类来包装原始类&…...

编程日记 2025/7/22 17:31:50

排序算法之快速排序、归并排序

目录快速排序归并排序的意义快速排序思维步骤具体思想测试样例解释代码实现归并排序思维步骤具体思想测试样例解释代码实现快速排序归并排序的意义快速排序和归并排序不仅仅是一种方法，更重要的是其作为一种算法而节省时间，在…...

编程日记 2025/7/22 17:34:32

一文读懂变分自编码(VAE)

一文读懂变分自编码(VAE) 概述变分自编码器（Variational Autoencoder, VAE）是一种生成模型，用于学习数据的潜在表示并生成与原始数据分布相似的新数据。它是一种概率模型，通过结合深度学习和变分推断的思想，解决了传…...

编程日记 2025/7/22 17:35:52

【每日学点鸿蒙知识】webview性能优化、taskpool、热更新、Navigation问题、调试时每次都卸载重装问题

1、HarmonyOS webview页面第二次，第三次打开感觉和第一次打开速度差不多，有优化吗，或者有没有webview秒开方案之类的？ 目前没有webview秒开的方案，针对web场景的优化参考一下文档：https://developer.huawe…...

编程日记 2025/7/21 21:58:24

周记-唐纳德的《计算机程序设计艺术》

用代码生成代码开发一个协议，字段有些多，每个字段是QT的属性，需要写Q_PROPERTY，一个一个编辑的话比较繁琐，耗费时间。后来就用代码生成了头文件和源文件，get和set还有signal函数，内容基本都是…...

编程日记 2025/7/22 13:00:13

AR 模型的功率谱

功率谱密度（Power Spectral Density, PSD）的表达式是从信号的自相关函数和系统的频率响应推导出来的，特别是对于 AR（Auto-Regressive，自回归）模型。以下是推导的过程： 1. AR 模型的定义&#xf…...

编程日记 2025/7/22 17:39:39

抖音小程序登录（前端通过tt.login获取code换取openId）

抖音小程序登录抖音开放平台小程序登录： https://developer.open-douyin.com/docs/resource/zh-CN/mini-app/develop/tutorial/basic-ability/microapp-login 前端(通过tt.login获取code) 流程静默登录依赖小程序 API tt.login，把tt.loginsuccess 回调…...

编程日记 2025/7/22 17:46:35

Linux 更改Jenkins使用其他账户启动

Linux 更改Jenkins使用其他账户启动步骤一：修改 Jenkins 配置文件1. 编辑 Jenkins 的 systemd 服务文件：2. 在编辑器中添加以下内容：3. 保存并退出编辑器步骤二：更改 Jenkins 目录的权限步骤三：重新加载 systemd 配置…...

编程日记 2025/7/22 17:50:05

117.【C语言】数据结构之排序(选择排序)

目录 1.知识回顾 2.分析设想的思路代码执行结果编辑错误排查和修复详细分析出错点执行结果 3.正确的思路 4.其他问题 1.知识回顾参见42.5【C语言】选择排序代码点我跳转 2.分析知识回顾里所提到的文章的选择排序一次循环只比一个数字,和本文接下来要…...

编程日记 2025/7/22 17:56:08

读书系列2024

认知类 1、《人生没有太晚的开始》： 作者摩西奶奶。书中经典语录：“与其着急忙慌地不知从何开始，不如一切都慢慢来，开始并坚持了，总会有结果的那一天。喜欢一件事，你就慢慢去做吧。” 2、《忏悔录》托尔…...

编程日记 2025/7/22 19:27:46

如何快速又安全的实现端口转发【Windows MAC linux通用】

背景有很多程序是在虚拟机上运行的，返回的url 又是127.0.0.1。在个人电脑上调试需要解决这个问题。端口转发是一个不错的方法可能的解决办法： 1.修改程序，返回虚拟机的ip （要改代码，换虚拟机还要再改代码&#xf…...

编程日记 2025/7/22 18:09:15

OpenGL变换矩阵和输入控制

在前面的文章当中我们已经成功播放了动画，让我们的角色动了起来，这一切变得比较有意思了起来。不过我们发现，角色虽然说是动了起来，不过只是在不停地原地踏步而已，而且我们也没有办法通过键盘来控制这个角色来进行移动…...

编程日记 2025/7/22 18:18:30

51单片机学习笔记——找不到REG52.H头文件，点亮一个LED

创建工程将STC型号导入keil并使用 STC可以从官网下载，也可我这的网盘： 链接：https://pan.baidu.com/s/1bO85DPN3IFaXGhiKSwyOrA?pwd7f4h 提取码：7f4h 打开STC，选择“keil仿真设置”，选择“添加型号和头…...

编程日记 2025/7/18 14:24:26

07 基于OpenAMP的核间通信方案

引言 ZYNQ7020有两个CPU核心，这两个核心可以采用SMP或AMP方式进行调度，当采用AMP方式进行调度时核0和核1可以运行不同的操作系统，如核0运行Linux系统，提供有些复杂的用户交互工作，核1运行实时操作系统，对设…...

编程日记 2025/7/22 11:38:59

Ubuntu升级ssh版本到9.8

方案一：实测只有8.9有漏洞不推荐 1、更新软件包列表 sudo apt update 2、查找可用版本 apt-cache policy openssh-server 3、选择版本 sudo apt install openssh-server1:9.8p1-<具体版本号> 4、重启 sudo systemctl restart ssh 5、验证版本 /usr/sbin/ss…...

编程日记 2025/7/18 19:03:18

git设置项目远程仓库指向github的一个仓库

要将你的Git项目设置为指向GitHub上的远程仓库，你需要执行以下步骤： 创建GitHub仓库： 登录到你的GitHub账户。点击右上角的 “” 号，选择 “New repository” 创建一个新的仓库。填写仓库的名称，可以添加描述&#xff…...

编程日记 2025/7/21 16:54:42

【实战示例】面向对象的需求建模

前言博主准备写一个以面向对象为核心思想的软件需求建模、领域建模的系列，总结一整套可落地的DDD的打法，前面几篇文章论述了如何进行面向对象的需求建模，本文将以一个简单的购物商城的需求来演示如何进行面向对象的需求建模。面向对象的需…...

编程日记 2025/7/21 1:16:53

平方数的判断不用sqrt()函数

//判断一个数是不是平方数，13…（2*m-1）m*mn #include<stdio.h> int main(){ int n; scanf("%d",&n); int i; for(i1;n>0;i2){ nn-1; } if(n0){ printf("YES!\n"); …...

编程日记 2025/7/16 7:58:19

node.js之---回调函数

什么是回调函数？ 为什么会有回调函数？ 回调函数的特性回调函数的应用场景怎么解决回调地狱什么是回调函数？ 回调函数是一个函数，他作为参数传递给另外一个函数，并且会在另外一个函数执行完毕之后被调用&#…...

编程日记 2025/7/23 0:01:46

浏览器http缓存问题

一、什么是浏览器缓存浏览器将请求过的资源（html、js、css、img）等，根据缓存机制，拷贝一份副本存储在浏览器的内存或者磁盘上。如果下一次请求的url相同时则根据缓存机制决定是读取内存或者磁盘上的数据还是去服务器请求资源文件…...

编程日记 2025/7/18 23:57:45

编写一个简单的引导加载程序（bootloader）

编写一个简单的引导加载程序（bootloader）通常用于嵌入式系统或自定义操作系统。这里，我将为你提供一个基于x86架构的简单汇编语言 bootloader 示例。这个 bootloader 将会在启动时打印一条消息到屏幕上。使用 NASM 汇编器来编写这个 bootlo…...

编程日记 2025/7/20 1:37:59

Three.js 字体

在 Three.js 中，我们可以通过 FontLoader 加载字体，并结合 TextGeometry 创建 3D 文本。加载字体是因为字体文件包含了字体的几何信息，例如字体的形状、大小、粗细等，而 TextGeometry 则是根据字体信息生成 3D 文本的几何体。在…...

编程日记 2025/7/20 2:04:46

Jenkins 构建流水线

在 Linux 系统上安装 Jenkins 服务，以及配置自动化构建项目前置准备环境：docker、docker-compose、jdk、maven 一、环境搭建 1. Jenkins 安装 （1）拉取镜像 # 安装镜像包，默认安装最新版本 docker pull jenkins/jen…...

编程日记 2025/7/22 9:34:51

ES 磁盘使用率检查及处理方法

文章目录 1. 检查原因2. 检查方法3. 处理方法3.1 清理数据3.2 再次检查磁盘使用率 1. 检查原因磁盘使用率在 85%以下，ES 可正常运行，达到 85%及以上会影响 PEIM 数据存储。在 ES 磁盘分配分片控制策略中，为了保护数据节点的安全&#xff0…...

编程日记 2025/7/17 14:49:11

【回溯】LeetCode经典题目总结：组合、排列、子集、分割、N皇后、单词搜索

回溯组合问题组合总和全排列子集分割回文串N皇后电话号码的字母组合单词搜索括号生成组合问题给定两个整数 n 和 k，返回 1 … n 中所有可能的 k 个数的组合。示例: 输入: n 4, k 2 输出: [ [2,4], [3,4], [2,3], [1,2], [1,3], [1,4], ] 树形结构&#xff1…...

编程日记 2025/7/17 16:34:48

uniapp开发小程序内嵌h5页面，video视频两边有细小黑色边框

1.问题如图 2.原因分析是否为设置上述属性呢？ 设置了，但是仍然有黑边。经过选中页面元素分析后，判断video元素本身就有这种特点，就是视频资源无法完全铺满元素容器。 3.解决方案...

编程日记 2025/7/5 20:34:18

一下载pip3 ，使用pip3下载 meson sudo apt install python3 sudo apt install python3-pip二下载 nanjia sudo apt-get install ninja-build三测试 meson 使用 1 同一个目录下创建两个文件 main.c #include<stdio.h> int main() {printf("meson t…...

编程日记 2025/7/18 22:07:39

实用技巧：关于 AD修改原理图库如何同步更新到有原理图的解决方法

若该文为原创文章，转载请注明原文出处本文章博客地址：https://hpzwl.blog.csdn.net/article/details/144738332 长沙红胖子Qt（长沙创微智科）博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV…...

编程日记 2025/7/18 15:07:13

算法排序算法

文章目录快速排序[leetcode 215数组中的第K个最大元素](https://leetcode.cn/problems/kth-largest-element-in-an-array/)分析题解快速排序桶排序[leetcode 347 前K个高频元素](https://leetcode.cn/problems/top-k-frequent-elements/)分析题解快速排序 leetcode 215数组…...

编程日记 2025/7/22 6:15:04

植物大战僵尸杂交版3.0.2版本

更新内容植物大战僵尸杂交版3.0.2版本的更新内容如下： • 修复BUG： • 游戏内贴图错乱的BUG。 • 无尽模式卡死的BUG。 • 卡牌模仿者的一系列BUG。 • 干扰车可能同时出现多辆的BUG。 • 冒险模式部分关卡无法过关的BUG。 • 新增内容&#xf…...

编程日记 2025/7/17 17:36:25

Kafka数据迁移全解析：同集群和跨集群

文章目录一、同集群迁移二、跨集群迁移 Kafka两种迁移场景，分别是同集群数据迁移、跨集群数据迁移。一、同集群迁移应用场景： broker 迁移主要使用的场景是broker 上线,下线,或者扩容等.基于同一套zookeeper的操作。实践： 将需要新添加…...

编程日记 2025/7/19 19:34:00

自动化测试模型（一）

8.8.1　自动化测试模型概述在自动化测试运用于测试工作的过程中，测试人员根据不同自动化测试工具、测试框架等所进行的测试活动进行了抽象，总结出线性测试、模块化驱动测试、数据驱动测试和关键字驱动测试这4种自动化测试模型。线性测试首先&#…...

编程日记 2025/7/19 16:18:13

selenium(三)

总结一、web基础 html、dom对象、javascript基本语法二、元素定位： find_element(定位方式) 八大定位方式：id、name、class、tag_name、class_name、link_text、partial_link_text、xpath、cssxpath://标签名[属性名值 and/or 属性名值]//标签名[tex…...

编程日记 2025/7/22 23:23:13

7.若依参数设置、通知公告、日志管理

参数设置对系统中的参数进行动态维护。关闭验证码校验功能打开页面注册功能需要修改前端页面代码通知公告促进组织内部信息传递若依只提供了一个半成品，只实现了管理员可以添加通知公告。日志管理追踪用户行为和系统运行状况。登录日志和操作日志…...

编程日记 2025/7/20 6:02:05

前言

vmware创建虚拟机

安装centos7

启动centos7进行初步设置

先配置一个临时IP地址(ens33 对应自己的网卡）

使用远程工具ssh连接，这里使用MobaXterm

切换到root用户（因为后面配置需要root用户权限）

修改为静态ip地址（前面设置的是临时ip重启后失效）

重启网卡令配置生效

安装Java环境

先删除Linux自带的Java环境

上传Java包

解压Java包

配置Java环境

Hadoop安装

上传Hadoop包

切换至hd用户

解压 Hadoop包

修改目录名

修改Hadoop配置文件

修改hadoop-env.sh

注意！！！！ 看了再往下做

修改core-site.xml

修改hdfs-site.xml

修改mapred-site.xml

修改yarn-site.xml

修改slaves

修改环境变量

先切换到root用户

加载环境

查看Hadoop版本

克隆虚拟机

同样方法再克隆一台

启动并修改克隆的虚拟机IP地址

修改主机名

修改/etc/hosts 文件

同步到两台子机上

第二台同理

免密登录

拷贝密钥到需要免密登录的机器

测试免密登录

格式化Hadoop

( )( )启动！！！

使用jps查看启动服务

相关文章：

注意！！！！看了再往下做