当前位置：首页 > news >正文

【Zookeeper搭建】Zookeeper分布式集群搭建完整指南

news 来源：原创 2025/7/5 8:43:06

Zookeeper分布式集群搭建

（一）克隆前准备工作

一、时钟同步

步骤：

1、输入date命令可以查看当前系统时间，可以看到此时系统时间为PDT（部分机器或许为EST），并非中国标准时间。我们在中国地区，因此要把系统时间改为CST（中国标准时间）

2、修改时间类型：

sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

修改完后再次使用date命令查看是否更改成功。

二、Zookeeper的安装和部署

步骤：

1、使用XFTP把安装包zookeeper-3.4.6.tar.gz传输到虚拟机主目录（/home/hadoop）下，然后解压：

cd ~  
tar -zxvf zookeeper-3.4.6.tar.gz

2、配置环境变量，在.bashrc文件中添加内容。先执行以下命令打开.bashrc文件：

vim ~/.bashrc

在文件末尾加上以下语句：

export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.6  
export PATH=$ZOOKEEPER_HOME/bin:$PATH

添加完成后保存，然后控制台执行以下命令刷新即可：

source ~/.bashrc

3、修改zoo.cfg配置文件：

该文件需要新建，并保存在zookeeper安装路径的conf子目录中：

cd ~/zookeeper-3.4.6/conf  
vim zoo.cfg

4、大概配置内容如下：

initLimit=10  
syncLimit=5  
#此处为数据保存目录，需自行创建  
dataDir=/home/hadoop/zkdata  
#此处为日志保存目录，需自行创建  
dataLogDir=/home/hadoop/zklog  
clientPort=2181  
server.1=master:2888:3888  
server.2=slave1:2888:3888  
server.3=slave2:2888:3888

[注意：此处标红的两组数字，前面的1、2、3是每个节点服务的编号，后面的主机名是对应节点服务器的IP地址，这里的配置需要和后面克隆后的配置信息对应上。]{.underline}

[节点服务编号的值是一个整型数字，且不能重复。]{.underline}

5、创建数据和日志目录：

mkdir /home/hadoop/zkdata  
mkdir /home/hadoop/zklog

此时，可以开始克隆虚拟机了。

（二）克隆Linux虚拟机

前言：

克隆开始之前，可以保存一下虚拟机的快照，或者完整地备份一下自己的虚拟机，这样就不必担忧后续集群使用过程中出现严重的问题需要重来。

一、克隆出两台虚拟机

步骤：

1、使用stop-all.sh命令关闭hadoop集群后，关闭Linux虚拟机；

2、右键选中master，管理-克隆；

3、在弹出的克隆虚拟机向导中，选择克隆自虚拟机中的当前状态；

4、创建完整克隆；

5、虚拟机名称建议为slave1、slave2；位置选择F盘你自己的目录；

6、点击完成开始克隆；

二、把三台虚拟机都启动起来

步骤：略

（三）克隆虚拟机后配置

一、为两台新的虚拟机修改IP地址

由于是克隆的虚拟机，因此他们的配置都是一样的，所以开机以后第一步，先把两台slave机器的ip地址修改一下，否则IP地址会发生冲突。

只需修改最后的部分即可，即192.168.203.XXX中标红的一节；设置方式参考前面教程。

二、为两台新的虚拟机修改主机名

步骤：

1、修改slave1主机的/etc/hostname文件，将其主机名修改为slave1

sudo vim /etc/hostname

2、重复上述步骤，也把slave2的主机名修改为slave2

三、为三台机器配置hosts文件

步骤：

1、先在master主机修改/etc/hosts文件，建立主机名与ip地址的映射：

sudo vim /etc/hosts

在末尾添加两行：

192.168.203.XXX slave1  
192.168.203.XXX slave2

其中的ip地址要对应上一步你自己为每一台主机设置的ip地址。

2、为另外两台slave1、slave2主机也重复上面步骤。

四、为master主机配置NTP服务器，用于时钟同步

步骤：

1、配置NTP服务器：

我们选择master节点来配置NTP服务器，后续其他节点定时同步master节点的时间。CentOS系统一般已经安装有NTP服务，因此直接修改配置文件ntp.conf即可，该文件位于/etc文件夹内：

sudo vim /etc/ntp.conf

打开后如下：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 {width=“4.813379265091863in” height=“3.261459973753281in”}

2、修改一：

找到#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap这一行，然后在其下方添加：

restrict 192.168.240.129 mask 255.255.255.0 nomodify notrap

其中标红的ip地址需改成你master主机的ip地址。

3、修改二：

注释掉下面的4行server域名配置：

#server 0.centos.pool.ntp.org iburst  
#server 1.centos.pool.ntp.org iburst  
#server 2.centos.pool.ntp.org iburst  
#server 3.centos.pool.ntp.org iburst

4、修改三：

注释完以后在下方添加两行：

server 127.127.1.0  
fudge 127.127.1.0 stratum 10

5、修改完后大体如图所示：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 {width=“4.6292465004374455in” height=“1.8431157042869641in”}

6、在master执行以下命令启动服务：

systemctl start ntpd

7、执行以下命令可以让master每次启动机器时，都自动开启NTP服务：

chkconfig ntpd on

8、在其他节点配置定时同步时间：

使用Linux的crontab命令配置定时任务，定时执行ntpdate时间同步命令即可。

在slave1、slave2都使用crontab -e命令打开vim编辑器编辑定时命令脚本，在其中添加此行命令：

0-59/10 * * * * sudo /usr/sbin/ntpdate master

其中标红的需改成你上述配置了ntp服务器的主机名。

设置完成后，后续slave1、slave2将定期每10分钟自动与master主机同步时间。

五、创建Zookeeper各节点服务编号

在各个机器的/home/hadoop/zkdata目录，创建一个myid文件，然后分别输入服务编号即可，下面以master为例设置，执行以下命令：

cd /home/hadoop/zkdata  
touch myid  
echo 1 > myid

其中编号1即为master机器的编号，此处必须按照前面Zookeeper安装与部署步骤4中对应的主机与编号进行设置。

自行重复上述步骤，把三台机器都配置完毕。

六、启动Zookeeper集群

在每一台机器上，分别执行以下命令启动Zookeeper服务：

zkServer.sh start

一段时间后使用以下命令查看状态：

zkServer.sh status

如果Zookeeper集群中，出现一个节点为Leader，另外两个为Follower，则说明Zookeeper集群安装部署成功。

【Zookeeper搭建】Zookeeper分布式集群搭建完整指南

Zookeeper分布式集群搭建 （一）克隆前准备工作一、时钟同步步骤： 1、输入date命令可以查看当前系统时间，可以看到此时系统时间为PDT（部分机器或许为EST），并非中国标准时间。我们在中国地区…...

编程日记 2025/7/5 8:43:06

基于YOLO11/WVP的电梯系统开发-模型训练与rk3568移植

1. 环境准备代码下载： https://github.com/ultralytics/ultralytics.git切换到 8.3.0 以上的分支，yolov11 只在上述分支支持, 下载后在 ultralytics 根目录下安装 yolo 依赖环境： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn…...

编程日记 2025/7/5 8:26:17

[数据结构]并查集(系统整理版)

基础用法 int p[N];//路径压缩寻找祖宗节点 int find(int x){if(p[x]!x) p[x]find(p[x]);return p[x]; }int main(){ //初始化for(int i1;i<n;i) p[i]i; }合并 void merge(int a,int b){int aafind(a),bbfind(bb);if(aa!bb){p[aa]bb;} }查询是否联通 bool is_connected(…...

编程日记 2025/7/5 8:12:23

人工智能与软件工程结合的发展趋势

AI与软件工程的结合正在深刻改变软件开发的流程、工具和方法，其发展方向涵盖了从代码生成到系统维护的整个生命周期。以下是主要的发展方向和技术趋势： 1. 软件架构体系的重构从“面向过程”到“面向目标”的架构转型： AI驱动软件设计以目标…...

编程日记 2025/7/2 7:40:06

Compose 实践与探索十七 —— 多指手势与自定义触摸反馈

上一节我们讲了滑动的手势识别以及嵌套滑动，二者都属于触摸反馈这个大的范畴内的知识。本节我们将深入触摸反馈这个话题，讲一讲多指手势的识别与完全自定义的触摸反馈的实现。 1、多指手势多指手势可以分为两类： 利用 API 处理预设好的手…...

编程日记 2025/7/5 8:38:18

哈希表 - 两个数组的交集(集合、数组) - JS

一、Set基础在 JavaScript 中，Set 是一种集合（Collection）数据结构，用于存储唯一值（不允许重复），并且可以高效地进行添加、删除、查询等操作。它类似于数组（Array）…...

编程日记 2025/7/5 7:40:22

26_ajax

目录了解接口前后端交互一、安装服务器环境 nodejs ajax发起请求渲染响应结果 get方式传递参数 post方式传递参数封装ajax_上封装ajax下了解清楚前后端交互就可以写一些后端代码了。小项目现在写项目开发的时候都是前后端分离之前都没有前端这个东西&a…...

编程日记 2025/7/5 7:10:31

Java面试黄金宝典24

1. 什么是跳表定义跳表（Skip List）是一种随机化的数据结构，它基于有序链表发展而来，通过在每个节点中维护多个指向其他节点的指针，以多层链表的形式组织数据。其核心思想是在链表基础上增加额外层次，每…...

编程日记 2025/7/5 7:11:30

每日c/c++题备战蓝桥杯（全排列问题）

题目描述按照字典序输出自然数 1 到 n 所有不重复的排列，即 n 的全排列，要求所产生的任一数字序列中不允许出现重复的数字。输入格式一个整数 n。输出格式由 1∼n 组成的所有不重复的数字序列，每行一个序列。每个数字保留 5 个场…...

编程日记 2025/7/4 14:35:00

Layui实现table动态添加行，可删除、表格可编辑，小数校验

实现如图需求，layui实现的可编辑table，包含B、C、D、E列，A列不用实现出现，A列放在附件就是让你明白，不同的物料名称，行是不一样的。除了头部表头和E列不能编辑，每个表格都可编辑，其中…...

编程日记 2025/7/5 7:35:15

Spring Boot 非web应用程序

在 Spring Boot 框架中，要创建一个非Web应用程序（纯Java程序） main方法运行，不启动tomcat，main方法执行结束，程序就退出了； 方式一 1、SpringBoot开发纯Java程序，应该采…...

编程日记 2025/7/5 8:05:01

数据分析中的基线校正算法全解析：原理、实现与应用

数据分析中的基线校正算法全解析：原理、实现与应用在数据分析中，基线漂移是一个常见问题，会严重影响数据的解释和分析精度。本文将详细介绍12种主流基线校正方法，包括数学原理、Python实现代码和适用场景分析。基线漂移问题概述基线漂移主要由以下因素引起：仪器强度…...

编程日记 2025/6/30 12:20:23

国外计算机证书推荐（考证）（6 Sigma、AWS、APICS、IIA、Microsoft、Oracle、PMI、Red Hat）

文章目录证书推荐1. 六西格玛 (6 Sigma)2. 亚马逊网络服务 (AWS)3. 美国生产与库存控制学会 (APICS)4. 内部审计师协会 (IIA)5. 微软 (Microsoft)6. 甲骨文 (Oracle)7. 项目管理协会 (PMI)8. 红帽 (Red Hat) 证书推荐 1. 六西格玛 (6 Sigma) 介绍：六西格玛是一种…...

编程日记 2025/7/5 7:13:20

linux》》docker 、containerd 保存镜像、打包tar、加载tar镜像

Linux》》docker: 默认情况下，Docker镜像保存在/var/lib/docker/目录下。当您使用docker pull命令从Docker Hub或私有镜像仓库中拉取镜像时，Docker会自动将镜像文件保存在/var/lib/docker/image/目录下。每个镜像都由一个或多个层组成，这些…...

编程日记 2025/7/5 7:39:10

大数据（2）Hadoop架构深度拆解：HDFS与MapReduce企业级实战与高阶调优

目录一、分布式系统的设计哲学演进1.1 从Google三驾马车到现代数据湖二、企业级HDFS架构全景图2.1 联邦架构的深度实践2.2 生产环境容灾设计2.3 性能压测方法论三、MapReduce引擎内核解密3.1 Shuffle机制全链路优化3.2 资源调度革命：从MRv1到YARN3.3 企业级编码规…...

编程日记 2025/7/5 7:23:15

【数学建模】动态规划算法(Dynamic Programming，简称DP)详解与应用

动态规划算法详解与应用文章目录动态规划算法详解与应用引言动态规划的基本概念动态规划的设计步骤经典动态规划问题1. 斐波那契数列2. 背包问题3. 最长公共子序列(LCS) 动态规划的优化技巧动态规划的应用领域总结引言动态规划(Dynamic Programming，简称DP)是一…...

编程日记 2025/6/30 8:39:46

UE学习记录part11

第14节 breakable actors 147 destructible meshes a geometry collection is basically a set of static meshes that we get after we fracture a mesh. 几何体集合基本上是我们在断开网格后获得的一组静态网格。选中要破碎的网格物品，创建集合可以选择不同的…...

编程日记 2025/7/2 5:17:35

LeetCode知识点整理

1、Scanner 输入： import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner scanner new Scanner(System.in);// 读取整数int num scanner.nextInt();// 读取一行字符串String line scanner.nextLine();scanner.close();…...

编程日记 2025/7/3 8:56:40

浅析车规芯片软错误防护加固的重要性

随着汽车电子技术的飞速发展，汽车已经从传统的机械交通工具转变为高度依赖电子系统的智能移动终端。车规芯片作为汽车电子系统的核心部件，其可靠性和安全性直接关系到车辆的正常运行和驾乘人员的安全。然而，车规芯片在复杂的运行环境中面临着…...

编程日记 2025/7/4 1:30:29

Android Jetpack学习总结（源码级理解）

ViewModel 和 LiveData 是 Android Jetpack 组件库中的两个核心组件，它们能帮助开发者更有效地管理 UI 相关的数据，并且能够在配置变更（如屏幕旋转）时保存和恢复 UI 数据。 ViewModel作用瞬态数据丢失的恢复，比如横竖…...

编程日记 2025/7/3 22:29:29

Matlab_Simulink中导入CSV数据与仿真实现方法

前言在Simulink仿真中，常需将外部数据（如CSV文件或MATLAB工作空间变量）作为输入信号驱动模型。本文介绍如何高效导入CSV数据至MATLAB工作空间，并通过From Workspace模块实现数据到Simulink的精确传输，适用于运动控制…...

编程日记 2025/7/5 8:37:30

Go 语言规范学习（6）

文章目录 StatementsTerminating statementsEmpty statementsLabeled statementsExpression statementsSend statementsIncDec statementsAssignment statementsIf statementsSwitch statementsExpression switchesType switches For statementsFor statements with single con…...

编程日记 2025/7/3 21:24:14

相关文章：