当前位置：首页 > news >正文

Zookeeper 数据迁移实战：基础环境搭建与高效迁移方案全览

news 来源：原创 2025/6/8 15:56:04

文章目录

一、Zookeeper数据迁移简介
二、迁移zookeeper数据基础环境
三、利用快照迁移zookeeper数据
- 1、Node1最新的zk快照文件和日志文件
- 2、将被迁移方node2的zookeeper的集群全部stop
- 3、将源node1集群数据和日志拷贝到指定目录下
- 4、验证优先启动拷贝的数据、日志的zookeeper节点，
四、利用开源工具zkcopy进行在线同步数据
- 1、下载官方开源工具
- 2、同步数据方法

一、Zookeeper数据迁移简介

本次Zookeeper数据迁移的方案：
一是先将源集群中的快照、日志拷贝出到目标节点指定目录中，再将快照、日志文件迁移到目标集群节点的指定目录下。再启动目标节点的Zookeeper服务，该方案最好需要停止源集群的写操作，避免数据不一致。

二利用开源工具可以进行同步，如使用zkcopy开源工具进行在线同步，可以使两个Zookeeper或Zookeeper集群之间进行数据同步，但不能对Zookeeper的log日志进行同步。使用zkcopy的特点，是在不停服的情况下，可以进行数据同步，不用担心数据不一致问题，但改工具不能对日志进行拷贝。

二、迁移zookeeper数据基础环境

源节点	Node1:XxX.XXX.XXX.214	Docker-compose部署 3节点zookeeper伪集群	Centos7.9
目标节点	Node2:XxX.XXX.XXX.215	Docker-compose部署 3节点zookeeper伪集群	Centos7.9

三、利用快照迁移zookeeper数据

1、Node1最新的zk快照文件和日志文件

最好先停掉源集群中的zookeeper的进程，并将zookeeper中的最新的快照和日志拷贝到目标node2上，这样能保证数据的一致性。

#查看数据目录和日志目录路径
cat $HOME/conf/zoo.cfg | grep dataDir
ls -alh $HOME/zookeeper/version-2/
示例：
[root@bogon zk-3]# tree
.
├── conf
│   └── zoo.cfg
├── data
│   ├── myid
│   └── version-2
│       ├── acceptedEpoch
│       ├── currentEpoch
│       └── snapshot.0
└── datalog└── version-2└── log.100000001#将最新的snapshot.0  log.100000001拷贝到目标主机node2某个位置。
Scp -r snapshot.0 log.100000001 root@XxX.XXX.XXX.215:/tmp

2、将被迁移方node2的zookeeper的集群全部stop

将node2的zookeeper的集群全部stop后，清空集群各个节点的数据和日志目录，

#清空数据目录、和日志目录
Rm -rf /data/zookeeper/version-2/*  
Rm -rf /dataLog/zookeeper/version-2/*

3、将源node1集群数据和日志拷贝到指定目录下

将拷贝过来的snapshot.0 log.100000001拷贝到某一个zookeeper的节点的目录下即可

#接数据、日志。拷贝相应目录下
Cp -a /tmp/snapshot.0   /data/zookeeper/version-2/
Cp -a /tmp/log.100000001 /dataLog/zookeeper/version-2/

4、验证优先启动拷贝的数据、日志的zookeeper节点，

如果是三节点，先恢复其中一台，然后等数据恢复完成后，再启动其他两个节点。
检查是否将源节点的数据目录是否成功拷贝到新节点上、还可以根据实际生产情况，验证。此处不是生产环节，只作查验操作演示如下：

#登录到zookeeper里后执行
./bin/zkCli.sh
#使用ls 查看
[zk: localhost:2181(CONNECTED) 0] ls /
[p_node1, zookeeper]
#使用get 查看
[zk: localhost:2181(CONNECTED) 1] get /p_node1/seq_0000000001
1

以上为通过对数据、日志的拷贝完成zookeeper数据的迁移，作为常规手段，操作方便,使用简单。

四、利用开源工具zkcopy进行在线同步数据

1、下载官方开源工具

下载官方开源工具，并进行build
git clone https://github.com/kshchepanovskyi/zkcopy.git
进入参zkcopy目录，执行
mvn clean install //没有maven环境先准备环境，官方推荐maven3

2、同步数据方法

docker pull ksprojects/zkcopy
docker run --rm -it ksprojects/zkcopy --source server:port/path --target server:port/path
#官方提供命令
java -jar target/zkcopy.jar --source server:port/path --target server:port/path
示例如下：
java -jar target/zkcopy.jar --source XxX.XXX.XXX.214:2181/p_node1 --target XxX.XXX.XXX.215:2181/p_node1
参考说明：
path为zookeeper的znode节点
如：[zk: localhost:2181(CONNECTED) 0] ls /
[p_node1, p_node2, zookeeper]

Zookeeper 数据迁移实战：基础环境搭建与高效迁移方案全览

文章目录一、Zookeeper数据迁移简介二、迁移zookeeper数据基础环境三、利用快照迁移zookeeper数据1、Node1最新的zk快照文件和日志文件2、将被迁移方node2的zookeeper的集群全部stop3、将源node1集群数据和日志拷贝到指定目录下4、验证优先启动拷贝的数据、日志的zookeeper节点…...

编程日记 2025/6/2 16:26:17

内联变量（inline variables）：在多个文件中共享全局常量

在 C17 中，引入了内联变量（inline variables） 的概念，可以用于在多个文件中共享全局常量。内联变量允许在头文件中定义变量，而不会导致链接错误（如重复定义）。这种方式非常适合用于定义跨多个文…...

编程日记 2025/6/2 2:58:30

WOA-CNN-LSTM-Attention、CNN-LSTM-Attention、WOA-CNN-LSTM、CNN-LSTM四模型对比多变量时序预测

WOA-CNN-LSTM-Attention、CNN-LSTM-Attention、WOA-CNN-LSTM、CNN-LSTM四模型对比多变量时序预测目录 WOA-CNN-LSTM-Attention、CNN-LSTM-Attention、WOA-CNN-LSTM、CNN-LSTM四模型对比多变量时序预测预测效果基本介绍程序设计参考资料预测效果基本介绍基于WOA-CNN-LSTM-A…...

编程日记 2025/6/1 19:54:30

【kubernetes】K8S节点状态的维护

1 节点状态节点是K8S集群中的一类重要资源，节点的状态通常可以作为判断集群异常的重要手段。为了展示节点在各方面的健康程度，在kubectl describe node k8s-master的输出结果中的Conditions部分可以查看k8s-master节点的一些状态数据： N…...

编程日记 2025/6/2 23:07:04

工业视觉2-相机选型

工业视觉2-相机选型一、按芯片类型二、按传感器结构特征三、按扫描方式四、按分辨率大小五、按输出信号六、按输出色彩接口类型这张图片对工业相机的分类方式进行了总结，具体如下： 一、按芯片类型 CCD相机：采用电荷耦合器件（CC…...

编程日记 2025/6/2 4:50:33

Oracle查询-in条件超过1000

目录 1.不分页 2.分页 oracle数据库中，in的查询条件超过1000的话，就会报错，应该怎样处理这样的情况呢？ 1.不分页把查询条件分成几个list，每个list有1000个数据，有几个list查询几次数据库就行了 2.分…...

编程日记 2025/6/2 15:58:25

使用rknn进行retinaface部署（C++）

文章目录 RetinaFace导出ONNX导出RKNN编译运行学生课堂开源数据集RetinaFace RetinaFace是一种基于深度学习的高性能人脸检测方法，由InsightFace团队提出。它的核心思想是在单阶段检测器（如RetinaNet）的基础上，结合多任务学习来实现精确的人脸检测和特征点定位。以下是Ret…...

编程日记 2025/6/2 23:05:59

微服务拆分

微服务拆分接下来，我们就一起将黑马商城这个单体项目拆分为微服务项目，并解决其中出现的各种问题。熟悉黑马商城首先，我们需要熟悉黑马商城项目的基本结构： 大家可以直接启动该项目，测试效果。不过&#xff0c…...

编程日记 2025/6/2 20:05:06

【matlab】matlab知识点及HTTP、TCP通信

1、矩阵运算点乘：对于两个同维度的向量，点乘结果是这两个向量对应分量的乘积之和。点除：是指对两个数组的对应元素进行除法运算。点幂：表示元素对元素的幂运算。 >> A[1,2,3;4,5,6]; B[1,1,1;2,2,2]>> D1B.*AD…...

编程日记 2025/6/2 23:06:47

亿道三防丨三防笔记本是什么意思？和普通笔记本的优势在哪里？

三防笔记本是什么意思？和普通笔记本的优势在哪里？ 在现代社会中，笔记本电脑已经成为人们工作和生活中不可或缺的一部分。然而，在一些特殊行业或环境中，普通笔记本电脑由于其脆弱性和对环境条件的敏感性，往…...

编程日记 2025/6/1 10:35:13

C++并发编程之并发可扩展性与阿姆达尔定律

在C并发编程中，可扩展性和阿姆达尔定律（Amdahl’s Law）是两个非常重要的概念，它们帮助我们理解和优化并发程序的性能。下面我们分别讨论这两个概念，并探讨它们在C并发编程中的应用。可扩展性可扩展性（S…...

编程日记 2025/6/2 23:06:31

java 迪米特法则，原理、思想、工作流程、实现细节、稳定性、优缺点、应用场景等

迪米特法则（Law of Demeter，LoD），也被称为“最少知识原则”，是一种指导面向对象设计的原则，旨在减少对象之间的耦合度。以下是对迪米特法则的详细解析。 1. 定义迪米特法则指出：一个对象应该…...

编程日记 2025/6/3 14:19:49

使用 Docker 部署 Java 项目（通俗易懂）

目录 1、下载与配置 Docker 1.1 docker下载（这里使用的是Ubuntu，Centos命令可能有不同） 1.2 配置 Docker 代理对象 2、打包当前 Java 项目 3、进行编写 DockerFile，并将对应文件传输到 Linux 中 3.1 编写 dockerfile 文件 …...

编程日记 2025/6/3 14:19:30

DuckDB：精通Insert语句处理数据冲突

本文介绍DuckDB insert语句用法，包括常规的批量插入，尤其是插入数据冲突的处理，最后还提及returning子句的用法，每个用法提供示例说明。 insert插入数据 INSERT INTO向表中插入新行。可以插入由值表达式指定的一行或多行&#xf…...

编程日记 2025/6/3 14:22:01

DFT可测性设置与Tetramax测试笔记

1 DFT 1.1 DFT类型 1、扫描链（SCAN）： 扫描路径法是一种针对时序电路芯片的DFT方案.其基本原理是时序电路可以模型化为一个组合电路网络和带触发器(Flip-Flop，简称FF)的时序电路网络的反馈。 Scan 包括两个步骤，scan…...

编程日记 2025/6/3 14:21:11

AttributeError: Unknown IMAP4 command: ‘idle‘

imaplib 原生并不支持 IDLE 命令，这可能导致 AttributeError: Unknown IMAP4 command: idle 错误。解决办法是使用支持 IDLE 命令的库，例如 imapclient，或者通过扩展 imaplib 的方式实现。以下是两种解决方案： 方法 1&#xff1…...

编程日记 2025/6/3 14:21:44

css实现响应式详解

一、媒体查询（Media Queries） 基本概念媒体查询是 CSS3 中用于根据不同的设备特性（如屏幕宽度、高度、设备类型等）应用不同样式规则的技术。它允许你为特定的媒体类型（如屏幕、打印、手持设备等）和条件&a…...

编程日记 2025/6/2 23:42:09

hot100_240. 搜索二维矩阵 II

hot100_240. 搜索二维矩阵 II 直接遍历列减行增编写一个高效的算法来搜索 m x n 矩阵 matrix 中的一个目标值 target 。该矩阵具有以下特性： 每行的元素从左到右升序排列。每列的元素从上到下升序排列。示例 1： 输入：matrix [[1,4,7,1…...

编程日记 2025/6/2 17:16:26

【网络云SRE运维开发】2025第3周-每日【2025/01/15】小测-【第14章ospf高级配置】理论和实操解析

文章目录 14.1 选择题解题思路和参考答案14.2 理论题解题思路和参考答案14.3 实操题解题思路和参考答案思科（Cisco）设备华为（Huawei）设备小米/锐捷（或其他支持标准CLI命令的设备）通过网络管理工具注意事项 …...

编程日记 2025/6/3 14:21:28

Halcon代码 read_image (NinePointCalibration, D:/Desktop/halcon/ca74d-main/九点标定/NinePointCalibration.gif)rgb1_to_gray (NinePointCalibration, GrayImage)get_image_size (GrayImage, Width, Height) dev_display (GrayImage)* 获取当前显示的窗口句柄 dev_get_win…...

编程日记 2025/6/3 14:20:21

设计和优化用于 AR、HUD 和高级显示系统的表面浮雕光栅

表面浮雕光栅是许多光学系统中的关键组件，在控制增强现实 （AR） 显示器、平视显示器 （HUD） 和其他先进光子器件中的光传播方面发挥着关键作用。作为在这个领域工作的工程师和设计师，您了解针对特定应用优化这…...

编程日记 2025/6/3 14:20:55

编译pytorch——cuda-toolkit-nvcc

链接 https://blog.csdn.net/wjinjie/article/details/108997692https://docs.nvidia.com/cuda/cuda-installation-guide-linux/#switching-between-driver-module-flavorshttps://forums.developer.nvidia.com/t/can-not-load-nvidia-drivers-on-ubuntu-22-10/239750https://…...

编程日记 2025/6/3 10:03:06

Linux 系统资源监控笔记

本文介绍如何在 Linux 系统中查看服务资源剩余情况，包括 CPU、内存、磁盘、网络等资源的监控方法和常用命令。目录查看 CPU 和内存使用情况查看磁盘使用情况查看网络使用情况查看服务资源占用查看系统整体资源使用情况图形化工具 1. 查看 CPU 和内存使用情况使…...

编程日记 2025/6/3 10:36:45

在Linux系统中无网络安装Nginx并配置负载均衡

在Linux系统中无网络安装Nginx并配置负载均衡在现代的Web开发和运维中，Nginx作为一个高性能的HTTP和反向代理服务器，被广泛应用于负载均衡、静态资源服务、SSL终端等场景。然而，在某些特殊环境下，服务器可能无法访问互联网&…...

编程日记 2025/6/4 6:07:24

Franka例程学习——examples_common

编程日记 2025/5/31 16:31:56

浅谈计算机网络02 | SDN控制平面

计算机网络控制平面一、现代计算机网络控制平面概述1.1 与数据平面、管理平面的关系1.2 控制平面的发展历程二、控制平面的关键技术剖析2.1 网络层协议2.1.1 OSPF协议2.1.2 BGP协议 2.2 SDN控制平面技术2.2.1 SDN架构与原理2.2.2 OpenFlow协议2.2.3 SDN控制器一、现代计算机…...

编程日记 2025/6/4 14:29:50

Golang概述

文章目录 1. 什么是程序2. Go语言的诞生小故事2.1 Go 语言的核心开发团队--三个大牛2.2 Google 创造 Golang 的原因2.3 Golang 的发展历程 3. Golang 的语言的特点 1. 什么是程序程序：就是完成某个功能的指令的集合。画一个图理解： 2. Go语言的诞生小故…...

编程日记 2025/6/3 16:34:20

【STM8S】STM8S之IIC从机

本文最后修改时间：2018年10月30日 18:48 一、本节简介本文介绍STM8S系列如何使用IIC从机接收来自IIC主机的数据。二、实验平台编译软件：IAR for STM8 1.42.2 硬件平台：stm8s003f3p6开发板仿真器：ST-LINK 库函数版本&…...

编程日记 2025/6/4 6:07:08

SDK调用文心一言如何接入，文心一言API接入教程

一、前期准备注册百度智能云账号： 前往百度智能云官网注册一个账号。这是接入文心一言API的基础。了解API接口： 在百度智能云开放平台中，找到文心一言API的详情页，了解提供的API接口类型（如云端API、移动端API、离线…...

编程日记 2025/6/4 11:34:49

实战：FRP内网穿透部署-支持ssh、web访问

目录 1 准备工作2 公网服务器部署server端2.1 frps.ini配置 3 内网客户端部署client端3.1 frpc.ini配置（内网服务器01）3.2 frpc.ini配置（内网服务器02） 4 服务启动脚本4.1 公网服务器 server4.2 内网服务器 client 2 systemctl常见…...

编程日记 2025/6/3 21:46:44

基于Web的宠物医院看诊系统设计与实现（源码+定制+开发）在线预约平台、宠物病历管理、医生诊疗记录、宠物健康数据分析宠物就诊预约、病历管理与健康分析

博主介绍： ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台…...

编程日记 2025/6/1 15:27:19

Pytorch基础教程：从零实现手写数字分类

文章目录 1.Pytorch简介2.理解tensor2.1 一维矩阵2.2 二维矩阵2.3 三维矩阵 3.创建tensor3.1 你可以直接从一个Python列表或NumPy数组创建一个tensor：3.2 创建特定形状的tensor3.3 创建三维tensor3.4 使用随机数填充tensor3.5 指定tensor的数据类型 4.tensor基本运算…...

编程日记 2025/6/2 22:21:32

使用Flink-JDBC将数据同步到Doris

在现代数据分析和处理环境中，数据同步是一个至关重要的环节。Apache Flink和Doris是两个强大的工具，分别用于实时数据处理和大规模并行处理（MPP）SQL数据库。本文将介绍如何使用Flink-JDBC连接器将数据同步到Doris。一、背景介绍…...

编程日记 2025/6/2 22:21:16

【深度学习】自编码器（Autoencoder, AE）

自编码器（Autoencoder, AE）是一种无监督学习模型，主要用于特征提取、数据降维、去噪和生成模型等任务。它的核心思想是通过将输入压缩到一个低维的潜在空间表示（编码过程），然后再从这个潜在表示重构输入&am…...

编程日记 2025/6/3 5:31:22

跨专业毕业论文写作

跨专业毕业论文写作是一项具有挑战性的任务，但通过合理的规划和方法，你可以顺利完成这篇论文。以下是一些关键步骤和建议，帮助你撰写一篇高质量的跨专业毕业论文。一、确定研究方向和课题选择与本科专业相关或感兴趣的研究方向：…...

编程日记 2025/6/2 22:22:21

在 Go语言中一个字段可以包含多种类型的值的设计与接种解决方案

在 Go 中，如果你希望一个字段可以包含多种类型的值，你可以使用以下几种方式来实现： ### 1. **使用空接口 (interface{})** Go 的空接口 interface{} 可以接受任何类型的值，因此，你可以将字段定义为一个空接口&#x…...

编程日记 2025/6/2 22:22:54

为AI聊天工具添加一个知识系统之32 三“中”全“会”：推理式的ISA（父类）和IOS（母本）以及生成式CMN （双亲委派）之1

本文要点和问题要点三“中”全“会”：推理式的ISA的（父类-父类源码）和IOS的（母本-母类脚本）以及生成式 CMN （双亲委派-子类实例）。数据中台三端架构的中间端(信息系统架构ISA &#xff1a…...

编程日记 2025/6/2 1:23:20

手撕Transformer -- Day6 -- DecoderBlock

手撕Transformer – Day6 – DecoderBlock 目录手撕Transformer -- Day6 -- DecoderBlockTransformer 网络结构图DecoderBlock 代码Part1 库函数Part2 实现一个解码器Block，作为一个类Part3 测试参考 Transformer 网络结构图 Transformer 网络结构 DecoderBlock 代…...

编程日记 2025/6/2 22:22:05

Docker常用命令大全

Docker容器相关命令： 创建并启动容器： docker run：创建一个新的容器并运行一个命令。例如：docker run -d -p 8080:80 nginx这将后台(-d)运行一个Nginx容器，并映射宿主机的8080端口到容器的80端口。列出容器&#x…...

编程日记 2025/6/4 3:46:48

【Linux探索学习】第二十五弹——动静态库：Linux 中静态库与动态库的详细解析

Linux学习笔记： https://blog.csdn.net/2301_80220607/category_12805278.html?spm1001.2014.3001.5482 前言： 在 Linux 系统中，静态库和动态库是开发中常见的两种库文件类型。它们在编译、链接、内存管理以及程序的性能和可维护性方面有着…...

编程日记 2025/5/29 2:26:37

Vue 实现当前页面刷新的几种方法

以下是 Vue 中实现当前页面刷新的几种方法： 方法一：使用 $router.go(0) 方法通过Vue Router进行重新导航，可以实现页面的局部刷新，而不丢失全局状态。具体实现方式有两种： 实现代码： <template&g…...

编程日记 2025/6/3 16:48:51

python mysql库的三个库mysqlclient mysql-connector-python pymysql如何选择，他们之间的区别

三者的区别 1. mysqlclient 特点： 是一个用于Python的MySQL数据库驱动程序，用于与MySQL数据库进行交互。依赖于MySQL的本地库，因此在安装时需要确保系统上已安装了必要的依赖项，如libmysqlclient-dev等。性能较好&#xff0c…...

编程日记 2025/6/4 3:37:30

【可持久化线段树】 [SDOI2009] HH的项链主席树（两种解法）

文章目录 1.题目描述2.思路3.解法一解法一代码 4.解法二解法二代码（版本一）解法二代码（版本二） 1.题目描述原题：https://www.luogu.com.cn/problem/P1972 [SDOI2009] HH的项链题目描述 HH 有一串由各种漂亮的贝壳…...

编程日记 2025/6/4 3:37:14

【C语言】线程----同步、互斥、条件变量

目录 3. 同步 3.1 概念 3.2 同步机制 3.3 函数接口 1. 同步 1.1 概念同步(synchronization)指的是多个任务(线程)按照约定的顺序相互配合完成一件事情 1.2 同步机制通过信号量实现线程间的同步信号量：通过信号量实现同步操作；由信号量来决定…...

编程日记 2025/6/4 3:39:22

15. 三数之和【力扣】--三指针

三数之和已解答中等相关标签相关企业提示给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请你返回所有和为 0 且不重复的三元组。注意&#x…...

编程日记 2025/6/2 23:24:50

大数据学习(35)- spark- action算子

&&大数据学习&& 🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一下博主哦&#x1f91…...

编程日记 2025/6/3 13:10:25

vim使用指南

🏝️专栏：计算机操作系统 🌅主页：猫咪-9527-CSDN博客 “欲穷千里目，更上一层楼。会当凌绝顶，一览众山小。” 目录一、Vim 的基本概念 1.Vim 的主要模式： 1.1普通模式 (Normal Mode) 1.2插入…...

编程日记 2025/6/3 16:02:10

Docker 镜像制作原理做一个自己的docker镜像

一.手动制作镜像启动容器进入容器定制基于容器生成镜像 1.启动容器启动容器之前我们首先要有一个镜像，这个镜像可以是从docker拉取，例如：现在pull一个ubuntu镜像到本机。 docker pull ubuntu:22.04 我们接下来可以基于这个容器进行容器…...

编程日记 2025/6/3 12:57:29

基于Java+SpringBoot+Vue的前后端分离的在线BLOG网

基于JavaSpringBootVue的前后端分离的在线BLOG网前言 ✌全网粉丝20W,csdn特邀作者、博客专家、CSDN[新星计划]导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末附源码下载链接&#x1f3…...

编程日记 2025/6/4 14:28:40

Linux网络_套接字_UDP网络_TCP网络

一.UDP网络 1.socket()创建套接字 #include<sys/socket.h> int socket(int domain, int type, int protocol);domain (地址族): AF_INET网络 AF_UNIX本地 AF_INET：IPv4 地址族，适用于 IPv4 协议。用于网络通信AF_INET6：IPv6 地址族&a…...

编程日记 2025/6/4 3:38:17