当前位置：首页 > news >正文

大数据学习（88）-zookeeper实现的高可用(HA)

news 来源：原创 2025/7/15 14:35:05

🍋🍋大数据学习🍋🍋

🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

ZooKeeper 实现高可用的能力详解

ZooKeeper 不仅是实现分布式系统高可用(HA)的关键工具，其自身也通过特定架构设计实现了高可用特性。

一、ZooKeeper 自身的高可用实现

1. 集群架构设计

典型部署：由3/5/7个节点组成的 ZooKeeper Ensemble

[Client] → [Leader]↑
[Follower] ←→ [Follower]

高可用保障：

自动Leader选举：基于ZAB协议（ZooKeeper Atomic Broadcast）
数据一致性：所有写操作通过Leader协调，保证顺序一致性
读操作扩展：Follower可直接处理读请求

2. 容错能力

集群规模	可容忍故障节点数	最少存活节点要求
3节点	1	2
5节点	2	3
7节点	3	4

选举过程示例：

节点启动后进入LOOKING状态
交换投票信息（包含zxid和serverid）
获得多数派投票的节点成为Leader
其余节点成为Follower并同步数据

3. 数据持久化

事务日志：所有写操作先写磁盘日志（顺序IO）
内存快照：定期生成snapshot加速恢复
WAL机制：Write-Ahead Logging保证数据不丢失

二、ZooKeeper 如何为其他系统提供高可用

1. 核心功能支持

功能	高可用实现案例
分布式锁	防止多节点同时操作关键资源
服务注册与发现	实时感知服务节点存活状态
配置管理	集群所有节点配置即时同步
Leader选举	确定唯一活跃节点（如HDFS NameNode）

2. 典型集成方案

(1) HDFS NameNode HA

graph LRActiveNN[Active NameNode] -->|写入| JN[JournalNodes]StandbyNN[Standby NameNode] -->|读取| JNZKFC[ZKFC] -->|监控| ZK[ZooKeeper]ZKFC --> ActiveNNZKFC --> StandbyNN

故障转移流程：

ZKFC检测到Active NN心跳超时
在ZK创建临时节点尝试接管
获得锁的Standby NN切换为Active
通过JournalNodes同步最新状态

(2) Kafka Controller选举

每个Broker在ZK注册临时节点
第一个成功创建/controller节点的Broker成为Controller
Controller故障时自动重新选举

三、ZooKeeper高可用配置实践

1. 关键配置参数

zoo.cfg：

# 集群节点配置
server.1=zk1:2888:3888  # 2888用于Leader通信，3888用于选举
server.2=zk2:2888:3888
server.3=zk3:2888:3888# 会话超时控制
tickTime=2000  # 基础时间单元(ms)
initLimit=10   # 初始化连接最长等待tick数
syncLimit=5    # 心跳请求最长等待tick数# 数据目录
dataDir=/var/lib/zookeeper
dataLogDir=/var/log/zookeeper  # 事务日志单独目录

2. 监控指标

关键监控项：

zk_avg_latency：平均请求处理时间（应<50ms）
zk_outstanding_requests：排队请求数（应<10）
zk_followers：正常Follower数量
zk_znode_count：znode总数监控

四字命令检查：

echo stat | nc localhost 2181  # 查看状态
echo mntr | nc localhost 2181  # 监控指标

四、ZooKeeper高可用的局限性

写性能瓶颈：
- 所有写操作必须通过Leader
- 集群规模扩大时写吞吐量不会增加
脑裂风险：
- 网络分区可能导致双Leader
- 需要通过quorum配置预防（N/2+1）
会话风暴：
- 大量客户端重连可能导致集群过载
- 解决方案：客户端采用指数退避重试

ZooKeeper通过其分布式共识算法和集群架构，既能保障自身服务的高可用，又能作为基础设施为其他分布式系统提供可靠的协调服务。正确配置和使用时，ZooKeeper集群可以实现99.99%以上的可用性。

这里值得说明的是：初始 LOOKING 状态的定义

在 ZooKeeper 集群中，LOOKING 是服务器节点启动或发现无 Leader 时进入的特殊状态，表示该节点正在主动寻找或参与 Leader 选举。这是 ZooKeeper 实现高可用的核心机制之一。

当当前的Leader崩溃

Follower检测到Leader心跳超时（默认2*tickTime）
所有Follower转入LOOKING状态
启动新一轮选举，选择zxid最大的节点
新Leader产生后同步数据

大数据学习（88）-zookeeper实现的高可用(HA)

🍋🍋大数据学习🍋🍋 🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一…...

编程日记 2025/7/15 14:35:05

自然语言处理（5）—— 中文分词

中文分词的基本原理及实现 1. 什么是词2. 基本原理3. 发展趋势：多数场景无需显式分词信息处理的目标是使用计算机能够理解和产生自然语言。而自然语言理解和产生的前提是对语言能够做出全面的解析。汉语词汇是语言中能够独立运用的最小的语言单位，是语…...

编程日记 2025/7/14 17:29:15

MP4音视频格式

1.MP4 MP4是一种用于封装音视频/字幕/图片/章节信息等数据的多媒体容器格式，是MPEG-4系列的成员之一 2.文件结构 MP4由一层层的嵌套Box（atom）组成 [ size (4 bytes) ][ type (4 bytes)][ payload (嵌套box或者数据) ] 3.常见Box 类型名称…...

编程日记 2025/7/14 21:55:09

NO.59十六届蓝桥杯备战|基础算法-前缀和|一维前缀和|最大子段和|二维前缀和|激光炸弹(C++)

前缀和与差分的核⼼思想是预处理，可以在暴⼒枚举的过程中，快速给出查询的结果，从⽽优化时间复杂度。是经典的⽤空间替换时间的做法前缀和解法1：暴力模拟，q有几次，就套几次for循环解法2：前…...

编程日记 2025/7/15 14:29:30

Node.js 模块加载机制--详解

目录 Node.js 模块加载机制详解 1. 什么是模块？ 2. 模块加载顺序 3. 核心模块加载 4. 自定义模块加载 5. 目录作为模块（index.js） 6. require.resolve() 查找模块路径 7. module 对象解析 8. require.cache 机制（避免重复…...

编程日记 2025/7/15 12:58:38

Live555+Windows+MSys2 编译Androidso库和运行使用（三，实战篇）

文章目录先上效果图VLC中打开日志权限cmakelist 和gradle建议直接去git查看源代码ui下一篇视频预览和采集先上效果图 VLC中打开日志 com.mq.qrtspclient E mystream stream, from the file /storage/emulated/0/Android/data/com.mq.qrtspclient/files/…...

编程日记 2025/7/15 13:16:03

验证码通过“Canvas 绘制”与“Base64 图片”渲染两种不同的实现方式显示

文章目录 🎉验证码通过“Canvas 绘制”与“Base64 图片”渲染两种不同的实现方式显示一、Canvas 绘制：接口回调“字符串”通过绘制的方式显示到前端✨1、前端代码（Canvas 绘制）：包含验证码区域、绘制验证码方法&#x…...

编程日记 2025/7/15 14:30:25

FALL靶场通关攻略

1，下载好靶机后打开，通过kali扫描靶机ip和端口，得到靶机ip为192.168.50.144 2，扫描目录 3，访问靶机 4，访问扫描到的test.php,得到缺少GET请求参数的提示 5，使用FUZZ来扫出参数为file 6&#xff…...

编程日记 2025/7/15 14:33:02

(学习总结31)Linux 进程地址空间与进程控制

Linux 进程地址空间与进程控制进程地址空间Linux 进程地址空间分布虚拟地址空间和页表创建子进程与写时拷贝权限访问缺页中断 Linux 虚拟内存管理mm_struct 内存描述符区域划分vm_area_struct 独立虚拟内存区域虚拟地址空间的作用进程控制进程创建fork 函数介绍写时拷贝作用…...

编程日记 2025/7/15 14:14:45

基于Springboot的网上订餐系统【源码】+【PPT】+【开题报告】+【论文】

网上订餐系统是一个基于Java语言和Spring Boot框架开发的Web应用，旨在为用户和管理员提供一个便捷的订餐平台。该系统通过简化餐饮订购和管理流程，为用户提供快速、高效的在线订餐体验，同时也为管理员提供完善的后台管理功能，帮助…...

编程日记 2025/7/15 13:33:31

Axure设计之中继器表格——拖动行排序教程（中继器）

一、原理介绍在Axure中实现表格行的拖动排序，主要依赖于中继器的排序事件。然而要实现拖动效果，就必须结合动态面板，因为动态面板可以设置拖动事件，之所以使用动态面板或许是因为它可以更灵活地处理位置变化。用户拖动行时&…...

编程日记 2025/7/15 13:06:08

GAUSSDB 分布式存储机制深度解析

GAUSSDB 分布式存储机制深度解析一、核心机制概览 GAUSSDB 的分布式存储通过数据分片、多副本管理和全局事务控制实现高可用与水平扩展。以下为关键机制详解： 二、数据分片（Sharding） 1. 分片策略 GAUSSDB 支持多种分片规则&#xff…...

编程日记 2025/7/15 13:51:22

目录一、ELMo 2018 训练目标二、GPT-1 2018 训练目标三、BERT 2018 训练目标四、Ernie —— baidu 2019 五、Ernie —— Tsinghua 2019 六、GPT-2 2019 七、UNILM 2019 八、Transformer - XL & XLNet 2019 1.模型结构 Ⅰ、循环机制 Recurrence Mechanism Ⅱ、相对位置…...

编程日记 2025/7/15 12:38:09

汽车加气站操作工证书报考条件是什么？

关于汽车加气站操作工的资格证书： 一、核心证书要求 CNG充装人员上岗证这是加气站加气工的核心资质证书，需通过专业培训并考核。该证书由相关部门颁发，证明持证人具备从事CNG（压缩天然气）充装操作的专业技能&#xf…...

编程日记 2025/7/15 14:32:10

材质及制作笔记

基本流程： 建中模——zb雕刻高模——maya拓扑低模——拆uv——sp烘焙贴图——sp绘制材质——渲染 1 材质贴图： diffuse/albedo/basecolor：漫反射 reflection/specular：反射 metalness：金属度 glossiness&#xf…...

编程日记 2025/7/14 23:45:09

Opencv 图像读取与保存问题

本文仅对 Opencv图像读取与保存进行阐述，重在探讨图像读取与保存过程中应注意的细节问题。 1 图像读取首先看一下，imread函数的声明： // C: Mat based Mat imread(const string& filename, int flags1 );// C: IplImage based IplImage*…...

编程日记 2025/7/15 14:13:47

Flutter 2025生态全景：从跨端到嵌入式开发的新机遇

一、技术演进：从"一次编写多端运行"到"全场景覆盖" 1.1 渲染引擎革命：Impeller 2.0的性能突破 // 启用Impeller的配置示例（android/app/build.gradle） def enableImpeller true android {defaultConfig {…...

编程日记 2025/7/15 14:33:53

Idea中诡异的文件编码问题：设置fileCodeing为UTF8但不生效

在fileCoding配置了编码utf-8，右下角的文件里编码格式却是ISO-8859-1，git后到远程仓库里却是ISO-8859-1的乱码，怎么修改都不生效，重启也不行，恶心的不行。最后发现修复方案是： 1. 先随便做个变更&#x…...

编程日记 2025/7/15 14:22:27

Linux中逻辑卷的使用、扩容与磁盘配额

目录一.逻辑卷概述 1.普通分区的优缺点 2.逻辑卷的优点 3.逻辑卷概述二.逻辑卷的创建 1.逻辑卷相关命令 2.创建步骤三.逻辑卷的扩容 1.扩容步骤四.磁盘配额 1.概念及注意点 2.使用条件 3.相关命令一.逻辑卷概述 1.普通分区的优缺点普通分区优点&#xff1a…...

编程日记 2025/7/15 13:03:20

Java版Manus实现来了，Spring AI Alibaba发布开源OpenManus实现

此次官方发布的 Spring AI Alibaba OpenManus 实现，包含完整的多智能体任务规划、思考与执行流程，可以让开发者体验 Java 版本的多智能体效果。它能够根据用户的问题进行分析，操作浏览器，执行代码等来完成复杂任务等。项目源码及…...

编程日记 2025/7/15 13:59:27

关于IP免实名的那些事

IP技术已成为个人与企业保护隐私、提升网络效率的重要工具。其核心原理是通过中介服务器转发用户请求，隐藏真实IP地址，从而实现匿名访问、突破地域限制等目标。而“免实名”代理IP的出现，进一步简化了使用流程，用户无需提交身份信…...

编程日记 2025/7/15 13:07:14

从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.2.3实战案例：在笔记本电脑上运行轻量级LLM

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲实战案例：在笔记本电脑上运行轻量级LLM2.2.3 模型架构设计与实现1. 环境与工具准备1.1 硬件要求1.2 软件栈选择2. 轻量级模型架构设计2.1 模型参数配置2.2 关键技术优化3. 实战流程3.1 数据准备流程3.2…...

编程日记 2025/7/15 13:35:24

Labview信号分析系统（含报告）

1.摘要本文详细介绍了基于LabVIEW的轴承故障信号分析系统的设计与实现。该系统以凯斯西储大学轴承驱动端的振动信号为研究对象，涵盖了正常信号以及内圈、滚珠、外圈三种故障信号的分析。系统可以对信号进行滤波、时域分析、频域分析和时频域分析等。系统的功能如下…...

编程日记 2025/7/15 13:17:46

基于FastAPI与Kimi AI的智能聊天应用开发实践

一、项目概述本文介绍一个基于现代Web技术栈的智能对话系统，前端采用响应式设计实现聊天界面，后端通过FastAPI框架构建高性能API服务，集成Moonshot AI大语言模型实现智能对话功能。系统具备完整的消息交互流程，支持参数定制化配…...

编程日记 2025/7/15 14:00:22

Android 蓝牙/Wi-Fi通信协议之：经典蓝牙（BT 2.1/3.0+）介绍

在 Android 开发中，经典蓝牙（BT 2.1/3.0）支持多种协议，其中 RFCOMM/SPP（串口通信）、A2DP（音频流传输）和 HFP（免提通话）是最常用的。以下是它们在 Android 中的…...

编程日记 2025/7/15 13:50:26

介绍FRAMES：一个统一的检索增强生成评估框架

引言大型语言模型（LLMs）在认知任务上取得了显著进步，检索增强生成（RAG）技术成为提升模型性能的重要方法。然而，现有的评估方法往往孤立地测试模型的检索能力、事实性和推理能力，无法全面反映模…...

编程日记 2025/7/15 13:08:34

云钥科技多通道工业相机解决方案设计

项目应用场景分析与需求挑战 1. 应用场景 ‌目标领域‌：工业自动化检测（如精密零件尺寸测量、表面缺陷检测）、3D立体视觉（如物体建模、位姿识别）、动态运动追踪（如高速生产线监控）等。 ‌核心…...

编程日记 2025/7/9 13:19:01

微信小程序逆向开发

一.wxapkg文件如何查看微信小程序包文件： 回退一级点击进入这个目录这个就是我们小程序对应的文件 .wxapkg概述 .wxapkg是微信小程序的包文件格式，且其具有独特的结构和加密方式。它不仅包含了小程序的源代码，还包括了图像和其他资源文…...

编程日记 2025/7/11 15:04:32

Debian ubuntu源

配置文件路径 /etc/apt/sources.list 阿里 deb http://mirrors.aliyun.com/ubuntu/ $(lsb_release -cs) main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ $(lsb_release -cs) main restricted universe multiverse deb http://mirrors.aliyun.…...

编程日记 2025/7/5 18:25:37