当前位置： 首页 > news >正文

Zookeeper的作用详解

news 来源：原创 2025/8/23 15:14:05

Zookeeper作为分布式协调服务，在分布式系统中承担核心协调角色，其作用可归纳为以下核心功能模块：

一、分布式协调与同步

  1. 分布式锁管理

    • 提供独占锁和共享锁，通过创建临时顺序节点实现锁的公平竞争。例如，客户端在/distribute_lock下创建临时顺序节点，编号最小的节点获得锁，释放时删除节点。
    • 支持共享锁（读写锁），实现读操作的并行性和写操作的互斥性。

  2. 队列管理

    • 同步队列：所有成员就绪后触发操作，适用于批处理任务。
    • 异步队列（FIFO） ：使用持久顺序节点（PERSISTENT_SEQUENTIAL），按创建顺序消费消息。
二、配置管理
  • 集中式配置存储：将配置信息存储在Zookeeper的ZNode中，所有节点通过监听（Watcher）机制实时获取更新，保证配置一致性。
  • 动态更新：配置变更后，Zookeeper自动通知所有监听客户端，无需重启服务。
三、集群管理
  • 节点状态监控：利用临时节点（EPHEMERAL）监控机器存活状态。节点宕机时，临时节点自动删除，触发集群状态更新。
  • 自动容错：检测新节点的加入或旧节点的退出，动态调整集群成员列表。
四、命名服务
  • 全局唯一标识：通过层次化目录结构，为资源或服务分配唯一路径名称（如服务地址、ID等），类似DNS功能。
  • 服务发现：客户端根据路径名称获取服务实例信息，常用于微服务架构。
五、 主节点选举（Leader Election）
  • 选举机制：集群节点通过创建临时顺序节点，选择编号最小的节点作为Leader，确保高可用性。
  • 故障恢复：Leader宕机后，剩余节点重新发起选举，快速恢复服务。
六、发布/订阅与通知机制
  • Watcher监听：客户端对特定ZNode设置监听，数据变更时触发通知，实现动态配置更新、事件驱动响应。
  • 负载均衡：服务提供者注册临时节点，消费者监听节点列表变化，动态调整请求分发。
七、状态同步与数据一致性
  • ZAB协议：通过原子广播协议保证集群数据一致性，实现事务的顺序执行和快速恢复。
  • 最终一致性：所有节点最终同步至相同状态，适用于分布式系统的数据一致性需求。

功能总结表格

功能模块核心作用典型应用场景实现机制
分布式锁管理协调多进程对共享资源的互斥访问分布式任务调度、资源竞争控制临时顺序节点、最小编号竞争
配置管理集中存储动态配置，实时同步更新Hadoop集群配置、微服务参数管理ZNode存储 + Watcher监听
集群管理监控节点状态，实现自动扩缩容和故障检测Kafka集群监控、HBase RegionServer管理临时节点状态跟踪
命名服务提供全局唯一资源标识，简化服务发现服务注册中心（如Dubbo）、分布式ID生成层次化目录结构
主节点选举确保集群中唯一Leader，避免单点故障HBase Master选举、Kafka Controller选举临时顺序节点竞争
队列管理实现任务队列的同步或异步执行分布式任务调度、批量数据处理顺序节点 + FIFO策略
发布/订阅动态通知数据变更，支持事件驱动架构配置热更新、服务状态广播Watcher机制
状态同步保证分布式系统数据一致性分布式数据库主从同步、事务协调ZAB协议

总结

Zookeeper通过其层次化数据模型、Watcher机制和一致性协议，为分布式系统提供了高效的协调能力。从配置管理到分布式锁，从集群监控到主节点选举，其功能覆盖了分布式系统协调的核心需求，是构建高可用、强一致系统的关键组件。

相关文章：

Zookeeper的作用详解

Zookeeper作为分布式协调服务，在分布式系统中承担核心协调角色，其作用可归纳为以下核心功能模块： 一、分布式协调与同步 分布式锁管理 提供独占锁和共享锁，通过创建临时顺序节点实现锁的公平竞争。例如，客户端在/distr…...

编程日记 2025/8/23 15:14:05

高频面试题（含笔试高频算法整理）基本总结回顾34

干货分享，感谢您的阅读！ （暂存篇---后续会删除，完整版和持续更新见高频面试题基本总结回顾（含笔试高频算法整理）） 备注：引用请标注出处，同时存在的问题请在相关博客留言…...

编程日记 2025/8/22 5:19:41

Dify 与 n8n 对比分析：AI 应用开发与自动化工作流工具的深度比较

Dify 与 n8n 对比分析：AI 应用开发与自动化工作流工具的深度比较 摘要 本文对比分析了 Dify 和 n8n 两款工具的核心定位、功能特点、适用场景及技术门槛。Dify 专注于 AI 应用开发，适合快速搭建智能客服、知识库检索等场景；n8n 则定位于通用…...

编程日记 2025/8/23 15:13:19

Systemd构建容器化微服务集群管理系统

实训背景 你是一家云计算公司的 DevOps 工程师，需为某客户设计一套基于 Docker 的微服务集群管理系统，需求如下： 容器自启管理：确保三个服务（webapp、api、redis）在系统启动时自动运行。依赖顺序控制&…...

编程日记 2025/8/23 15:12:10

手搓多模态-04 归一化介绍

在机器学习中，归一化是一个非常重要的工具，它能帮助我们加速训练的速度。在我们前面的SiglipVisionTransformer 中，也有用到归一化层，如下代码所示： class SiglipVisionTransformer(nn.Module): ##视觉模型的第二层&am…...

编程日记 2025/8/23 2:08:25

nano 编辑器的使用

nano 编辑器的使用 1. 启动 nano2. 编辑文本3. 基本操作4. 保存和退出5. 其他常用快捷键6. 高级用法 nano 是一个简单易用的文本编辑器，适合初学者使用： 1. 启动 nano 在终端中输入 nano 命令，后面可以跟上你想要编辑的文件的名称。如果文件…...

编程日记 2025/8/22 19:23:37

如何搞定学习人工智能所需的数学？

一、明确AI所需的数学核心领域 AI的数学需求并非泛泛而谈，而是集中在几个核心领域。以下是按优先级排序的关键知识点： 线性代数 核心概念：向量、矩阵、特征值分解、奇异值分解（SVD）。应用场景：图像处理&a…...

编程日记 2025/8/23 15:12:08

TCP/IP五层协议

目录 1. 五层模型结构 2. 各层核心功能与协议 (1) 应用层（Application Layer） (2) 传输层（Transport Layer） (3) 网络层（Network Layer） (4) 数据链路层（Data Link Layer） (5…...

编程日记 2025/8/23 11:43:31

解决Opencv：TypeError: points is not a numerical tuple

最近刚开始学习Opencv，跟着b站阿婆主敲代码的时候，又又又又，又出现了bug，下面听我娓娓道来~~ --------------------------------------------------------------------------（手动分界线） 首先描述一下当时…...

编程日记 2025/8/17 23:10:02

LLM-大语言模型浅谈

目录 核心定义 典型代表 核心原理 用途 优势与局限 未来发展方向 LLM（Large Language Model）大语言模型，指通过海量文本数据训练 能够理解和生成人类语言的深度学习模型。 核心定义 一种基于深度神经网络（如Transformer架…...

编程日记 2025/8/22 6:11:34

LeetCode第132题_分割回文串II

LeetCode 第132题：分割回文串 II 题目描述 给你一个字符串 s，请你将 s 分割成一些子串，使每个子串都是回文。 返回符合要求的 最少分割次数 。 难度 困难 题目链接 点击在LeetCode中查看题目 示例 示例 1： 输入&#xf…...

编程日记 2025/8/21 4:35:33

【Leetcode 每日一题】368. 最大整除子集

问题背景 给你一个由 无重复 正整数组成的集合 n u m s nums nums，请你找出并返回其中最大的整除子集 a n s w e r answer answer，子集中每一元素对 ( a n s w e r [ i ] , a n s w e r [ j ] ) (answer[i], answer[j]) (answer[i],answer[j]) 都应当…...

编程日记 2025/8/23 15:12:07

python三大库之---pandas（二）

python三大库之—pandas（二） 文章目录 python三大库之---pandas（二）六，函数6.1、常用的统计学函数6.2重置索引 六，函数 6.1、常用的统计学函数 函数名称描述说明count()统计某个非空值的数量sum()求和mea…...

编程日记 2025/8/23 15:12:06

消防车调度问题：基于Matlab的优化求解

摘要 本文聚焦消防车调度问题，介绍如何将其转化为数学模型并利用Matlab进行求解。通过建立损失矩阵，以总损失最小为目标构建线性规划模型，并针对模型求解结果可能出现的不合理情况，增加消防车到达先后次序约束条件。 关键词&…...

编程日记 2025/8/23 15:12:03

批量将 Markdown 转换为 Word/PDF 等其它格式

在工作当中，我们经常会接触到 Markdown 格式的文档。这是一种非常方便我们做记录，做笔记的一种格式文档。现在很多互联网编辑器都是支持 Markdown 格式的，编辑起文章来更加的方便简介。有时候，我们会碰到需要将 Markdown 格式的文…...

编程日记 2025/8/23 13:09:41

C语言学习笔记-9

九、结构体 构造类型： 不是基本类型的数据结构也不是指针类型， 它是若干个相同或不同类型的数据构成的集合 结构体类型： 结构体是一种构造类型的数据结构，是一种或多种基本类型或构造类型的数据的集合。 1.结构体类型定义 定…...

编程日记 2025/8/21 19:08:02

LLM 部署(1)——LLM 部署框架对比

1 Ollama 一个专注于简化大型语言模型（LLM）在本地部署和运行的开源框架。 简化部署：Ollama使用Docker容器技术来简化LLM的部署过程 捆绑模型组件：Ollama将模型权重、配置和数据捆绑到一个包中，称为Modelfile&#xf…...

编程日记 2025/8/21 18:58:15

Qt坐标体系，控件坐标的设置

Qt窗口坐标体系---平面直角坐标系（笛卡尔坐标系） 以左上角为0，0坐标原点 给Qt的某个控件，设置位置，就需要指定坐标，对应这个控件来说，坐标系原点就是相对于父控件的 如： QPushButt…...

编程日记 2025/8/18 23:52:38

大数据系列之：Kerberos

大数据系列之：Kerberos 基本概念工作流程安全特性应用场景总结加密原理Kerberos认证流程更改您的密码授予账户访问权限票证管理Kerberos 票据属性使用 kinit 获取票据使用 klist 查看票据使用 kdestroy 销毁票据.k5identity 文件描述 Kerberos 是一种网络认证协议&a…...

编程日记 2025/8/20 9:04:15

【力扣hot100题】（059）单词搜索

这道题给我最大的启示就是不要什么时候都用哈希表，偶尔也要用用数组…… 是这样，一开始还沾沾自喜的以为知道了哈希表的自己一定可以比以前傻傻用数组的我要节省空间，结果发现哈希表不能存储pair用编号存储会时间超限用数组只需要7*7的空间。…...

编程日记 2025/8/20 19:17:37

Java全栈面试宝典：锁机制与Spring生命周期深度解析

目录 一、synchronized锁状态机全解析 🔥 问题5：synchronized四态转换与性能对比 锁状态转换流程图 锁特性对比表 CAS操作示例 二、ReentrantLock与synchronized深度对比 🔥 问题6：两大锁机制对比 核心差异矩阵 生产级Re…...

编程日记 2025/8/17 19:45:52

15分钟完成Odoo18.0安装与基本配置

序言:时间是我们最宝贵的财富,珍惜手上的每个时分 Odoo18发行已半年有余，不少企业也已上至生产环境进行使用了。今天我们来看看 Odoo18的安装。 本次安装我们介绍通过阿里云服务器安装Odoo18社区版。 1.服务器准备 1.1操作系统 操作系统使用ubuntu22.04&#xff…...

编程日记 2025/8/17 19:32:14

pom导包成功，但是就是无法使用相关类，同时报错：Library:Maven ‘xxx‘ has broken path

开发环境：Intellij 2023 一、问题记录 在maven工程的pom文件导入如下某一依赖(JGit)。没有显示导包的错误，同时在maven仓库里面找到对应的包是正常下载到相应jar的。 但是就是无法引入相关的类。打开Project Structure，在Dependencies中发现…...

编程日记 2025/8/19 14:38:21

Cocos Creator 进行 Web 发布后，目录结构解析

在使用 Cocos Creator 进行 Web 发布后，生成的目录结构通常包含以下内容，下面为你详细介绍： 1. index.html 这是 Web 项目的入口 HTML 文件，它会加载所需的 JavaScript 文件和资源，从而启动游戏或应用程序。示例代码…...

编程日记 2025/8/21 2:42:34

Linux-磁盘管理

文章目录 1、查看磁盘和文件（夹）使用情况2、磁盘分区1）查看分区情况2）MBR分区3）GPT分区 3、磁盘分区格式化4、磁盘挂载1）挂载2）卸载挂载点3）永久挂载 1、查看磁盘和文件（…...

编程日记 2025/8/21 6:00:17

P1149 [NOIP 2008 提高组] 火柴棒等式（DFS）

题目描述 给你 n 根火柴棍，你可以拼出多少个形如 ABC 的等式？等式中的 A、B、C 是用火柴棍拼出的整数（若该数非零，则最高位不能是 0）。用火柴棍拼数字 0∼9 的拼法如图所示： 注意： 加号与等号…...

编程日记 2025/8/22 8:02:47

机器学习新范式：Kubernetes + Kubeflow，解锁模型训练与部署的高效密码

一、Kubernetes在机器学习模型训练与部署中的作用 Kubernetes作为一个强大的容器编排平台，为机器学习模型的训练与部署提供了以下核心支持： 分布式训练支持：Kubernetes能够自动化部署和管理PyTorch等机器学习框架的分布式训练任务。通过利用…...

编程日记 2025/8/20 10:11:53

testflight上架ipa包-只有ipa包的情况下如何修改签名信息为苹果开发者账户对应的信息-ipa苹果包如何手动改签或者第三方工具改签-优雅草卓伊凡

testflight上架ipa包-只有ipa包的情况下如何修改签名信息为苹果开发者账户对应的信息-ipa苹果包如何手动改签或者第三方工具改签-优雅草卓伊凡 直接修改苹果IPA包的签名和打包信息并不是一个推荐的常规做法，因为这可能违反苹果的开发者条款，并且可能导致…...

编程日记 2025/8/21 19:23:12

SpringSecurity框架入门

简介 官网 Spring Security是一个Java框架，用于保护应用程序的安全性。它提供了一套全面的安全解决方案，包括身份验证、授权、防止攻击等功能。Spring Security基于过滤器链的概念，可以轻松地集成到任何基于Spring的应用程序中。它支持多种…...

编程日记 2025/8/18 1:20:03

AIDD-人工智能药物设计-双扩散模型结合多目标优化策略助力3D小分子药物设计

Adv. Sci. | 双扩散模型结合多目标优化策略助力3D小分子药物设计 药物发现中，如何精准且高效地设计具有理想物理化学性质的潜在药物分子，对当前的研究水平来说仍然是一项重大挑战。近年来，基于深度学习的全新分子生成（de novo molecular generation）方法取得了显著进展，…...

编程日记 2025/8/19 22:45:12

Python面向对象编程 - 接口隔离原则(ISP)

1. 原则定义 接口隔离原则(Interface Segregation Principle, ISP) 是SOLID原则中的"I"，核心思想是： 客户端不应该被迫依赖它们不使用的接口 即：多个特定功能的接口比一个通用接口更好 2. 核心思想 将臃肿的接口拆分为更小、更具…...

编程日记 2025/8/21 15:45:28

mac安装浏览器闪退处理

安装 Chrome或edge后打开浏览器出现闪退，是因为权限不够。 以下是针对edge的处理方法。 sudo chown -R $(whoami) ~/Library/Application\ Support/Microsoft\ Edge sudo chmod -R 755 ~/Library/Application\ Support/Microsoft\ Edge 原因分析： 在…...

编程日记 2025/8/21 1:38:00

408 计算机网络 知识点记忆（5）

前言 本文基于王道考研课程与湖科大计算机网络课程教学内容，系统梳理核心知识记忆点和框架，既为个人复习沉淀思考，亦希望能与同行者互助共进。（PS：后续将持续迭代优化细节） 往期内容 408 计算机网络 知识…...

编程日记 2025/8/22 1:14:37

Java面试黄金宝典38

1. TIME_WAIT 和 CLOSE_WAIT 的区别 定义 TIME_WAIT：是主动发起关闭连接操作的一方，在发送最后一个 ACK 确认包之后进入的状态。此状态存在的意义在于确保对端能收到最后一个 ACK 包，同时让网络中可能残留的旧数据包自然消逝，防止其干扰后续相同四元组（源 IP、源端口、目…...

编程日记 2025/8/20 15:40:56

【算法】筛质数

目录 埃氏筛法算法原理代码 欧拉筛法算法原理代码 埃氏筛法 算法原理 算法思想就像"筛子"一样，把合数筛掉，剩下的就是质数： 从2开始，依次检查每个数如果当前数未被标记为合数，它就是质数然后把这个质数的…...

编程日记 2025/8/22 18:25:21

【IDEA】✈️自定义模板，自动生成类和方法注释

💥💥✈️✈️欢迎阅读本文章❤️❤️💥💥 🏆本篇文章阅读大约耗时三分钟。 ⛳️motto：不积跬步、无以千里 📋📋📋本文目录如下：🎁🎁&a…...

编程日记 2025/8/21 7:54:24

笔试专题（六）

文章目录 最长无重复子数组（滑动窗口）题解代码 重排字符串（贪心 构造）题解代码 牛牛冲钻五（模拟）题解代码 最长无重复子数组（滑动窗口） 题目链接 题解 1. 滑动窗口 2. 什么时候…...

编程日记 2025/8/20 19:08:29

【算法实践】跳跃游戏——计算到达终点的最小跳数

问题描述 给定一个非负数数组 arr[]，每个元素表示从该位置最多可向前跳跃的步数。 示例： 若 arr[i] 3，则可以从位置 i 跳跃到 i1、i2 或 i3。若 arr[i] 0，则无法从该位置向前跳跃。 任务：找到从数组第一个位置移动…...

编程日记 2025/8/22 2:28:09

sklearn的Pipeline

Pipeline类 介绍：Pipeline 可以将多个数据处理步骤和机器学习模型组合成一个序列，其中每个步骤都是一个变换器（Transformer）或者估计器（Estimator），并且Pipeline中的最后一个必须为估计器，其它的必须为变换器，如果Pipeline中的估计器为为分类器则整个Pipeline就作为分…...

编程日记 2025/8/19 7:34:10

Unity3D仿星露谷物语开发34之单击Drop项目

1、目标 当在道具栏中选中一个Item时，点击地面就可以实现Item的drop操作，每点击一次就drop一次，直到道具栏中Item数量不够。 这样的好处：避免每次Drop都从道具栏中拖拉Item，通过点击这种操作可以更加高效。 方法&am…...

编程日记 2025/8/17 9:38:42

每日一题（小白）回溯篇4

深度优先搜索题：找到最长的路径，计算这样的路径有多少条（使用回溯） 分析题意可以得知，每次向前后左右走一步，直至走完16步就算一条走通路径。要求条件是不能超出4*4的范围，不能重复之前的路径。…...

编程日记 2025/8/18 0:08:09

Day16——路由2

路由独有的两个生命周期钩子 作用：用于捕获路由组件的激活状态 具体名字： activated 路由组件被激活时触发 deactivated 路由组件失活时触发 现在在缓存路由组件的基础上,想要使h2中的文字透明度不断变化，在切换到别的组件时销毁控制文字不…...

编程日记 2025/8/20 9:00:10

iproute2 工具集使用详解

目录 一、iproute2 核心命令：ip二、常用功能详解1. 管理网络接口（link 对象）2. 管理 IP 地址（address 对象）3. 管理路由表（route 对象）4. 管理 ARP 和邻居缓存（neigh 对象&#xff0…...

编程日记 2025/8/19 20:04:22

C++学习之套接字并发服务器

目录 1.昨天套接字服务器的弊端 2.如何通过多进程方式实现服务器并发 3.多进程服务器-1 4.多进程服务器-2 5.多进程版程序-回收子进程被信号中断的处理 6.多线程版TCP服务处理思路 7.多线程并发服务器编写 8.为什么不能把文件描述符地址传到子线程中 9.多线程程序测试 …...

编程日记 2025/8/19 2:55:06

MCP项目开发-一个简单的RAG示例

MCP项目开发-一个简单的RAG示例 前言 前言 客户端是基于官网的例子改的，模型改成了openai库连接仅仅使用基础的RAG流程作为一个演示，包含了以下步骤 query改写搜索：使用google serper重排序：使用硅基流动的api 大模型api也使用…...

编程日记 2025/8/22 11:43:19

Windows安装ssh服务

使用管理员权限打开Windows PowerShell Add-WindowsCapability -Online -Name OpenSSH.Server~~~~0.0.1.0启动服务 Start-Service sshd 设置开机自启 Set-Service sshd -StartupType Automatic允许22端口 New-NetFirewallRule -Name “SSH” -DisplayName “SSH” -Enabled Tr…...

编程日记 2025/8/21 8:35:24

从零实现本地大模型RAG部署

1. RAG概念 RAG（Retrieval-Augmented Generation）即检索增强生成，是一种结合信息检索与大型语言模型（大模型）的技术。从外部知识库（如文档、数据库或网页）中实时检索相关信息，并将其…...

编程日记 2025/8/17 23:57:51

什么是ThreadLocal

ThreadLocal 是 Java 提供的一个工具类，它为每一个使用该变量的线程都提供了一个独立的变量副本。换句话说：每个线程都有自己的本地变量副本、互不干扰。它不是用来共享数据的，而是用来隔离数据的。 一、为什么需要 ThreadLocal？…...

编程日记 2025/8/19 2:27:33

MySQL-SQL-DQL语句、DQL基本查询、DQL条件查询、DQL分组查询、聚合函数、DQL排序查询、DQL分页查询

一. DQL DQL：Data Query Language(数据查询语言)，用来查询数据库表中的记录。 关键字：SELETE -- DQL 完整语法select字段列表 from表名列表 where条件列表 group by分组字段列表 having分组后条件列表 order by排序字段列表 limit分页参数 …...

编程日记 2025/8/20 22:10:44

vue2 vue3 响应式差异

vue2 响应式原理看这 链接: link 总结： object.defineproperty()是对属性的劫持，对属性劫持有两大缺陷 1. 需要遍历对象的所有属性，深层属性需递归，存在效率问题 2. 后添加的属性，无法获得响应式，因为劫持…...

编程日记 2025/8/18 0:27:17