Kafka 详细解读
1. Producer(生产部卷王)
职责:往 Kafka 里疯狂输出数据,KPI 是「日抛式消息海啸」
职场人设:
- 白天开会画饼,深夜写周报的奋斗逼,口头禅是「这个需求今晚必须上线!」
- 代码里的「福报」:异步发送、批量打包、压缩数据(把 100 条消息压成 1 条发),美其名曰「降本增效」
设计原理:
- 不要等待确认:默认异步发送,像极了「工作群里@老板后立刻假装下线」
- 数据分片甩锅术:通过 Key 把数据哈希到不同 Partition(相当于把需求拆成 N 个子任务甩给不同同事)
- 重试狂魔:如果某个 Broker(服务器)挂了,自动切换路线,像极了「微信找 A 同事不回复,秒切 B 同事」
必杀技:
acks=all
:要求所有副本确认后才算成功(相当于逼所有相关同事回复「收到」)- 自带缓冲区:消息先堆在内存,攒够一波再发(像极了一次性把一周的周报全发了)
2. Broker(运维部背锅侠)
职责:存数据、传数据、24小时待命,还要被甩锅
职场人设:
- 每天背黑锅的运维小哥,工位贴着「硬盘在人在,硬盘崩了提头来见」
- 信仰是「顺序写日志,随机写提桶跑路」
设计原理:
- 硬盘就是护城河:所有数据按顺序追加到日志文件(像极了把需求文档按日期堆在桌面)
- 零拷贝(Zero-Copy):直接从硬盘把数据扔给网卡,跳过内存(像极了跨部门协作不找中间人传话)
- 分区存储:一个 Topic 的数据分散在不同 Broker(相当于把项目拆成模块分给不同小组)
骚操作:
- 水位控制:如果 Consumer 消费太慢,直接拒收 Producer 的数据(像极了「需求池爆炸时对产品经理关门放狗」)
- 副本同步:Leader 把数据同步给 Follower,还要定期检查「你跟得上吗?」(像极了组长每天晨会灵魂拷问)
3. Topic(产品经理的分类癖)
职责:给数据打标签,搞「精细化运营」
职场人设:
- 每天把「用户画像」「行为日志」挂嘴边的产品经理,实际只会画脑图
- 口头禅是:「这个需求要分三个版本迭代!」
设计原理:
- 逻辑概念物理隔离:Topic 在物理上被拆成多个 Partition(相当于把「年度OKR」拆成季度 KPI)
- 生命周期管理:可以配置数据保留时间(比如7天),像极了「过期的需求文档直接扔回收站」
必杀技:
- Compact Topic:只保留每个 Key 的最新值(专治「需求反复横跳」的老板)
- 分区数决定并发度:3 个 Partition 最多 3 个 Consumer 并行消费(像极了「一个项目组最多 3 人摸鱼」)
4. Partition(技术组自闭程序员)
职责:把 Topic 拆成多个有序队列,内部严格排队,外部各自为战
职场人设:
- 坐在角落戴降噪耳机写代码的程序员,绝不参与跨部门会议
- 工位贴着「有序队列,禁止插队,违者删库跑路」
设计原理:
- Offset 编号系统:每条消息有唯一编号,像极了程序员给代码提交打 Tag
- Leader 选举:如果 Leader 挂了,从 ISR(同步副本列表)选新 Leader(像极了组长请假时组员抢话语权)
职场潜规则:
- 一个 Partition 只能被一个 Consumer 消费(同一 Group 内),像极了「一个需求只能有一个接盘侠」
- 不同 Partition 之间可以乱序,但内部必须有序(像极了「组内代码规范严格,但隔壁组随便写屎山」)
5. Consumer(测试部摸鱼党)
职责:从 Kafka 里读数据,还要假装自己很忙
职场人设:
- 每天挂着「测试环境」网页实际在刷淘宝的摸鱼达人
- 口头禅是:「这需求有 Bug,打回重做!」
设计原理:
- Pull 模式:自己控制消费速度,像极了「每天只处理 10 个 Bug,多一个就装死」
- 消费者组(Consumer Group):组内成员瓜分 Partition(像极了测试组内部推诿:「这个 Bug 归你测!」)
骚操作:
- Rebalance 风暴:当有 Consumer 加入或退出,全组停摆重新分活(像极了「新同事入职时全组开一下午欢迎会」)
- Offset 提交:可以手动提交(像极了「每天下班前才提交代码」),自动提交可能丢数据(像极了「忘记保存文档直接关电脑」)
6. ZooKeeper(HR 部监控狂)
职责:管理 Broker 元数据、Consumer Offset(早期版本)、协调选举
职场人设:
- 每天用监控摄像头对着员工的 HR,小本本记满「谁迟到谁早退」
- 口头禅是:「你的心跳呢?再不回复算你离职!」
设计原理:
- 临时节点(Ephemeral Node):Broker 和 Consumer 注册的节点是临时的,失联就删除(像极了「连续三天不交周报就踢出群聊」)
- ZAB 协议:用分布式一致性算法保证数据安全,但速度慢得像「HR 走报销流程」
职场黑话:
- Watch 机制:监听节点变化,像极了 HR 在茶水间偷听八卦
- 未来被取代:Kafka 正在用 KRaft 模式取代 ZooKeeper(像极了「公司空降新 HR 总监,旧派系瑟瑟发抖」)
7. 副本与 ISR(实习生备胎联盟)
职责:保证数据不丢,服务高可用
职场人设:
- 每天帮 Leader 干脏活的实习生,转正机会渺茫
- 口头禅是:「Leader 的文件我备份了,随时能顶上!」
设计原理:
- ISR(In-Sync Replicas):只保留能跟上 Leader 节奏的副本(像极了「只给按时交周报的实习生转正机会」)
- Unclean Leader 选举:ISR 全挂时,允许用非同步副本当 Leader(像极了「正式员工全阳了,让实习生顶班」)
职场潜规则:
- Follower 定期从 Leader 拉数据(像极了实习生偷看正式员工代码)
- Leader 挂后,ISR 里的 Follower 开启「夺权模式」(像极了组长请假时实习生抢电脑改代码)
协作大戏:一场互联网需求流水线
-
需求诞生(Producer 发消息):
产品经理(Producer)拍脑袋想出新需求 → 按 Key 哈希到某个 Partition → 扔给对应技术组(Broker) -
需求落地(Broker 存数据):
技术组把需求文档(消息)存到硬盘 → Leader 程序员(Partition Leader)同步给实习生(Follower) -
需求验收(Consumer 消费):
测试组(Consumer Group)从不同 Partition 领任务 → 摸鱼党 A 测 Partition 0,摸鱼党 B 测 Partition 1 -
容灾演习(Leader 挂了):
Leader 程序员突然猝死 → HR(ZooKeeper)发起紧急选举 → 手速最快的实习生(ISR Follower)上位 -
数据安全(副本同步):
新 Leader 疯狂同步需求文档 → 跟不上节奏的实习生被踢出 ISR(「周报写不完?明天不用来了!」)
Kafka の 职场生存哲学
- 卷王法则:吞吐量至上!批量发送、顺序写盘、零拷贝,把 CPU 和硬盘往死里榨
- 摸鱼奥义:消费者自己控制节奏,拒绝被 PUSH 需求压垮
- 甩锅宝典:数据分片(Partition)+ 多副本(Replica),谁崩了都能找人背锅
- 宫斗指南:ISR 动态调整 + Leader 选举,随时准备抢活上位
相关文章:
Kafka 详细解读
1. Producer(生产部卷王) 职责:往 Kafka 里疯狂输出数据,KPI 是「日抛式消息海啸」 职场人设: 白天开会画饼,深夜写周报的奋斗逼,口头禅是「这个需求今晚必须上线!」代码里的「福报…...
Python爬虫实战:获取高考网专业数据并分析,为志愿填报做参考
一、引言 高考志愿填报是考生人生的关键节点,合理的志愿填报能为其未来发展奠定良好基础。计算机类专业作为当下热门领域,相关信息对考生填报志愿至关重要。教育在线网站虽提供丰富的计算机类专业数据,但存在反爬机制,增加了数据获取难度。本研究借助 Scrapy 爬虫技术及多…...
Ubuntu下展锐刷机工具spd_dump使用说明
spd_dump使用说明 源码地址:https://github.com/ilyakurdyukov/spreadtrum_flash 编译环境准备: sudo apt update sudo apt install git sudo apt install build-essential sudo apt install libusb-1.0-0-devIf you create /etc/udev/rules.d/80-spd…...
配置 VS Code 使用 ESLint 格式化
1、在设置里面搜索Default Formatter,下拉框里选择eslint 2、并勾选Enables ESlint as a formatter 3、再在settings.json文件中添加配置代码,如下所示: 1) 、打开 VS Code 设置 快捷键:Ctrl ,(Mac: ⌘ ,…...
极刻云搜-专业的软件网址搜索引擎
软件名:极刻云搜 版本:v1.0 软件功能:搜索实用软件和网址 之前有个全网爆火的软件叫搜软 但是它满屏广告而且很久都没更新了 我看也有好多人在求这门类似的软件 我就按照它扒了一个一模一样的 软件丑是丑了点 但是这个功能确实简单粗暴 因为用…...
android Stagefright框架
作为Android音视频开发人员,学习Stagefright框架需要结合理论、源码分析和实践验证。以下是系统化的学习路径: 1. 基础准备 熟悉Android多媒体体系 掌握MediaPlayer、MediaCodec、MediaExtractor等核心API的用法。 理解Android的OpenMAX IL(…...
vscode 打开新页签
目录 vscode 打开新页签 完整settings.json内容: vscode 打开新页签 .vscode目录中 新建settings.json 在 settings.json 文件中,添加或修改以下行: json "workbench.editor.enablePreview": false 这将禁用预览模式࿰…...
【C++编程入门】:从零开始掌握基础语法
C语言是通过对C语言不足的地方进行优化创建的,C在C语言之上,C当然也兼容C语言, 在大部分地方使用C比C更方便,可能使用C需要一两百行代码,而C只需要五六十行。 目录 C关键字 命名空间 缺省参数 缺省参数分类 函数…...
Vue中如何优雅地阻止特定标签的移除并恢复其原始位置
Vue中如何优雅地阻止特定标签的移除并恢复其原始位置 在使用 Element Plus 或 Element UI 的 <el-select> 组件时,有时我们希望根据某些条件阻止用户移除特定的标签,并且在阻止移除后将该标签重新添加到其原始位置。这在处理与子项目关联的成员时特别有用。本文将详细…...
基于Arduino的ESP8266连接OneNET云平台(MQTT协议 物模型)(二)连接云平台
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、前期准备1.1 硬件配置1.2 软件环境配置 二、接线三、核心代码3.1 总代码 三、最终效果总结 前言 本系列将以0基础新手视角,完整演示ArduinoESP…...
空间注意力和通道注意力的区别
空间注意力和通道注意力是深度学习中两种常见的注意力机制。 1. 关注维度不同 通道注意力(Channel Attention) 对特征图的每个通道分配不同的权重,强调“哪些通道更重要”。例如,在RGB图像中,可能红色…...
git 版本提交规范
Git 提交规范(Git Commit Message Convention)是为了让项目的提交历史更加清晰、可读、便于追踪和自动化工具解析。常见的规范之一是 Conventional Commits,下面是一个推荐的格式规范: 🌟 提交信息格式(Con…...
Linux的基础的操作指令
一.目录文件:在Linux中的以d开头的文件,就叫做目录文件(Directory): 二.普通的文件:在Linux中的以-r开头的文件,就叫做普通的文件,他们通常以.txt .cpp .c为后缀: 三.pwd:查看当前目录的绝对路径:查看当前所在位置的目录的绝对路径…...
级联vs端到端、全双工、轮次检测、方言语种、商业模式…语音 AI 开发者都在关心什么?丨Voice Agent 学习笔记
编者按: A16Z在《AI Voice Agents: 2025 Update》中提到: 语音是 AI 应用公司最强大的突破之一。 它是人类沟通中最频繁(也是信息密度最高的)形式,AI 也让其首次变得“可编程”。 在13期Z沙龙,我们聚焦AI…...
使用Cloudflare加速网站的具体操作步骤
要通过Cloudflare加速网站,您需要按照以下步骤进行设置和配置。这些步骤包括域名设置、接入Cloudflare、配置缓存和其他设置,以及测试网站性能。 1. 注册Cloudflare账户 访问Cloudflare官网:前往 Cloudflare官网。创建账户:点击…...
编译原理实验(四)———— LR(1)分析法
一、实验目的 掌握LR(1)分析法的基本原理与实现流程。通过构造LR(1)分析表,验证符号串是否符合给定文法规则。理解LR(1)分析中向前搜索符(Lookahead Symbol)的作用,解决移进-归约冲突。 二、实验题目 1.对下列文法,用…...
【Redis】Jedis与Jedis连接池
目录 1. Jedis 单实例连接 2. Jedis 连接池(JedisPool) 3. JedisPool 与 Jedis 的区别 4. JedisPool 线程安全 6. 使用 JedisPool 的注意事项 1. Jedis 单实例连接 在最简单的用法中,Jedis 提供了直接与 Redis 服务器连接的方式。这适合…...
MongoDB数据库的安装到入门使用详细讲解
本篇文章主要讲解MongoDB的安装使用教程及基础的数据库管理和操作能力的讲解,通过本篇文章您可以快速的掌握对MongDB数据库的基本认识及,基础开发能力。 一、MongoDB介绍 MongoDB是一款免费开源的非关系型数据库,该数据库适应于复杂关系的存储和管理,非常适合数据结构复杂…...
Argo CD
文章目录 一、什么是 Argo CD二、为什么选择 Argo CD三、Argo CD 架构1、API服务器2、存储库服务器3、应用程序控制器 四、Argo CD 的使用1、要求2、安装 Argo CD2.1、创建 argocd 命名空间2.2、部署 Argo CD2.3、验证部署是否成功 3、下载 Argo CD CLI4、发布 Argo CD 服务器5…...
ElementUI中checkbox v-model绑定值为布尔、字符串或数字类型
这篇博客介绍了在Vue.js中使用El-Checkbox组件时,如何设置和处理v-model的布尔值和类型转换。通过示例代码展示了如何设置true-label和false-label属性来改变选中状态的值,适用于需要特定类型(如字符串或整数)的场景。v-model不能…...
Wasm Client SDK线上优化
前言 随着 WebAssembly(Wasm)在前端开发中的普及,越来越多的开源项目开始在浏览器端提供高性能的逻辑处理方案。OpenIM Wasm SDK 便是其中的代表:通过将 Go 语言编写的 OpenIMSDK 核心编译为 .wasm 文件,在前端即可完成…...
Spring(第一章)
一,Spring介绍 什么是Spring 1. 轻量级:Spring 是非侵入性的 - 基于 Spring 开发的应用中的对象可以不依赖于 Spring 的 API 2. 依赖注入(DI --- dependency injection、IOC) 3. 面向切面编程(AOP --- aspect oriented programming) 4. 容器: Spring 是…...
蓝桥杯 18.分考场
分考场 原题目链接 题目描述 有 n 个人参加某项特殊考试。 为了公平,要求任何两个认识的人不能分在同一个考场。 你的任务是求出最少需要分几个考场才能满足这个条件。 输入描述 第一行:一个整数 n,表示参加考试的人数(1 ≤…...
大文件分片上传进阶版(新增md5校验、上传进度展示、并行控制,智能分片、加密上传、断点续传、自动重试),实现四位一体的网络感知型大文件传输系统
上篇文章我们总结了大文件分片上传的主要核心,但是我对md5校验和上传进度展示这块也比较感兴趣,所以在deepseek的帮助下,扩展了一下我们的代码,如果有任何问题和想法,非常欢迎大家在评论区与我交流,我需要学…...
【项目管理】成本类计算 笔记
项目管理-相关文档,希望互相学习,共同进步 风123456789~-CSDN博客 (一)知识总览 项目管理知识域 知识点: (项目管理概论、立项管理、十大知识域、配置与变更管理、绩效域) 对应&…...
Redis 事务
事务介绍 Redis 事务和 MySQL 事务在概念上类似的 把一些列的操作绑定成一组,让这一组能够批量执行 MySQL 事务 原子性:把多个操作打包成一个整体 一致性:事务执行前后数据合理 持久性:事务做出的操作都会修改硬盘 隔离性&#…...
JavaScript day5
立即执行函数 <script>(function(){ console.log//函数不需调用,立马执行 })() </script> //另外写法 <script> (function(){}()) </script> 常见的内置对象 Math console.dir()——打印对象的 使用Math中的属性——console.log(Math.…...
辛格迪客户案例 | 浙江高跖医药委托生产质量管理协同(OWL MAH)项目
一、案例概述 浙江高跖医药科技股份有限公司是一家集“研、产、销”为一体的专业化药品持证企业。高跖医药自成立之初就建立并运行着一套相对完善的质量管理体系,涵盖了药品的研发、生产监管及销售。高跖医药于2022年选择实施了辛格迪的“委托生产质量管理协同解决…...
科学养生指南:解锁健康生活新方式
在快节奏的现代生活中,健康养生已成为人们关注的焦点。科学合理的养生方式,能帮助我们增强体质、预防疾病,享受更优质的生活。 饮食是健康养生的基石。遵循 “均衡饮食” 原则,每日饮食需包含谷类、蔬菜水果、优质蛋白质和健康…...
FreeRTos学习记录--2.内存管理
后续的章节涉及这些内核对象:task、queue、semaphores和event group等。为了让FreeRTOS更容易使用,这些内核对象一般都是动态分配:用到时分配,不使用时释放。使用内存的动态管理功能,简化了程序设计:不再需…...
C++ 操作符重载Operator
C可以重载大多数操作符,如算术运算符号,-号。 位操作符<<,>> 下标符号[]等都可以重载。 重载的意思,是让这些符号,按你定义的行为来执行代码,但是这种自定义,是有限制的,必须有一…...
SBTI科学碳目标认证有什么要求?SBTI认证的好处?
SBTi(科学碳目标倡议)认证要求与好处 SBTi(Science Based Targets initiative,科学碳目标倡议)是由全球环境信息研究中心(CDP)、联合国全球契约(UNGC)、世界资源研究所&…...
RS232转Profibus DP网关:技术革新!
RS232转Profibus DP网关:技术革新! 在工业自动化领域,通讯协议的多样性为系统设计提供了灵活性,但同时也带来了不同设备间通信的挑战。其中,RS232和Profibus DP是两种广泛应用的通讯协议。RS232,作为一种串…...
XAML基本语法与例子
XAML (eXtensible Application Markup Language) 是一种基于 XML 的声明性语言,主要用于 WPF、UWP、Xamarin.Forms 和 MAUI 等框架中构建用户界面。 基本语法结构 1. 根元素和命名空间声明 <Page x:Class"MyNamespace.MyPage"xmlns"http://sch…...
map和set封装
创作中心-CSDNhttps://mpbeta.csdn.net/mp_blog/creation/editor/147238663 目录 创作中心-CSDNhttps://mpbeta.csdn.net/mp_blog/creation/editor/147238663 一、封装原理 二、改造红黑树 三、实现迭代器 四、测试 五、小tip 一、封装原理 上一篇文章我们完成了红黑…...
Java第六节:创建线程的其它三种方式(附带源代码)
作者往期文章 Java第五节:继承thread类创建线程-CSDN博客 一、实现Runnable接口 创建一个Thread02类实现Runnable接口 二、使用匿名内部类 在Main函数中匿名内部类创建线程 三、使用Lambda表达式 在Main函数中利用Lambda表达式创建一个线程 四、源代码 此项目源代…...
041-代码味道-大泥团模块
代码味道-大泥团模块 代码味道-Blob Module深度解析与C重构实践 一、Blob Module定义与特征 Blob Module(大泥团模块)是代码坏味道中的一种典型表现,指某个类或模块承担了过多不相关的职责,导致代码结构臃肿、可维护性差。其核心…...
强化学习系统学习路径与实践方法
一、学习路径规划 1. 基础巩固阶段(1-2个月) 必读教材: 《Reinforcement Learning: An Introduction》(Sutton & Barto) 第1-6章重点掌握:马尔可夫决策过程(MDP)、贝尔曼…...
CSS字体
CSS字体 CSS 中的字体样式设置是网页设计的重要部分,以下是一些关键知识点和常见用法: 1.font-family : 用于设置元素的字体系列。可以指定一个或多个字体名称作为备选项,以确保如果某个字体不可用,可以使用下一个备选…...
JDBC:数据库访问的原始接口
目录 一、JDBC 基础入门:数据库访问的原始接口 JDBC 是什么?它在 Java 中扮演什么角色? JDBC 工作原理图解(驱动 -> 连接 -> 执行 -> 关闭) 常见 JDBC 驱动类型及差异 第一个 JDBC 示例程序:连…...
使用 Electron 打包可执行文件和资源:完整实战教程
一.项目结构 项目结构建议如下: my-electron-app/ ├── example.exe ← 需打包的外部程序 ├── config.json ← 配置文件 ├── native-lib/ ← 自定义库或 DLL │ └── yourlib.dll ├── main.js …...
【网络安全】CI/CD 流水线漏洞
【网络安全】CI/CD 流水线漏洞 1. 保护您的软件管道:CI/CD 安全2. 什么是 CI/CD 以及它为何重要?2.1 持续集成(CI):构建坚实的基础2.2 持续交付(CD):准备发布2.3 持续部署࿰…...
计算机是如何工作的(上)
对于学习JavaEE初阶为什么要知道计算机是如何工作的,是因为在未来我们写代码的时候,会出现一些bug,而在代码层面是看不出来的,所以我们需要了解一些关于计算机内部是如何工作的,从而提高代码的健壮度。 计算机的组成&…...
【SF顺丰】顺丰开放平台API对接(Java对接篇)
对接前置篇: 【SF顺丰】顺丰开放平台API对接(注册、API测试篇)_顺丰api接口对接指南-CSDN博客 1.实现效果展示 2.SF顺丰开放平台,JDK资源下载。 下载地址:顺丰开放平台 3.将下载的JDK放入项目中。 4.将JDK资源引入p…...
【KWDB创作者计划】_针对KWDB时序数据库(多副本集群环境)进行压力测试
【KWDB创作者计划】_针对KWDB时序数据库(多副本集群环境)进行压力测试 1. 概述2. 压测环境部署3. 生成测试数据4. 写入性能测试5. 查询性能测试7. 总结 1. 概述 KWDB是一款主要应用于工业物联网、数字能源、车联网、智慧产业等领域的时序数据库ÿ…...
24.中医知识问答删除历史对话功能前端代码实现
前端实现对话删除功能的完整指南 功能概述 前篇文章介绍了删除历史对话的后端开发,本篇将介绍如何在前端实现一个完整的对话删除功能,包括用户确认、API调用、状态管理和错误处理等关键环节。 功能拆解 1. 用户确认机制 javascript const confirmDe…...
在Cursor编辑器上部署MCP(Minecraft Coder Pack)完整指南
MCP(Minecraft Coder Pack)是用于反编译和修改Minecraft Java版代码的工具包。本教程将详细介绍如何在Cursor编辑器中配置和运行MCP,以便高效地进行Minecraft模组开发或代码研究。 1. 准备工作 1.1 所需工具 Cursor编辑器(基于VS…...
STM32——相关软件安装
本文是根据江协科技提供的教学视频所写,旨在便于日后复习,同时供学习嵌入式的朋友们参考,文中涉及到的所有资料也均来源于江协科技(资料下载)。 Keil5 MDK安装 1.安装Keil5 MDK2.安装器件支持包方法一:离线…...
蓝牙WiFi模组rtl8821cs在Android14调
环境 SDK: AOSP14 主控:RK3576 蓝牙:RTL8821CS 先记一下官网文档关于蓝牙的资料 蓝牙 | Android Open Source Project 还在调,先看看啥情况,点赞多或者想起来记录再回来 TODO...
MCP实践第一步--磕磕碰碰搭环境
由于deepseek-r1不支持function calling,所以我们采用了deepseek-v3进行实践,模型名称为deepseek-chat,在deepseek官网获取api-key。 一、参照MCP官网设置环境 创建项目目录 uv init mcp-client # 若没有uv,则先通过pip instal…...