当前位置：首页 > news >正文

1、Kafka与消息队列核心原理详解

news 来源：原创 2025/8/21 0:57:33

消息队列（Message Queue, MQ）作为现代分布式系统的基础组件，极大提升了系统的解耦、异步处理和削峰能力。本文以Kafka为例，系统梳理消息队列的核心原理、架构细节及实际应用。

Kafka 基础架构及术语关系图

在这里插入图片描述

术语简要说明

Producer：消息生产者，负责发送消息到 Topic。
Broker：Kafka 实例，每台服务器可有一个或多个 Broker，负责存储和转发消息。
Topic：消息主题，逻辑分类，数据以 Topic 组织。
Partition：Topic 的分区，提升并发和吞吐量，每个分区的数据互不重复。
Replication：分区副本，提升容错性，分为 Leader 和 Follower。
Message：每条发送的消息主体。
Consumer：消息消费者，负责消费 Topic 中的数据。
Consumer Group：消费者组，组内消费者协作消费分区数据，提升吞吐量。
Zookeeper：Kafka 集群依赖 Zookeeper 存储元信息，保证系统可用性。

为什么需要消息队列？

在分布式系统中，服务之间往往需要解耦、异步和高效通信。以快递和便利店的类比，消息队列就像"中转站"，让生产者和消费者解耦：

解耦：生产者和消费者无需直接通信，通过队列中转，降低系统耦合度，便于独立扩展和维护。
异步：生产者无需等待消费者处理完毕，提升整体响应速度和系统吞吐量。
削峰填谷：高峰期消息先入队，消费者按能力慢慢处理，平滑流量压力，防止系统被突发流量压垮。
容错与可靠性：消息队列可持久化消息，防止数据丢失，提升系统健壮性。

消息队列的两种通信模式

点对点模式（P2P）：
- 每条消息只被一个消费者消费。
- 适合任务分发、工作队列等场景。
- 消息有明确的发送者和接收者，消费后即被移除。
发布/订阅模式（Pub/Sub）：
- 一条消息可被多个订阅者消费。
- 适合广播、通知、日志收集等场景。
- 生产者将消息发布到主题，所有订阅该主题的消费者都能收到消息。

Kafka简介

核心概念与机制

Segment（段文件）：分区的物理存储单元，便于管理和查找。
Offset：消息在分区内的唯一编号，消费者通过offset定位消费进度。
副本机制：每个分区可配置多个副本（Replica），提升数据可靠性和高可用性。
Leader-Follower：每个分区有一个Leader，负责读写请求，Follower同步Leader数据。

消息存储与高效查找

Kafka 在数据持久化方面采用了高效的顺序写入机制。Producer 将数据写入 Kafka 后，Kafka 会将数据直接顺序写入磁盘，避免了随机写入的低效问题。Kafka 启动时会单独开辟一块磁盘空间用于顺序写入，这也是其高并发高吞吐的关键。

Partition 结构

每个 Topic 可以分为一个或多个 Partition。Partition 在服务器上的表现形式就是一个个文件夹，每个 Partition 文件夹下包含多组 segment 文件。每组 segment 文件又包含 .index 文件、.log 文件、.timeindex 文件（早期版本中没有）。

.log 文件：实际存储消息（message）的地方。
.index 和 .timeindex 文件：为索引文件，用于高效检索消息。

如：

一个 Partition 可能有三组 segment 文件，每个 log 文件的大小相同，但存储的 message 数量可能不同（因每条 message 大小不一）。
文件命名以该 segment 最小 offset 命名，如 000.index 存储 offset 为 0~368795 的消息。
Kafka 通过分段（segment）+ 索引的方式，实现高效查找。

Message 结构

每条消息（message）在 log 文件中的结构主要包括：

offset：8 字节有序 id，唯一标识消息在 partition 内的位置。
消息大小：4 字节，描述消息体的大小。
消息体：实际存放的数据（通常已压缩），大小不定。

存储策略

Kafka 无论消息是否被消费，都会保存所有消息。对于旧数据，Kafka 提供两种删除策略：

基于时间：如默认 168 小时（7 天）后自动删除。
基于大小：如默认 1GB，超出后删除最早的数据。

需要注意：Kafka 读取特定消息的时间复杂度为 O(1)，删除过期文件并不会提升查找性能。

消息即使被消费也不会立即删除，便于多消费者组独立消费。
这种分段+索引+顺序写入的设计，是 Kafka 能够兼顾高吞吐与高效检索的核心。

消费机制与消费组

消息存储在 log 文件后，消费者即可进行消费。与生产消息类似，消费者在拉取消息时也是直接向分区的 leader 拉取数据。

Kafka 支持多个消费者组成一个消费者组（Consumer Group），每个组有唯一的 group id。组内的每个消费者可以消费同一 topic 下不同分区的数据，但同一分区的数据不会被组内多个消费者重复消费。

当消费者组内的消费者数量小于分区数量时，部分消费者会消费多个分区的数据，导致这些消费者的负载较重。
当消费者数量多于分区数量时，多出来的消费者不会分配到任何分区，不参与消费。
实际应用中，建议消费者组的 consumer 数量与 partition 数量一致，以充分利用并发能力。

offset 查找与高效检索

Kafka 通过 segment + offset + 稀疏索引 + 二分查找 + 顺序查找等机制，实现高效的数据定位。查找某个 offset 的消息流程如下：

先定位 offset 所在的 segment 文件（利用二分法查找）。
打开该 segment 的 .index 文件，查找小于或等于目标 offset 的最大相对 offset 条目，获取其物理偏移量。
从该物理位置开始顺序扫描 log 文件，直到找到目标 offset 的消息。

这种机制依赖 offset 的有序性和稀疏索引，极大提升了查找效率。

offset 管理

每个消费者需要记录自己消费到的位置（offset）。

早期 Kafka 版本将 offset 存储在 Zookeeper 中，易导致重复消费且性能有限。
新版本中，offset 已直接存储在 Kafka 集群的 __consumer_offsets 这个特殊 topic 中，支持断点续传和高效管理。

应用场景

日志收集与分析：集中采集应用日志，实时分析与监控。
流式数据处理：与Spark、Flink等流处理框架集成，实现实时大数据分析。
消息驱动架构：微服务间异步通信，解耦业务模块。
事件溯源与审计：持久化事件流，便于追踪和回溯。

优缺点分析

优点：

高吞吐、低延迟，适合大规模数据流转。
分布式架构，易于横向扩展。
支持消息持久化和多副本，数据可靠性高。
灵活的消费模型，适应多种业务场景。

缺点：

依赖Zookeeper（或KRaft），运维复杂度较高。
消息顺序只在分区内保证，跨分区无序。
不适合极端低延迟、强事务场景。

总结

消息队列通过解耦、异步和削峰，极大提升了系统的弹性和可维护性。Kafka作为业界主流消息中间件，凭借高吞吐、分布式和高可用特性，成为大规模数据流转的首选。理解其原理和架构，有助于更好地设计和优化分布式系统。

1、Kafka与消息队列核心原理详解

消息队列（Message Queue, MQ）作为现代分布式系统的基础组件，极大提升了系统的解耦、异步处理和削峰能力。本文以Kafka为例，系统梳理消息队列的核心原理、架构细节及实际应用。 Kafka 基础架构及术语关系图术语简要说明 Produce…...

编程日记 2025/8/21 0:57:33

【Linux系统】线程安全

线程安全和重入问题概念线程安全：多个线程在访问共享资源时，能够正确地执行，不会相互干扰或破坏彼此的执行结果。一般而言，多个线程并发同一段只有局部变量的代码时，不会出现不同的结果。但是对全局变量或者静态变…...

编程日记 2025/8/19 22:11:17

什么是gitlab自动部署，怎么配置gitlab自动部署

在现代软件开发流程中，自动化部署是提高效率和确保软件质量的关键环节。GitLab作为一个强大的DevOps平台，提供了完整的自动部署工具，帮助开发团队实现代码从编写到生产的无缝转换。本文将详细解析GitLab的自动部署功能是什么，如何进行操作，以及这一功能的实用性评估，帮助…...

编程日记 2025/8/18 13:05:46

Android开发-工程结构

在进行Android应用开发时，了解并掌握项目的工程结构是非常重要的一步。一个典型的Android项目由多个模块组成，每个模块又包含不同的目录和文件，它们各自承担着特定的功能。本文将带你深入了解Android Studio生成的默认项目结构，并…...

编程日记 2025/8/18 13:05:44

典籍知识问答模块AI问答功能feedbackBug修改+添加对话名称修改功能

1.feedbackBug修改由于原先定为enum类型，导致无法正常评价，一直报错Data truncated for column feedback at row 1，将其修改为varchar类型，而类型选择在代码中实现 QAService代码修改后如下： 2.添加对话名称修改功…...

编程日记 2025/8/21 0:53:34

极狐Gitlab 里程碑功能介绍

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网里程碑 (BASIC ALL) 极狐GitLab 中的里程碑是一种跟踪议题和合并请求的方法，这些请求是为了在特定时间段内实现更…...

编程日记 2025/8/18 13:05:40

信奥赛CSP-J复赛集训（DP专题）（37）：P4170 [CQOI2007] 涂色

信奥赛CSP-J复赛集训（DP专题）（37）：P4170 [CQOI2007] 涂色题目描述假设你有一条长度为 5 5 5 的木板，初始时没有涂过任何颜色。你希望把它的 5 5 5 个单位长度分别涂上红、绿、蓝、绿、红色&#xff0c…...

编程日记 2025/8/18 13:05:37

代码随想录算法训练营第五十六天| 图论2—卡码网99. 岛屿数量（dfs bfs）

假期归来继续刷题，图论第二天，主要是进一步熟悉dfs 和 bfs 的运用。 99. 岛屿数量（dfs） 99. 岛屿数量 ACM模式还是需要练，不过现在输入输出的感觉已经比较熟悉了。首先是要按照输入搭建一个grid，然后有一…...

编程日记 2025/8/20 7:35:29

iOS开发架构——MVC、MVP和MVVM对比

文章目录前言MVC（Model - View - Controller）MVP（Model - View - Presenter）MVVM（Model - View - ViewModel） 前言在 iOS 开发中，MVC、MVVM、和 MVP 是常见的三种架构模式，它们主…...

编程日记 2025/8/20 20:17:53

文章目录 5. pretty6. matterIt does not matter ...7. stage8. draw... draw attention ...5. pretty 23个大满贯单打冠军，传奇网球运动员 WIlliams 曾经说过： I’ve always been pretty confident in my abilities. 翻译：我一直对自己的能力很有信心。分析：在本句中，“…...

编程日记 2025/8/21 0:51:21

精益数据分析（44/126）：深度解析媒体网站商业模式的关键要点

精益数据分析（44/126）：深度解析媒体网站商业模式的关键要点在创业与数据分析的探索道路上，我们不断挖掘不同商业模式的核心要素，今天将深入剖析媒体网站商业模式。希望通过对《精益数据分析》相关内容的解读&#xf…...

编程日记 2025/8/18 13:05:30

【回眸】QAC使用指南——导出 Dashboard Report个性化定制Report

前言按错误级别导出Dashboard的报告导出Dashboard个性化定制报告添加个性化设计导出个性化报告（HTML/PDF/XML） 过滤级别错误后记前言 QAC除了导出常规的报告之外，还可以导出Dashboard的报告（XML格式或者PDF格式&…...

编程日记 2025/8/20 12:24:29

高铁座位指示灯系统技术深度解析：从物联网到智慧出行的实践路径

摘要高铁座位指示灯系统作为铁路数字化转型的核心场景，通过物联网、实时数据同步等技术，实现了客票系统与列车座位状态的动态联动。本文结合权威技术文档与现场实践，从系统架构、数据交互、工程实现等维度展开深度解析，并探讨其…...

编程日记 2025/8/19 15:12:33

ReSearch：强化学习赋能大模型，推理与搜索的创新融合

ReSearch：强化学习赋能大模型，推理与搜索的创新融合大语言模型（LLMs）的推理能力不断提升，却在与外部搜索结合处理复杂问题时遇阻。本文提出的ReSearch框架，借助强化学习让LLMs学会将搜索融入推理&#xf…...

编程日记 2025/8/19 22:59:09

python的selenium操控浏览器

咱们以操控谷歌浏览器为例子各系统谷歌浏览器及其工具最新版本下载地址 Chrome for Testing availability 查看谷歌浏览器版本设置->关于Chrome->查看当前谷歌浏览器版本下载与谷歌浏览器版本对应的chromedriver 注意：与谷歌浏览器版本一模一样的不一定…...

编程日记 2025/8/20 23:33:07

1、PLC控制面板 - /自动化与控制组件/plc-control-panel

76个工业组件库示例汇总 PLC控制系统监控面板这是一个用于PLC控制系统监控面板的自定义组件，提供了PLC编程与自动化控制逻辑设计的可视化监控界面。组件采用工业风格设计，包含实时数据展示、系统状态监控、控制功能以及报警和日志记录等功能。功能特…...

编程日记 2025/8/18 14:47:06

LeetCode 热题 100 279. 完全平方数

LeetCode 热题 100 | 279. 完全平方数大家好，今天我们来解决一道经典的动态规划问题——完全平方数。这道题在 LeetCode 上被标记为中等难度，要求找到和为给定整数 n 的完全平方数的最少数量。问题描述给定一个整数 n，返回和为 n 的完全…...

编程日记 2025/8/21 0:55:41

USB学习【2】通讯的基础-反向不归零编码

一.写在前面所有的通讯协议，发送端和接收端必须按照同一节奏发送信号和接受信号才能保证通讯的正常进行，否则会出现错位。这个节奏用我自己的话说：时间卡尺。串口协议是通过约定好波特率来进行解析信号。IIC是专门有一个时钟线作为时间卡…...

编程日记 2025/8/21 0:57:33

Polygon Miden网络：具有客户端执行的边缘区块链

1. 引言 LambdaClass与Miden已合作超过18个月，这段合作关系始于帮助 Miden 开发客户端，为 Miden 网络提供交易执行和证明的支持。随着时间推移，双方的合作不断加深，工作也扩展到了协议和节点的开发上，涵盖了多个方面。…...

编程日记 2025/8/21 0:55:39

临床智能体AI与环境感知AI的融合：基于python的医疗自然语言处理深度分析

引言医疗领域的数智化进程正以前所未有的速度推进，人工智能技术的应用尤为显著。随着大型语言模型（LLMs）的迅猛发展，医疗AI已从简单的辅助工具升级为复杂的智能体系统。临床智能体AI与环境感知AI的融合代表了医疗AI的最新发展方向，为重塑医疗运营自然语言处理提供了全新…...

编程日记 2025/8/20 4:20:59

Spring AI Alibaba-03- Spring AI + DeepSeek-R1 + ES/Milvus + RAG 智能对话应用开发全流程

Spring AI Alibaba-03- Spring AI DeepSeek-R1 ES/Milvus RAG 智能对话应用开发全流程在[人工智能]（AI）应用中，模型通常需要访问外部资源或执行特定操作，例如数据库查询、调用外部API或执行计算任务。Spring AI，作…...

编程日记 2025/8/20 1:47:42

20250506异形拼图块（圆形、三角、正方，椭圆/半圆）的中2班幼儿偏好性测试（HTML）

背景介绍最近在写一份工具运用报告，关于剪纸难度的。所以设计了蝴蝶描边系列和异形凹凸角拼图。【教学类-102-20】蝴蝶三色图作品2——卡纸蝴蝶“满格变形图”（滴颜料按压对称花纹、原图切边后变形放大到A4横版最大化）-CSDN博客文章浏览阅读609次，点赞8次，收藏3次。【…...

编程日记 2025/8/21 0:51:17

Edge浏览器PDF字体显示错误

Edge浏览器PDF字体显示错误软件版本信息 Edge Version: 136.0.3240.50 Word Version: Microsoft Office 专业增强版2021问题描述在Word中使用多级列表自动编号, 并使用Word软件自带的导出为PDF文件功能, 在Word中显示正常的数字, 在Edge中查看PDF将会出现渲染错误的现象,…...

编程日记 2025/8/21 0:55:40

git中android studio不想提交文件

修改.gitignore文件 *.iml .gradle /local.properties /.idea/caches /.idea/libraries /.idea/modules.xml /.idea/workspace.xml /.idea/navEditor.xml /.idea/assetWizardSettings.xml /.idea/* /app/* .DS_Store /build /captures .externalNativeBuild .cxx local.propert…...

编程日记 2025/8/20 15:49:18

==和equals的区别 hashCode和equals的联系

和equals的区别： 对于没有重写equals()方法的类，和equals的作用是相同的：比较两个实例对象的地址是否相同。而对于重写了equals方法的类，equals方法则比较的是两个实例对象的内容（例如String对象）。 hashC…...

编程日记 2025/8/21 0:55:42

国联股份卫多多与国术科技签署战略合作协议

4月30日，国术科技（北京）有限公司（以下简称“国术科技”）营销中心总经理王志广、贾雷一行到访国联股份卫多多，同卫多多/纸多多副总裁、产发部总经理段任飞，卫多多机器人产业链总经理桂林展开深入…...

编程日记 2025/8/18 13:05:11

依图科技C++后端开发面试题及参考答案

请介绍你所了解的分布式系统分布式系统是由多个独立的计算节点通过网络连接组成的系统，这些节点共同协作以完成特定的任务。分布式系统的设计目标在于提升系统的性能、可扩展性、可靠性和容错性。从性能方面来看，分布式系统能够把任务分配到多个节点…...

编程日记 2025/8/18 13:05:09

【计算机网络】TCP/IP四层模型是什么？与OSI七层模型哪些区别？

TCP/IP四层模型从上到下依次为： 1.应用层 2.传输层 3.网络层 4.网络接口层一、TCP/IP四层模型： 1.应用层： 提供用户可直接使用的网络服务。如网页、邮件。关键协议： HTTP/HTTPS：网页浏览。DNS：域名解…...

编程日记 2025/8/20 4:15:53

基于计算机视觉的试卷答题区表格识别与提取技术

基于计算机视觉的试卷答题区表格识别与提取技术摘要本文介绍了一种基于计算机视觉技术的试卷答题区表格识别与提取算法。该算法能够自动从试卷图像中定位答题区表格，执行图像方向矫正，精确识别表格网格线，并提取每个答案单元格。本技术可…...

编程日记 2025/8/20 7:23:51

Java面试全栈解析：Spring Boot、Kafka与Redis实战揭秘

《Java面试全栈解析：Spring Boot、Kafka与Redis实战揭秘》【面试现场】面试官：（推了推眼镜）小张，你简历里提到用Spring Boot开发过微服务系统，能说说自动配置的实现原理吗？ 程序员&#xff1…...

编程日记 2025/8/18 14:47:02

打成jar 包以后,运行时找不到文件路径?

报错信息： FileNotFoundException。。。。。。。原因： 打成jar包后，路径src/*可能都找不到了。使用命令,查看jar包内的结构及文件路径： tar -tf XX.jar 你会看到目录结构： META-INF/ META-INF/MANIFEST.MF main/ ma…...

编程日记 2025/8/18 14:47:00

C++复习2

set、map、multiset、multimap CSTL包含了序列式容器和关联式容器： 序列式容器里面存储的是元素本身，其底层为线性序列的数据结构。比如：vector，list，deque，forward_list(C11)等。关联式容器里面存储的是…...

编程日记 2025/8/20 15:47:12

el-row el-col

参考layout布局 Element - The worlds most popular Vue UI frameworkElement，一套为开发者、设计师和产品经理准备的基于 Vue 2.0 的桌面端组件库https://element.eleme.cn/#/zh-CN/component/layout#row-attributes 一行可以看做24个 Element UI 中的 el-row 是…...

编程日记 2025/8/18 14:46:56

【旅游网站设计与实现】基于SpringBoot + Vue 的前后端分离项目 | 万字详细文档 + 源码 + 数据库 + PPT

一、项目简介旅游网站管理系统以信息化为核心，结合用户体验和系统管理功能，为旅游爱好者和管理者提供全面的服务平台。通过系统，用户可以浏览线路、收藏心仪旅游产品、下单订购，管理员则可在后台完成旅游线路管理、用户管理、订…...

编程日记 2025/8/18 14:46:54

On the Biology of a Large Language Model——论文学习笔记——拒答和越狱

本文仍然是对Anthropic团队的模型解释工作 On the Biology of a Large Language Model 的学习笔记。前几篇课见我的主页中相同标题的几篇文章本篇主要关注的是该博客中的Refusal和 Life of a Jailbreak这两部分的内容。一句话总结在这两部分中，作者展示了以下…...

编程日记 2025/8/18 14:46:53

使用OpenCV 和Dlib 实现表情识别

文章目录引言1.代码主要概述2.代码解析2.1 面部特征计算函数(1) 嘴部宽高比(MAR)(2) 嘴宽与脸颊宽比值(MJR)(3) 眼睛纵横比(EAR)(4) 眉毛弯曲比(EBR) 2.2 自定义函数显示中文2.3 表情分类逻辑2.4 实时视频处理 3.系统特点4.总结引言面部表情是人类情感交流的重要方式&#…...

编程日记 2025/8/18 3:38:06

Matplotlib 饼图

pie()：绘制饼图 Matplotlib 直方图我们也可以结合 Pandas 来绘制直方图除了数据框之外，我们还可以使用 Pandas 中的 Series 对象绘制直方图。只需将数据框中的列替换为 Series 对象 Matplotlib imshow() imshow() 可以显示灰度图像 imshow() 可以显示彩…...

编程日记 2025/8/21 0:53:33

区块链交易所开发:开启数字交易新时代

区块链交易所开发：开启数字交易新时代 ——2025年技术革新与万亿级市场的破局指南一、区块链交易所的颠覆性价值 1️⃣ 去中心化革命终结数据霸权区块链交易所通过分布式账本技术，将交易数据存储于全网节点，彻底消除中心化服务器宕机、跑路…...

编程日记 2025/8/20 19:30:21

ChatGPT对话导出工具-轻松提取聊天记录导出至本地[特殊字符]安装指南

1、edge浏览器安装tampermonkey插件 Edge浏览器安装：https://microsoftedge.microsoft.com/addons/detail/%E7%AF%A1%E6%94%B9%E7%8C%B4/iikmkjmpaadaobahmlepeloendndfphd 其他浏览器安装：https://www.tampermonkey.net/index.php?browserchrome 2、…...

编程日记 2025/8/20 14:14:18

k8s node soft lockup (内核软死锁) 优化方案

在 Kubernetes 环境中，Node 节点的内核软死锁（soft lockup）是一个严重的稳定性问题，可能导致节点无响应、Pod 调度失败甚至数据丢失。以下是针对该问题的优化策略和解决方案： 一、临时缓解措施 1. 调整内核 watchdog…...

编程日记 2025/8/18 14:46:42

【LDM】视觉自回归建模：通过Next-Scale预测生成可扩展图像（NeurIPS2024最佳论文阅读笔记与吃瓜）

【LDM】视觉自回归建模：通过Next-Scale预测生成可扩展图像（NeurIPS2024最佳论文阅读笔记与吃瓜） 《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》视觉自回归建模：通过Next-Scale预测…...

编程日记 2025/8/20 2:52:30

计算机网络-传输层

一、概述 1、逻辑通信：对等层之间的通信好像是沿着水平方向传送的，但两个对等层之间并没有一条水平方向的物理连接。 2、复用与分用 2.1传输层复用：发送方不同的应用进程可以使用同一传输层协议传送数据分用：接收方的传输层…...

编程日记 2025/8/18 14:46:37

MacOS+VSCODE 安装esp-adf详细流程

安装python3，省略vscode安装ESP-IDF插件，选择v5.2.5 版本，电脑需要能够访问github，esp-idf安装后的默认目录是: /Users/***/esp/v5.2.5/esp-idf# 启动***为省略名称在/Users/***/esp/ 目录下使用git clone 下载 esp-adf # 国内用…...

编程日记 2025/8/20 18:52:48

2025年5月HCIP题库（带解析）

某个ACL规则如下:则下列哪些IP地址可以被permit规则匹配： rule 5 permit ip source 10.0.2.0 0.0.254.255 A、10.0.4.5 B、10.0.5.6 C、10.0.6.7 D、10.0.2.1 试题答案：A;C;D 试题解析： 10.0.2.000001010.00000000.00000010.0000000…...

编程日记 2025/8/18 14:46:33