当前位置：首页 > news >正文

Kafka 漏消费和重复消费问题

news 来源：原创 2025/9/2 1:37:17

Kafka 虽然是一个高可靠、高吞吐的消息系统，但如果使用不当，**“漏消费”和“重复消费”**问题是非常容易发生的，尤其在业务系统中会造成数据丢失、重复写库等严重问题。

🎯 一句话理解：

Kafka 本身提供 “至多一次”、“至少一次” 和 “精确一次” 消费语义，
而漏消费和重复消费问题的根本，都是出在offset 的提交时机 和 消费逻辑的幂等性 上。

✅ 一、什么是“漏消费”？

📌 定义：

消息已经被 Kafka 成功发送、存储，但消费端没有处理这个消息 ➜ 数据丢了。

😱 常见原因：

原因	解释
❌ 消费端宕机后 offset 已经提交	offset 提交早于实际业务处理，程序崩了，消息还没处理，Kafka 以为处理了，就不再发了
❌ 没有提交 offset，重启后从更晚位置开始消费	比如 Kafka 设置 `auto.offset.reset=latest`，重启时跳过中间数据
❌ 代码异常、消息被跳过	比如 `try/catch` 没处理好，某些消息被 catch 后 silently skip 掉了
❌ 手动 seek 到错误位置	人为调整 offset 导致跳过

✅ 如何避免漏消费？

方法	操作建议
🕐 “先处理，再提交 offset”	在消费逻辑执行成功后再提交 offset（手动提交）
🧠 幂等写入逻辑	业务处理要有“可重复执行能力”，即使重试也不会出错
⚙️ 设置 `enable.auto.commit=false`	避免自动提交 offset 导致“假消费”
🧪 加日志 & 监控	每次消费都打印 offset / partition / key，方便排查是否跳过

✅ 二、什么是“重复消费”？

📌 定义：

同一条 Kafka 消息被消费端 重复消费了多次（可能是程序重启、故障、重试导致），
在业务层面就可能导致“重复下单、重复写库、重复通知用户”等问题。

😱 常见原因：

原因	解释
❌ 消费端处理成功但 offset 未提交，下次又拉一遍	比如网络闪断、服务宕机、offset 提交代码没执行到
❌ 业务处理超时/失败，Kafka 自动重试	Kafka 不知道你业务是否处理成功，offset 没提交前会一直重发
❌ 手动回滚/重新消费历史消息	如：使用 `--from-beginning`，或者重置 offset

✅ 如何避免重复消费？

方法	操作建议
✅ 业务逻辑保持幂等性	比如用唯一 id 去重（数据库主键、Redis SETNX、状态表）
✅ 使用事务机制（数据库 / Kafka Exactly Once）	如 Kafka 的事务生产 + 消费保证“精确一次”语义（需要代价较高）
✅ offset 和处理“放在一个原子操作中”	比如使用“消费 ➜ 写库 ➜ 手动提交 offset”顺序控制
✅ 设置合理的 `max.poll.records` 和超时	避免消息拉多处理不完，被重复投递

🎯 Kafka 消费语义快速对比

消费语义	说明	漏消费风险	重复消费风险
至多一次（at most once）	先提交 offset，再处理	✅ 可能漏消费	❌ 不重复
至少一次（at least once）	先处理，再提交 offset	❌ 不漏消费	✅ 可能重复
精确一次（exactly once）	Kafka + 下游系统一体事务	❌ 不漏消费	❌ 不重复（代价高）

在实际中，至少一次 + 幂等处理 是最推荐、最落地的做法 💡

🧠 实战建议：你该怎么设计避免问题？

模块	最佳实践
KafkaConsumer 配置	`enable.auto.commit=false`，自己控制提交
消费逻辑	处理成功后再提交 offset（提交失败时记得记录日志）
业务处理	幂等设计：如订单号唯一，消息去重标识
监控告警	consumer lag 监控、offset 提交率、处理失败率监控

✅ 总结一句话：

Kafka 中“漏消费”通常是 offset 提交太早，
“重复消费”则是 offset 提交太晚/失败 + 业务无幂等。
你要做的是：消费逻辑成功后再提交 offset，业务处理幂等安全。

Kafka 漏消费和重复消费问题

Kafka 虽然是一个高可靠、高吞吐的消息系统，但如果使用不当，**“漏消费”和“重复消费”**问题是非常容易发生的，尤其在业务系统中会造成数据丢失、重复写库等严重问题。 🎯 一句话理解： Kafka 本身提供 “至多一次”…...

编程日记 2025/9/2 1:37:17

1 .mysql慢查询的设置 slow_query_log ON //或 slow_query_log_file /usr/local/mysql/data/slow.log long_query_time 2 修改后重启动mysql 1.1 查看设置后的参数 mysql> show variables like slow_query%; --------------------------------------------------…...

编程日记 2025/9/1 18:55:48

Windows程序中计时器WM_TIMER消息的使用

本文章是对《Windows程序设计》这本书第八章计时器的总结，如果有时间，可以去看书里的讲解，如果时间不充裕，想马上知道计时器该如何使用，欢迎阅读本文，本文已经将计时器的干货整理完毕！ 什么是计…...

编程日记 2025/9/1 20:27:56

关于apple ios苹果mdm监管锁的漏洞与修复

前言本人从2020年开始接触苹果mdm管理系统的开发起初只是接触如何利用mdm进行app分发 23年开始开发mdm监管锁业务随着手机租赁的市场兴起 mdm监管锁系统随即而生注意本人只是分享工作过程中遇到的一些问题不接受苹果手机屏蔽以及解锁的业务此文章仅做分享使用 MDM监…...

编程日记 2025/9/1 6:18:55

使用Geotools中的原始方法来操作PostGIS空间数据库

目录前言一、原生PostGIS连接介绍 1、连接参数说明 2、创建DataStore 二、工程实战 1、Maven Pom.xml定义 2、空间数据库表 3、读取空间表的数据三、总结前言在当今数字化与信息化飞速发展的时代，空间数据的处理与分析已成为众多领域不可或缺的一环。从…...

编程日记 2025/9/1 18:25:49

C-S模式之实现一对一聊天

天天开心！！！ 文章目录一、如何实现一对一聊天？1. 服务器设计2. 客户端设计3. 服务端代码实现4. 客户端代码实现5. 实现说明6.实验结果二、改进常见的服务器高并发方案1. 多线程/多进程模型2. I/O多路复用3. 异步I/O（…...

编程日记 2025/9/1 9:24:02

Kafka Consumer Group

Kafka 消费者组（Consumer Group） 是 Kafka 的核心机制之一！理解它对你掌握 Kafka 的高可用、高吞吐、负载均衡等能力非常关键。下面我来给你完整讲一讲👇 🧠 什么是 Kafka 消费者组（Consumer Group&#x…...

编程日记 2025/9/1 9:06:57

LangChain vs LlamaIndex：大模型应用开发框架深度对比与实战指南

一、引言：大模型时代的应用开发挑战随着ChatGPT、LLaMA等大语言模型的爆发式发展，如何高效构建「大模型+垂直领域」的智能应用成为新课题。传统开发模式面临三大痛点：数据交互复杂：大模型与本地数据的融合缺乏标准化接口功能扩展困难：链式调用、工具集成需要重复造轮子…...

编程日记 2025/8/31 17:50:45

第二章:访问远程服务_《凤凰架构：构建可靠的大型分布式系统》

第二章访问远程服务 2.1 远程服务调用（RPC） 2.1.1 进程间通信机制核心方式： 管道（Pipe）：单向通信，用于父子进程信号（Signal）：异步事件通知，不…...

编程日记 2025/8/29 4:04:42

一键自动备份：数据安全的双重保障

随着数字化时代的到来，数据已成为企业和个人不可或缺的核心资产。在享受数据带来的便捷与高效的同时，数据丢失的风险也随之增加。因此，备份文件的重要性不言而喻。本文将深入探讨备份文件的重要性，并介绍两种实用的自动备份方法&a…...

编程日记 2025/9/1 19:54:03

C++11之std::is_convertible

目录 1.简介 2.实现原理 3.使用场景 4.总结 1.简介 std::is_convertible 是 C 标准库 <type_traits> 头文件中的一个类型特性（type trait），它用于在编译时检查一个类型是否可以隐式转换为另一个类型。下面的原型： temp…...

编程日记 2025/9/1 19:45:02

从零开始：在Qt中使用OpenGL绘制指南

从零开始：在Qt中使用OpenGL绘制指南本文只介绍基本的 QOpenGLWidget 和 QOpenGLFunctions 的使用，想要学习 OpenGL 的朋友，建议访问经典 OpenGL 学习网站：LearnOpenGL CN 本篇文章，我们将以绘制一个经典的三角形为例&…...

编程日记 2025/8/31 20:41:08

我的购物车设计思考：从个人项目到生产实战思考的蜕变

一、代码初体验：我踩过的那些坑还记得大二做课程设计时，我写的购物车直接用ArrayList存商品，结果改数量时遍历半天找商品。现在看你这个HashMap实现，确实清爽很多，但有几点让我想起当年惨痛经历： 1. 线程…...

编程日记 2025/8/31 17:34:16

【算法实践】算法面试常见问题——数组的波浪排序

问题描述给定一个无序整数数组，将其排列成波浪形数组。若数组 arr[0..n-1] 满足以下条件，则称为波浪形： arr[0] > arr[1] < arr[2] > arr[3] < arr[4] > ... 或 arr[0] < arr[1] > arr[2] < arr[3] > arr[4] &l…...

编程日记 2025/8/31 19:12:06

【大模型深度学习】如何估算大模型需要的显存

一、模型参数量参数量的单位参数量指的是模型中所有权重和偏置的数量总和。在大模型中，参数量的单位通常以“百万”（M）或“亿”（B，也常说十亿）来表示。百万（M）：表示…...

编程日记 2025/8/31 7:54:01

[论文阅读]PMC-LLaMA: Towards Building Open-source Language Models for Medicine

PMC-LLaMA：构建医学开源语言模型摘要最近，大语言模型在自然语言理解方面展现了非凡的能力。尽管在日常交流和问答场景下表现很好，但是由于缺乏特定领域的知识，这些模型在需要精确度的领域经常表现不佳，例如医学应用…...

编程日记 2025/8/27 6:27:26

`use_tempaddr` 和 `temp_valid_lft ` 和 `temp_prefered_lft ` 笔记250405

use_tempaddr 和 temp_valid_lft 和 temp_prefered_lft 笔记250405 以下是 Linux 系统中与 IPv6 临时隐私地址相关的三个关键参数 use_tempaddr、temp_valid_lft 和 temp_prefered_lft 的详细说明及协作关系： 📜 参数定义与功能参数作用默认值依赖关…...

编程日记 2025/9/1 9:08:48

如何设置 JVM 内存参数（-Xms、-Xmx、-Xss 等）？

JVM 内存参数用于控制 Java 虚拟机使用的内存大小和行为。以下是一些常用的 JVM 内存参数及其设置方法： 1. 堆内存 (Heap Memory): -Xms<size>: 设置 JVM 初始堆大小 (initial heap size)。例如：-Xms2g (初始堆大小为 2GB)默认值：物…...

编程日记 2025/8/31 13:08:29

【MATLAB TCP/IP客户端与NetAssist上位机双向通信实战指南】

MATLAB TCP/IP客户端与NetAssist上位机双向通信实战指南一、前言在工业控制和数据采集领域，TCP/IP通信是最常用的网络通信协议之一。MATLAB作为强大的科学计算软件，与各种上位机软件(如NetAssist)进行通信可以实现数据采集、设备控制和实时监控等功能…...

编程日记 2025/9/1 10:46:28

联合、枚举、类型别名

数据类型： 已学--整数、实数、字符、字符串、数组、指针、结构待学--向量（vector）类型：优于数组非主流的类型--联合（union）、枚举（enum） 一、联合联合类似于结构，可以容…...

编程日记 2025/8/31 11:35:51

Array 和 ArrayList 有何区别？什么时候更适合用 Array？

面试官提问： 你能简要说明 Array 和 ArrayList 之间的主要区别吗？在什么场景下更适合使用 Array？ 标准回答： 在 Java 中，Array（数组）和 ArrayList（动态数组）都可以用于存…...

编程日记 2025/9/1 6:33:58

对状态模式的理解

对状态模式的理解一、场景二、不采用状态模式1、代码2、缺点三、采用状态模式1、代码1.1 状态类1.2 上下文（这里指：媒体播放器）1.3 客户端 2、优点一、场景同一个东西（例如：媒体播放器），有一…...

编程日记 2025/8/31 23:37:20

【学Rust写CAD】31 muldiv255函数（muldiv255.rs）

源码 // Calculates floor(a*b/255 0.5) #[inline] pub fn muldiv255(a: u32, b: u32) -> u32 {// The deriviation for this formula can be// found in "Three Wrongs Make a Right" by Jim Blinn.let tmp a * b 128;(tmp (tmp >> 8)) >> 8 }代…...

编程日记 2025/9/1 16:42:27

使用VSCode编写C#程序

目录一、环境搭建：构建高效开发基础1. 安装VSCode2. 配置.NET SDK3. 安装核心扩展二、项目开发全流程1. 创建项目2. 代码编辑技巧3. 调试配置4. 高级调试技巧5. 编译与运行三、常见问题解决指南1. 项目加载失败2. IntelliSense失效3. 代码格式化4. 典型编译错误&…...

编程日记 2025/8/28 4:07:30

chromadb

chromadb是一个轻量化的向量数据库，可以和llama-index等RAG框架使用。底层基于sqllite。 Getting Started - Chroma Docs 1、安装 $pip install chromadb pip install chromadb-client --在CS模式下，如果机器A上只需要安装客户端 2、可以使用客户端…...

编程日记 2025/9/1 18:46:28

第十章: 可观测性_《凤凰架构：构建可靠的大型分布式系统》

第十章: 可观测性可观测性是现代分布式系统监控和故障排查的核心能力。本章从事件日志、链路追踪、聚合度量三个维度构建完整的可观测性体系，以下是各部分的重点解析与实践要点： 一、事件日志（Event Logging） 1. 核心目标全链…...

编程日记 2025/9/1 6:11:31

vscode和cursor对ubuntu22.04的remote ssh和X-Windows的无密码登录

这里写自定义目录标题写在前面需求的描述问题的引出昨天已使能自动登录上午我的改变UBUNTU 22.04关闭密码规则一：修改 /etc/pam.d/common-password 文件二：修改 /etc/security/pwquality.conf 文件方法三：禁用 pam_pwquality.so 模块 vscod…...

编程日记 2025/8/27 3:43:53

Mlivus Cloud SDK v2的革新：性能优化与实战解析

作为大禹智库的向量数据库高级研究员王帅旭，我在过去30多年的AI应用实战中见证了向量数据库技术的演进历程。今天，我将从专业角度深入剖析Mlivus Cloud SDK v2的架构革新，特别是针对性能瓶颈问题的突破性解决方案。本文不仅会详细解析技术原理，还将提供可操作的优化建议，帮…...

编程日记 2025/8/31 20:54:31

stl_list的模拟实现

文章目录 stl_list的模拟实现迭代器的介绍以及分类stl_list的基本接口介绍stl_list的模拟实现结点类迭代器类基本迭代器操作链表类链表基本操作结语我们今天又见面啦，给生活加点impetus！！开启今天的编程之路作者：٩( ‘ω’ …...

编程日记 2025/9/1 9:42:45

【蓝桥杯】十五届省赛B组c++

目录前言握手问题分析排列组合写法枚举小球反弹分析代码好数分析代码 R 格式分析代码宝石组合分析代码数字接龙分析代码拔河分析代码总结前言主播这两天做了一套蓝桥杯的省赛题目（切实感受到了自己有多菜&#x…...

编程日记 2025/9/1 15:58:28

变分自编码器（VAE）概念解析与用法实例：根据原图像生成新图像

目录 1. 前言 2. VAE原理 2.1 什么是VAE？ 2.2 编码器（Encoder） 2.3 重参数化技巧（Reparameterization Trick） 2.4 解码器（Decoder） 2.5 损失函数 3. Pytorch实现：根据原图像…...

编程日记 2025/9/1 10:49:05

AI随身翻译设备：从翻译工具到智能生活伴侣

文章目录 AI随身翻译设备的核心功能1. 实时翻译2. 翻译策略3. 翻译流程4. 输出格式二、AI随身翻译设备的扩展功能1. 语言学习助手2. 旅行助手3. 商务助手4. 教育助手5. 健康助手6. 社交助手7. 技术助手8. 生活助手9. 娱乐助手10. 应急助手三、总结四、未来发展趋势&#xff0…...

编程日记 2025/9/1 16:07:33

基于大模型的重症肌无力的全周期手术管理技术方案

目录技术方案文档1. 数据预处理模块2. 多任务预测模型架构3. 动态风险预测引擎4. 手术方案优化系统5. 技术验证模块6. 系统集成架构7. 核心算法清单8. 关键流程图详述实施路线图技术方案文档 1. 数据预处理模块流程图 [输入原始数据] → [联邦学习节点数据对齐] → [多模态特…...

编程日记 2025/9/1 11:09:26

Linux常用命令详解：从基础到进阶

目录一、引言二、文件处理相关命令 （一）grep指令 （二）zip/unzip指令编辑 （三）tar指令 （四）find指令三、系统管理相关命令 （一）shutdown指…...

编程日记 2025/9/1 22:38:18

【全球首发】DeepSeek谷歌版1.1.5 - 免费GPT-4级别AI工具

【全球首发】DeepSeek谷歌版1.1.5 - 免费GPT-4级别AI工具资源简介 DeepSeek谷歌版1.1.5是目前全球领先的免费AI助手，性能超越国内主流AI产品，提供类似GPT-4的智能体验。版本信息最新版本：1.1.5（2024最新版）应用…...

编程日记 2025/9/1 3:49:11

JWT认证服务

JSON Web Token（JWT）是一种用于在网络应用间安全地传递信息的紧凑、自包含的方式。以下是关于 JWT 认证服务器更详细的介绍，包括其意义、作用、工作原理、组成部分、时效性相关内容、搭建条件以及代码案例。 JWT 的意义与作用意义&#xf…...

编程日记 2025/8/29 17:44:27

Raft算法

Raft算法用于保证分布式环境下多节点数据的一致性。原理 Raft算法的主要思想是一个选主(leader selection) 的算法思想，集群种每个节点都有可能成为三种角色。三种角色 leader 对客户端通信的入口，对内数据同步的发起者，一个集群通常只…...

编程日记 2025/9/1 16:57:00

Kotlin 类委托深入解析：以 MMKV 为例看委托机制在 Android 中的巧妙应用

Kotlin 中的类委托（class delegation）是一个非常实用的特性，它允许我们将接口的实现交给另一个对象，从而简化代码，提升复用性和灵活性。本文将通过简单的 Demo 介绍类委托的基本用法，并以 Android 中的 MMK…...

编程日记 2025/9/1 18:03:43

2025年渗透测试面试题总结-某一线实验室实习扩展（题目+回答）

网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录某一线实验室实习扩展一、流量分析深度实践 1. FTP反弹定时确认包流量检测 1.1 攻击原理与特征 1.…...

编程日记 2025/8/31 11:25:15

2025大唐杯仿真3——移动性管理

仅仅是1-2之间的信息交互...

编程日记 2025/9/1 22:48:29

云原生与微服务的关系

云原生（Cloud Native）和微服务（Microservices）是现代软件开发和部署中密切相关的两个概念，它们共同推动了应用程序的架构设计、开发模式和运维方式的变革。以下是两者的关系及核心要点： 定义与核心概念云原…...

编程日记 2025/9/1 7:11:52

【百日精通JAVA | SQL篇 | 第三篇】 MYSQL增删改查

SQL得最核心就是增删改查一个后端开发，在工作中，最常见的场景就是CRUD。插入数据 insert into student values (1,zhangsan); 指定列插入数据同时多个列明之间使用逗号，来分割 insert into student (name) values (zhaoliu); 这个黑框…...

编程日记 2025/8/31 11:28:01

【leetcode】记录与查找：哈希表的题型分析

前言 🌟🌟本期讲解关于力扣的几篇题解的详细介绍~~~ 🌈感兴趣的小伙伴看一看小编主页：GGBondlctrl-CSDN博客 🔥 你的点赞就是小编不断更新的最大动力 🎆那么废话不…...

编程日记 2025/8/30 20:09:53

如何在 Windows 10 上安装 PyGame

PyGame 是 Python 编程语言中的一组跨平台模块，这意味着您可以在任何操作系统上安装它，这篇文章告诉您如何在 Windows 10 上安装 PyGame。如何在 Windows 10 上安装 PyGame？ PyGame 依赖于 Python，这意味着您必须在安装 PyGame …...

编程日记 2025/9/1 5:57:21

LVGL修改标签文本，GUI Guider的ui不生效

一.问题背景笔者最近在学习LVGL框架，同时准备使用该框架作为课程设计的一部分，于是需要从静态显示进阶到动态显示以及事件交互。一方面由于笔者是初次接触LVGL，对它并不熟悉，另一方面由于其网络上的针对性具体资料太少&a…...

编程日记 2025/8/30 18:14:10

制造装备物联及生产管理ERP系统设计与实现(代码+数据库+LW)

摘要传统办法管理信息首先需要花费的时间比较多，其次数据出错率比较高，而且对错误的数据进行更改也比较困难，最后，检索数据费事费力。因此，在计算机上安装制造装备物联及生产管理ERP系统软件来发挥其高效地信息处理…...

编程日记 2025/8/30 0:58:34

PowerPhotos：拯救你的Mac照片库，告别苹果原生应用的局限

如果你用Mac管理照片，大概率被苹果原生「照片」应用折磨过——无法真正并行操作多个图库。每次切换图库都要关闭重启，想合并照片得手动导出导入，重复文件更是无处可逃…… 直到我发现了 PowerPhotos，这款专为Mac设计的照片库管理…...

编程日记 2025/8/31 11:30:22

软件工程面试题（三十）

将ISO8859-1字符串转成GB2312编码，语句为？ String snew String(text.getBytes(“iso8859-1”),”gb2312”). 说出你用过的J2EE标准的WEB框架和他们之间的比较？ 答：用过的J2EE标准主要有：JSP&Servlet、JDBC、JNDI…...

编程日记 2025/8/31 19:18:29

Java面试黄金宝典35

1. A 和 B 两个表做等值连接 (Inner join) 怎么优化索引优化：在连接字段上创建索引，让数据库在进行等值连接时，能够快速定位匹配的记录，减少全表扫描的开销。例如，若 A 表和 B 表通过 id 字段进行连接，可在…...

编程日记 2025/9/1 21:03:32

openssl-1.0.1e.tar.gz编译安装步骤

下载与验证 openssl-1.0.1e.tar.gz下载链接：https://pan.quark.cn/s/d682551565e8 校验文件完整性（示例）： # 检查 SHA256 哈希值 sha256sum openssl-1.0.1e.tar.gz # 对比官方发布的哈希值（需从 OpenSSL 官网获取&a…...

编程日记 2025/8/30 0:41:02

🎯 一句话理解：

✅ 一、什么是“漏消费”？

📌 定义：

😱 常见原因：

✅ 如何避免漏消费？

✅ 二、什么是“重复消费”？

📌 定义：

😱 常见原因：

✅ 如何避免重复消费？

🎯 Kafka 消费语义快速对比

🧠 实战建议：你该怎么设计避免问题？

✅ 总结一句话：

相关文章：