当前位置：首页 > news >正文

Kafka - 消费者程序仅消费一半分区消息的问题

news 来源：原创 2025/7/27 16:57:52

1. 问题描述

修改安全服务状态有时逻辑正常有时候逻辑不正常，排查incident服务的日志发现消息可以正常发送到 kafka topic ，但是incident-cron 服务有时候有拉取消息的日志有时候没有日志。

kafka 生产者可以将消息正常发送到 kafka topic ，利用 kafka 消费者命令也可以正常消费消息，但是 incident-cron 消费者程序只能消费一半的分区的消息。

2. 分析问题

2.1 是否存在kafka 分区消息积压问题

利用 Python 脚本手动往 kafka topic 发送消息，发现 incident-cron 程序有时候有拉取消息的日志有时候没有。似乎跟分区有关，于是尝试指定消息发送的分区，结果配置的10个分区中，incident-cron程序只有一半分区有拉取消息的日志，另一半的分区没有。初步考虑是否存在消息积压的问题，于是后台利用命令查看 kafka 消费者组的情况，结果为kafka的每个分区都没有积压消息。

./kafka-consumer-groups.sh --bootstrap-server 10.64.32.11:9092 --describe --command-config ./jaas.conf --group  test1113

2.2 是否存在消费者组内有多个消费者程序消费消息的问题

kafka 的一个分区只能被同一个消费者组内的一个消费者消费，不同的消费者不能同时消费同一个分区的消息，如果分区的消息被消费者组中的一个消费者消费了，另一个消费者就不会消费。

因此，考虑当前消费者所在的消费者组内是否配置了多个消费者，导致发送到topic中的消息没有被当前消费者消费，而是被其他消费者消费了。

查看消费者组偏移量，消费者情况，消费者所在的broker，以及每个消费者消费的分区：

./kafka-consumer-groups.sh --bootstrap-server 10.64.32.11:9092 --describe --command-config ./jaas.conf --group  test1113

I have no name!@kafka-0:/opt/bitnami/kafka/bin$ ./kafka-consumer-groups.sh --bootstrap-server 10.64.32.11:9092 --describe --command-config ./jaas.conf --group incident-cron-incident-service-statusGROUP                                 TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                                           HOST            CLIENT-ID
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 6          1209410         1209410         0               consumer-incident-cron-incident-service-status-1-4bbd6640-b95c-4e21-9236-ded434896807 /10.65.197.47   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 7          1300214         1300214         0               consumer-incident-cron-incident-service-status-1-4bbd6640-b95c-4e21-9236-ded434896807 /10.65.197.47   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 8          1298494         1298494         0               consumer-incident-cron-incident-service-status-1-4bbd6640-b95c-4e21-9236-ded434896807 /10.65.197.47   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 9          1300379         1300379         0               consumer-incident-cron-incident-service-status-1-4bbd6640-b95c-4e21-9236-ded434896807 /10.65.197.47   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 5          1299554         1299554         0               consumer-incident-cron-incident-service-status-1-4bbd6640-b95c-4e21-9236-ded434896807 /10.65.197.47   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 4          1212035         1212035         0               consumer-incident-cron-incident-service-status-1-4a5e86cd-f141-402e-bad1-05d301e08f0a /10.65.197.48   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 1          1298821         1298821         0               consumer-incident-cron-incident-service-status-1-4a5e86cd-f141-402e-bad1-05d301e08f0a /10.65.197.48   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 0          1209955         1209955         0               consumer-incident-cron-incident-service-status-1-4a5e86cd-f141-402e-bad1-05d301e08f0a /10.65.197.48   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 2          1296901         1296901         0               consumer-incident-cron-incident-service-status-1-4a5e86cd-f141-402e-bad1-05d301e08f0a /10.65.197.48   consumer-incident-cron-incident-service-status-1
incident-cron-incident-service-status platform_INCIDENT_SERVICE_SYNC 3          1300180         1300180         0               consumer-incident-cron-incident-service-status-1-4a5e86cd-f141-402e-bad1-05d301e08f0a /10.65.197.48   consumer-incident-cron-incident-service-status-1

输出信息结果分析：所有的消费者都属于同一个消费者组 incident-cron-incident-service-status。

第一组消费者（consumer-incident-cron-incident-service-status-1-4bbd6640-b95c-4e21-9236-ded434896807）消费了分区 6、7、8、9 和 5。
第二组消费者（consumer-incident-cron-incident-service-status-1-4a5e86cd-f141-402e-bad1-05d301e08f0a）消费了分区 4、1、0、2 和 3。

该消费者组内有两个消费者，分别消费不同的分区，导致有一半分区的消息没有被 inciden-cron 消费者程序消费。

查看incident-cron 程序部署在哪些租户，结果发现有2个租户【platform 和 test0001】，也就证实了有2个消费者程序，有一半分区的消息没有被 platform 租户侧的 inciden-cron 消费者程序消费。而是被 test00001租户侧的 inciden-cron 消费者程序消费了。

[root@master01 ~]# kubectl get pods --all-namespaces -o wide | grep incident-cron

将test00001侧的 incident-cron 消费者程序关闭。

[root@master01 ~]# kubectl scale -n test00001 deployment incident-cron --replicas=0

Kafka - 消费者程序仅消费一半分区消息的问题

1. 问题描述修改安全服务状态有时逻辑正常有时候逻辑不正常，排查incident服务的日志发现消息可以正常发送到 kafka topic ，但是incident-cron 服务有时候有拉取消息的日志有时候没有日志。 kafka 生产者可以将消息正常发送到 kafka topic &#xff0c…...

编程日记 2025/7/27 16:57:52

养老院管理系统+小程序项目需求分析文档

智慧综合养老服务平台是以业务为牵引、场景为驱动，围绕“老人”业务域，持续沉淀和打磨形成适应不同养老业务发展需要的业务能力，推动业务模式升级，为养老服务提供数字化解决方案，并依托实体站点与养老机构实现线上线下…...

编程日记 2025/7/20 6:48:22

K8s 下通过prometheus监控 nginx

k8s 下有两个版本的nginx ingress 分别是 ingress nginx 以及 nginx ingress Ingress-nginx 与 Nginx-ingress - LeoZhanggg - 博客园这里我讨论的是 nginx ingress Nginx Ingress 使用Prometheus 导出数据 nginx ingress 本身支持通过支持这个提供prometheus 格式的…...

编程日记 2025/7/27 16:52:53

基于SpringBoot的京东绿谷旅游信息服务平台设计与实现（源码+定制+开发）

博主介绍： ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台…...

编程日记 2025/7/27 7:08:30

使用Redis生成全局唯一id

为了生成一个符合要求的分布式全局ID，我们可以使用 StringRedisTemplate 来实现。这个ID由三部分组成： 符号位（1 bit）：始终为0，表示正数。时间戳（31 bit）：表示从某个起始…...

编程日记 2025/7/27 16:47:15

pytorch自定义算子导出onnx

文章目录 1、为什么要自定义算子？2、如何自定义算子3、自定义算子导出onnx4、example1、重写一个pytorch 自定义算子（实现自定义激活函数）2、现有算子上封装pytorch 自定义算子（实现动态放大超分辨率模型） 1、为什么要…...

编程日记 2025/7/27 1:45:34

从搭建uni-app+vue3工程开始

技术栈 uni-app、vue3、typescript、vite、sass、uview-plus、pinia、axios 一、项目搭建 1、创建以 typescript 开发的工程 npx degit dcloudio/uni-preset-vue#vite-ts my-vue3-project2、安装sass npm install -D sass// 安装sass-loader，注意需要版本10&…...

编程日记 2025/7/26 22:54:33

波点音乐自动点击

波点音乐 import uiautomator2 as u2 import time import sys import os# 动态点击时间，打印剩余时间 def dynamic_sleep(seconds):wait_time secondsfor i in range(wait_time):print(f"Waiting... {wait_time - i} seconds remaining")sys.stdout.flu…...

编程日记 2025/7/27 16:50:12

【一篇搞定配置】wget 下载与安装（Window）

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀各种软件安装与配置_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录 1.…...

编程日记 2025/7/27 16:37:32

2025年春招修订版《C/C++笔面试系列》(1) C语言经典笔面试题(上)

C语言是嵌入式开发的常用语言，也是主要语言，很多企业在招聘嵌入式软件工程师时，C语言的熟练程度是一个重要考察点。笔试也是以C语言为主，所以想要拿到面试机会，还得通过C语言笔试，本专题总结了各大企业C语言…...

编程日记 2025/7/27 16:54:41

【042C】基于51RFID门禁系统（LCD12864显示）【Proteus仿真+Keil程序+报告+原理图】

☆、设计硬件组成：51单片机最小系统RFID读卡器4*4矩阵键盘AT24C02存储芯片LCD12864液晶显示继电器蜂鸣器LED灯。 1、设计采用STC89C52、AT89C52、AT89S52作为主控芯片，采用LCD12864液晶显示屏实时显示门禁系统； 2、系统集成两种解锁方式&am…...

编程日记 2025/7/27 16:51:03

scratch二次开发：blockly工作区垃圾桶和进度条的隐藏和显示

大家好，我是小黄。本期给大家介绍的内容是实现blockly工作区的垃圾桶和进度条的显示和隐藏实现。本次基于的项目源码大家可以关注小黄回复垃圾桶自行获取。一.垃圾桶的显示和实现。在blockly中，我们进行块的删除的时候最常用的两种方法是&#xf…...

编程日记 2025/7/27 16:56:37

【STM32】MPU6050初始化常用寄存器说明及示例代码

一、MPU6050常用配置寄存器 1、电源管理寄存器1（ PWR_MGMT_1 ） 此寄存器允许用户配置电源模式和时钟源。 DEVICE_RESET ：用于控制复位的比特位。设置为1时复位 MPU6050，内部寄存器恢复为默认值，复位结束…...

编程日记 2025/7/25 1:21:03

LDR6020驱动的Type-C接口显示器解决方案

一、引言随着科技的飞速发展，Type-C接口凭借其高速数据传输、强大的电力传输能力以及便捷的正反可插设计，正逐渐成为现代电子设备的主流接口标准。在显示器领域，Type-C接口的引入不仅简化了线缆连接，还为用户带来了更丰富的功能…...

编程日记 2025/7/25 23:36:36

Spring Boot + Android 实现登录功能

在移动互联网的今天，许多应用需要通过移动端实现与服务器的交互功能，其中登录是最常见且基础的一种功能。通过登录，用户可以获得独特的身份标识，从而访问特定的资源或服务。本篇博客将详细介绍如何使用 Spring Boot 和 Android 实…...

编程日记 2025/7/27 10:29:13

【通俗理解】边际化技巧在概率论中的应用——从公式到实例

【通俗理解】边际化技巧在概率论中的应用——从公式到实例关键词提炼 #边际化技巧 #概率论 #联合概率 #条件概率 #积分计算 #概率分布 #贝叶斯推断第一节：边际化技巧的类比与核心概念【尽可能通俗】边际化技巧，就像是你在一个复杂的概率迷宫中&am…...

编程日记 2025/7/27 16:49:37

Chen_AdaMV-MoE_Adaptive_Multi-Task_Vision_Mixture-of-Experts 译文

摘要稀疏激活的专家混合（MoE）正在成为多任务学习（MTL）的一个有前途的范例。 MoE 不是将多个任务的知识压缩到单个模型中，而是分离参数空间，仅利用给定任务类型及其输入的相关模型片段，从而提供…...

编程日记 2025/7/23 16:30:37

多线程下使用数据库 - 20241124

问题并发性较低，每秒千次但是较高一致性，比如利用数据库中的数据进行判断是否执行某个操作存在的问题是，如何只锁定判断相关的数据，而不影响数据库操作无关数据。脏读/不可重复读/幻读解决方案利用数据InnoDB引擎的LBCC和…...

编程日记 2025/7/27 16:54:41

GMAN解读（论文+代码）

一、注意力机制注意力机制与传统的卷积神经网络不同的是，前者擅长捕获全局依赖和长程关系，权重会动态调整。而后者对于所有特征都使用同一个卷积核。关于更多注意力机制内容，详见： 注意力机制、自注意力机制、多头注意力机制、通…...

编程日记 2025/7/27 16:52:53

《文件操作》

一 . 文本文件和二进制文件根据数据的组织形式，数据文件被分为了二进制文件和文本文件数据在内存中是以二进制的形式存储，如果不加转换的输出到外存的文件中，就是二进制文件。如果要求在外存上以ASCII 码的形式存储，则需要再存…...

编程日记 2025/7/27 16:51:40

【君正T31开发记录】8.了解rtsp协议及设计模式

前边搞定了驱动，先不着急直接上手撸应用层的代码，先了解一下大致要用到的东西。设计PC端先用vlc rtsp暂时H264编码（vlc好像不支持h265,这个后边我试试）的视频流，先需要支持上rtsp server，了解rtsp协议是必…...

编程日记 2025/7/23 6:02:17

C++菜鸟教程 - 从入门到精通第三节

上节课的题上节课的题,大家都做出来了吗? 看一下这道题: 题目描述 N!1*2*...*N; 例5!1*2*3*4*5120. 编程求1!2!3!...N!. 输入输入一行，只有一个整数n (1<n<10) 输出输出只有一行（这意味着末尾有一个回车符号），包括1…...

编程日记 2025/7/27 1:21:19

原生JS和CSS，HTML实现开屏弹窗

开屏弹窗常应用于打开游戏，或者打开网站的时候，跳出来在正中间，来显示一些信息，并可以设置今日不再显示 CSS代码如下 <style>#box {width: 100vw;height: 100vh;background-color: rgba(0, 0, 0, 0.2);position: relative…...

编程日记 2025/7/27 16:57:51

微软发布Win11 24H2系统11月可选更新KB5046740！

系统之家11月22日报道，微软针对Win11 24H2系统推出2024年11月最新可选更新补丁KB5046740，更新后系统版本后升至26100.2454，此次更新后修复当应用程序以PDF和XLSX格式导出图表对象时停止响应、无法使用API查找旋转信息等问题。以下小编将给大家…...

编程日记 2025/7/26 3:37:01

【Rabbitmq篇】高级特性----TTL，死信队列，延迟队列

目录一.TTL 1.设置消息的TTL 2.设置队列的TTL 3.俩者区别二.死信队列定义： 消息成为死信的原因： 1.消息被拒绝（basic.reject 或 basic.nack） 2.消息过期（TTL） 3.队列达到最大长度编辑 …...

编程日记 2025/7/27 16:51:03

【Linux】gcc/g++使用

编译我们知道，gcc只能编译C，g既能编译C，也能编译C。由于两者的选项是相同的，这里我们使用gcc来说明。这就是一个我们在linux中gcc编译一段代码后会自动生成一个a.out为名的可执行文件，然后我们./a.out&#xff0c…...

编程日记 2025/7/27 16:54:06

IDEA2023 SpringBoot整合MyBatis（三）

一、数据库表 CREATE TABLE students (id INT AUTO_INCREMENT PRIMARY KEY,name VARCHAR(100) NOT NULL,age INT,gender ENUM(Male, Female, Other),email VARCHAR(100) UNIQUE,phone_number VARCHAR(20),address VARCHAR(255),date_of_birth DATE,enrollment_date DATE,cours…...

编程日记 2025/7/27 16:49:37

Java网络编程 - cookiesession

cookie 之前学习了 Okhttp3 库可以调用API、抓取网页、下载文件。但是这些操作都是不要求登录的，如果 API、网页、文件等内容要求登录才能访问，就需要学习新的 cookie 相关的知识。下面以豆瓣为例，使用 Java 程序读取“我的豆瓣”页面内容…...

编程日记 2025/7/27 16:48:54

100.【C语言】数据结构之二叉树的堆实现(顺序结构) 1

目录 1.顺序结构 2.示意图编辑从物理结构还原为逻辑结构的方法 3.父子节点编号的规律 4.顺序存储的前提条件 5.堆的简介堆的定义堆的两个重要性质小根堆和大根堆 6.堆的插入 7.堆的实现及操作堆的函数堆的结构体定义堆初始化函数HeapInit 堆插入元素函…...

编程日记 2025/7/26 20:42:46

《Python基础》之循环结构

目录简介一、for循环 1、基本语法与作用 2、使用 range() 函数配合 for 循环 3、嵌套的for循环二、while循环 1、基本语法与作用 2、while 循环嵌套 （1）、while循环与while循环嵌套 （2）、while循环与for循环嵌套简介 …...

编程日记 2025/7/27 16:54:06

使用JDBC操作数据库

文章目录使用JDBC操作数据库1. JDBC访问数据库步骤2. Statement与PreparedStatement区别3. JDBC的内容4. JDBC封装4.1 为什么进行JDBC封装4.2 实现JDBC封装4.3 什么是DAO4.4 配置数据库访问参数4.5 配置数据库连接池使用之JNDI的方式 5. 单例模式5.1 懒汉模式5.2 饿汉模式使用…...

编程日记 2025/7/25 8:37:34

轻松解析 PDF 文档：深入了解 Python 的 pdfplumber 库

轻松解析 PDF 文档：深入了解 Python 的 pdfplumber 库 PDF 是一种常见的文件格式，广泛用于报告、文档、表单等领域。然而，如何高效解析 PDF 内容（尤其是文本和表格），一直是开发者面临的挑战。pdfplumber 是…...

编程日记 2025/7/27 16:12:04

实验五时域采样与频域采样

时域采样理论的验证【实例3-1】近似绘制x (n) R4n 在(0,2 π \pi π ) 上的幅频响应曲线( F T [ x ( n ) ] FT[x(n)] FT[x(n)] )。 x [1, 1, 1, 1]; N 64; xk fft(x, N); figure; subplot(2, 1, 1); stem(0:3, x, .); subplot(2, 1, 2); k 0:N-1; plot(2*k/N, abs(x…...

编程日记 2025/7/24 5:38:53

爬虫cookie反爬------加速乐（jsl）

加速乐反爬虫技术：加速乐采用了包括OB混淆、动态加密算法和多层Cookie获取等高级反爬虫技术，确保整体校验的严密性。关键校验字段位于Cookie中的 __jsl_clearance_s，其验证过程通常涉及三次关键的请求，有效抵御恶意爬虫的侵扰。…...

编程日记 2025/7/26 7:42:39

设计模式——解释器模式

定义： 解释器模式是一种行为设计模式，它给定一个语言，定义它的文法的一种表示，并定义一个解释器，这个解释器使用该表示来解释语言中的句子。在这种模式中，通常会将一个复杂的表达式（如数学表达…...

编程日记 2025/7/26 7:54:50

sorted()函数

sorted(iterable, keyNone, reverseFalse)iterable: 需要排序的可迭代对象（如列表、元组、字符串等）。 key: 一个函数，用于从每个元素中提取排序的依据。如果未指定，默认直接比较元素本身。 reverse: 一个布尔值，Tru…...

编程日记 2025/7/26 4:45:32

动静态分析

静态分析获取哈希值： 查壳： 导出函数： 获取资源信息： 通过发现dos头和pe头，来确定它是个可执行程序。动态分析...

编程日记 2025/7/2 20:05:08

2024年信号处理与神经网络应用国际学术会议（SPNNA 2024）

重要信息会议时间：2024年12月13-15日会议地点：中国武汉会议官网：www.spnna.org 会议简介 2024年信号处理与神经网络应用国际学术会议（SPNNA 2024）将于2024年12月13日至15日在中国武汉召开。本次会议旨在为全球研…...

编程日记 2025/7/24 12:05:19

winfrom快速自适应

在软件界面设计中，我们通常需要添加各种布局器和规则来实现界面布局，但对于不太熟练的工程师来说，这可能存在一定难度。这里要分享一种自适应布局的方法，它可以根据界面比例自动缩放内容控件，在较短时间内完成软件布局…...

编程日记 2025/7/25 23:01:12

VMware16安装macOS12【详细教程】

因为在应用上线IOS应用商店时，需要用到mac系统进行，于是就在VMware16pro虚拟机进行安装macOS12系统，安装的过程做了一个记录，希望对你有所帮助！ 前言首先需要下载好下面工具： VMware workstation pro 16…...

编程日记 2025/7/24 13:39:39

【设计模式】【创建型模式（Creational Patterns）】之单例模式

单例模式是一种常用的创建型设计模式，其目的是确保一个类只有一个实例，并提供一个全局访问点。单例模式的原理单例模式的核心在于控制类的实例化过程，通常通过以下方式实现： 私有化构造函数，防止外部直接实例化。…...

编程日记 2025/7/25 23:31:30

【1.2 Getting Started---＞Installation Guide】

NVIDIA TensorRT DOCS 此 NVIDIA TensorRT 10.6.0 安装指南提供安装要求、TensorRT 包中包含的内容列表以及安装 TensorRT 的分步说明。安装指南摘要： 本 NVIDIA TensorRT 10.3.0 安装指南提供了安装要求、TensorRT 软件包中包含的内容列表以及安装 TensorRT 的…...

编程日记 2025/7/1 3:56:13

Vue 中 data 属性为函数的深度剖析：原理、区别与实践

在 Vue.js 中，data 属性通常是一个函数而不是一个对象，这背后有一系列设计上的原因和原理，尤其是与 Vue 的组件系统、实例化机制、以及响应式数据的管理有关。下面我将详细解答这个问题，并结合实际项目示例和代码分析，进行全面讲解。 1. Vue 中 data 为什么是一个函数而…...

编程日记 2025/7/23 6:29:34

【漏洞复现】H3C 用户自助服务平台 dynamiccontent.properties.xhtml 远程命令执行

免责声明：本文旨在提供有关特定漏洞的信息，以帮助用户了解潜在风险。发布此信息旨在促进网络安全意识和技术进步，并非出于恶意。读者应理解，利用本文提到的漏洞或进行相关测试可能违反法律或服务协议。未经授权访问系统、网络或应用程序可能导致法律责任或严重后果…...

编程日记 2025/7/26 6:17:42

【技术支持】vscode不使用插件，两种方式重命名html标签对

1. 使用 VS Code 内置功能 VS Code 内置支持 HTML/XML 标签对的重命名功能。步骤如下： 将光标放置在标签名上（如 <div> 或</div>）。按下快捷键 F2（重命名符号）。输入新的标签名，按 Enter&…...

编程日记 2025/7/26 8:32:52

【Seed-Labs 2.0】The Kaminsky Attack Lab

说在前面本实验属为Seed-Labs 的DNS LAB 中的第二个实验，是第一个实验的延伸，从攻击者和受害者同一个LAN中变成不在同一个LAN中，该系列一共有五个实验: Local DNS Attack LabThe Kaminsky Attack LabDNS Rebinding Attack LabDNS Infrastr…...

编程日记 2025/7/27 1:45:42

node.js中使用express.static()托管静态资源

express.static()定义 express.static(root, [options])是一个中间件函数，负责为Express应用提供静态资源服务。它允许你指定一个或多个目录作为静态资源的根目录，当客户端请求这些资源时，Express会查找并返回对应的文件。安装express npm i…...

编程日记 2025/7/27 16:00:14