当前位置： 首页 > news >正文

动态订阅kafka mq实现(消费者组动态上下线)

news 来源：原创 2025/9/20 9:25:08

和上篇文章 动态订阅rocket mq实现(消费者组动态上下线) 目的一致，直接上代码

    /*** Kafka topic container集合*/private static final Map<String, ConcurrentMessageListenerContainer<String, String>> topics = new HashMap<>();public void registerKafkaListeners(BinlogPortDatabaseConfig binlogPortDatabaseConfig) {/*BinlogPortDatabaseConfig是自定义的数据结构，即需要动态注册的kafka配置包含topic、sever、client，自定义即可*/ConsumerFactory<String, String> consumerFactory = binlogPortDatabaseConfig.createConsumerFactory();ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();factory.setBatchListener(true);if (consumerFactory == null) {return;}factory.setConsumerFactory(consumerFactory);ConcurrentMessageListenerContainer<String, String> container = factory.createContainer(binlogPortDatabaseConfig.getTopic());//设置为false，解决client后自动加-0的问题container.setAlwaysClientIdSuffix(false);container.setupMessageListener((MessageListener<String, String>) record -> {//TODO：你的消费逻辑，record即为消息体}} catch (IllegalArgumentException e) {log.error("registerKafkaListeners JSON解析失败", e);} catch (NullPointerException e) {log.error("registerKafkaListeners 消息为空或部分字段缺失", e);} catch (Exception e) {log.error("registerKafkaListeners 注册异常", e);}});container.start();topics.put(binlogPortDatabaseConfig.getTopic(), container);}public void factoryDel(String topic) {ConcurrentMessageListenerContainer<String, String> container = topics.get(topic);if (!topic.isEmpty()) {container.stop();topics.remove(topic);}}public ConsumerFactory<String, String> createConsumerFactory() {Properties props = new Properties();props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, /*你的kafka server*/);props.put(ConsumerConfig.CLIENT_ID_CONFIG, /*你的kafka client*/);if (SystemEnvUtil.isTest()) {props.put(ConsumerConfig.GROUP_ID_CONFIG, Constant.consumerGroupIdOffline + topic);}if (SystemEnvUtil.isProd() || SystemEnvUtil.isSandbox()) {props.put(ConsumerConfig.GROUP_ID_CONFIG,/*你的group id*/);}props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, String.valueOf(100));props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, String.valueOf(false));Map<String, Object> configMap = new java.util.HashMap<>();for (Map.Entry<Object, Object> entry : props.entrySet()) {configMap.put((String) entry.getKey(), entry.getValue());}return new DefaultKafkaConsumerFactory<>(configMap);}

相关文章：

动态订阅kafka mq实现(消费者组动态上下线)

和上篇文章 动态订阅rocket mq实现(消费者组动态上下线) 目的一致&#xff0c;直接上代码 /*** Kafka topic container集合*/private static final Map<String, ConcurrentMessageListenerContainer<String, String>> topics new HashMap<>();public void r…...

编程日记 2025/9/20 9:25:08

Coze扣子怎么使用更强大doubao1.5模型

最近&#xff0c;豆包刚刚发布了最新的doubao1.5系列模型&#xff0c;并且加量不加价。 在性能极大进步的情况下&#xff0c;价格还与之前一致。真是业界良心了。 在同样的价格下&#xff0c;肯定要使用性能更强大的模型嘛 于是我准备把所有的智能体和工作流切换到doubao1.5…...

编程日记 2025/9/20 7:35:56

Zookeeper 和 Redis 哪种更好？

目录 前言 &#xff1a; 什么是Zookeeper 和 Redis &#xff1f; 1. 核心定位与功能 2. 关键差异点 (1) 一致性模型 (2) 性能 (3) 数据容量 (4) 高可用性 3. 适用场景 使用 Zookeeper 的场景 使用 Redis 的场景 4. 替代方案 5. 如何选择&#xff1f; 6. 常见误区 7. 总结 前言…...

编程日记 2025/9/20 9:25:08

22.4.3.2 TCP/UDP连接信息

版权声明&#xff1a;本文为博主原创文章&#xff0c;转载请在显著位置标明本文出处以及作者网名&#xff0c;未经作者允许不得用于商业目的。 通过IPGlobalProperties的方法可以获得有关TCP和UDP连接的信息&#xff1a; GetActiveTcpConnections方法获得所有的TCP连接的信息…...

编程日记 2025/9/18 18:24:18

【Node.js】express框架

目录 1初识express框架 2 初步使用 2.1 安装 2.2 创建基本的Web服务器 2.3 监听方法 2.3.1 监听get请求 2.3.2 监听post请求 2.4 响应客户端 2.5 获取url中的参数(get) 2.5.1 获取查询参数 2.5.2 获取动态参数 2.6 托管静态资源 2.6.1 挂载路径前缀 2.6.2 托管多…...

编程日记 2025/9/17 10:27:50

拦截器VS过滤器：Spring Boot中请求处理的艺术！

目录 一、拦截器&#xff08;Interceptor&#xff09;和过滤器&#xff08;Filter&#xff09;&#xff1a;都是“守门员”&#xff01;二、如何实现拦截器和过滤器&#xff1f;三、拦截器和过滤器的区别四、执行顺序五、真实的应用场景六、总结 &#x1f31f;如果喜欢作者的讲…...

编程日记 2025/9/20 9:23:08

分布式架构与XXL-JOB

目录 先了解什么是任务调度&#xff1f; 什么是分布式任务调度&#xff1f; 了解XXL-JOB分布式任务调度平台 如何搭建XXL-JOB&#xff1f; 分片广播 作业分片方案 最近学习在项目的媒资管理模块如何高效处理大量视频&#xff0c;上传单个视频可能涉及到转码&#xff0c…...

编程日记 2025/9/14 9:54:02

6121A 音频分析仪

6121A 音频分析仪 音频信号产生 音频信号分析 国产 6121A是具有音频信号产生和音频信号分析功能的测试仪器&#xff0c;适用于语音性能测试和音频功放测试等领域&#xff0c;满足电台、移动通信、音响设备和水声通信设备对频响、谐波失真和信噪比等指标的测试需求&#xff…...

编程日记 2025/9/15 15:33:26

什么是幂等性？

一.幂等性 什么是幂等性&#xff1f; 在计算机科学和数学领域中&#xff0c;” 幂等性 “虽然源于相同的概念&#xff0c;但其应用和具体含义有所不同 在数学中&#xff1a;幂等性是一个代数性质&#xff0c;描述的是一个操作或函数在多次应用后结果不变的特性 在分布式系统…...

编程日记 2025/9/19 22:18:29

2025/2/19机试准备

1.%c不忽略空格&#xff08; &#xff09; 2.启示 #include <stdio.h> #include <string.h> int main(){char str[100]{0};int x,y;int n1,n2,n3;int i;while(scanf("%s",str)!EOF){istrlen(str);if(i%30){//12446-2n1i/3;n3i/3;n2i/32;}else if(i%31){…...

编程日记 2025/9/20 4:40:39

【wrk】wrk 压测工具入门

1. 简介 wrk 是我无意间发现的一款简单好用的 HTTP 接口性能测试工具&#xff0c;目前在 Github 上已经有 38k 的 star 数了&#xff01; ⭐ Github地址&#xff1a;https://github.com/wg/wrk 2. 安装 环境要求&#xff1a; windows10 平台安装过 ubuntu 等 Linux 子系统 …...

编程日记 2025/9/19 23:15:10

12.1 Android中协程的基本使用

文章目录 前言1、导入依赖2、使用协程获取服务器中的数据2.1 定义请求回调结果的数据类2.2 网络请求 3、网络回调结构4、通过ViewModel处理网络请求数据 前言 在使用协程的时候一直没有一个具体的概念&#xff0c;只知道协程能够使得异步操作等同于同步操作&#xff0c;且不会…...

编程日记 2025/9/20 9:21:09

华为 eNSP:MSTP

一、MSTP是什么 MSTP是多业务传送平台&#xff08;Multi-Service Transport Platform&#xff09;的缩写&#xff0c;它是一种基于SDH&#xff08;同步数字体系&#xff09;技术的传输网络技术&#xff0c;用于同时实现TDM、ATM、以太网等多种业务的接入、处理和传送。 MSTP技…...

编程日记 2025/9/20 9:21:10

HMSC联合物种分布模型在群落生态学中的贝叶斯统计分析应用

联合物种分布模型&#xff08;Joint Species Distribution Modelling&#xff0c;JSDM&#xff09;在生态学领域&#xff0c;特别是群落生态学中发展最为迅速&#xff0c;它在分析和解读群落生态数据的革命性和独特视角使其受到广大国内外学者的关注。在学界不同研究团队研发出…...

编程日记 2025/9/15 12:05:20

LangChain大模型应用开发：消息管理与聊天历史存储

介绍 大家好&#xff0c;博主又来给大家分享知识了。今天要给大家分享的是LangChain中的消息管理与聊天历史存储。 在LangChain里&#xff0c;消息管理可精细区分用户、助手、系统等不同角色消息&#xff0c;有序调度处理&#xff0c;让交互更顺畅。而聊天历史存储则赋予模型 …...

编程日记 2025/9/19 23:15:12

flink-cdc同步数据到doris中

1 创建数据库和表 1.1 数据库脚本 -- 创建数据库eayc create database if not exists ods_eayc; -- 创建数据表2 数据同步 2.1 flnk-cdc 参考Flink CDC实时同步MySQL到Doris Flink CDC 概述 2.1.1 最简单的单表同步 从下面的yml脚本可以看到&#xff0c;并没有doris中创建…...

编程日记 2025/9/19 7:32:57

轻量级在线ETL数据集成工具架构设计与技术实现深度剖析

在当今数字化时代，企业面临着海量异构数据的整合挑战。ETL（Extract, Transform, Load）工具作为数据集成的核心，负责将分散在不同数据源中的数据进行抽取、转换和加载，以构建统一的数据视图。本文将深入剖析一款基于诺依框架开发的在线ETL数据集成工具，重点阐述其架构设计…...

编程日记 2025/9/13 20:12:32

【Linux专栏】find命令+同步 实验

Linux & Oracle相关文档，希望互相学习，共同进步 风123456789～-CSDN博客 1.实验背景 需要把一个目录中所有文件，按照目录把某个时间点之前的同步到一个盘中，之后的同步备份到另一个盘中，实现不同时间段的备份。 本次实现目标：把common文件夹中 2025年之后的含文件夹…...

编程日记 2025/9/12 12:52:51

15-最后一个单词的长度

给你一个字符串 s&#xff0c;由若干单词组成&#xff0c;单词前后用一些空格字符隔开。返回字符串中 最后一个 单词的长度。 单词 是指仅由字母组成、不包含任何空格字符的最大子字符串。 方法一&#xff1a;使用字符串分割 可以使用字符串的 split 方法将字符串按空格分割…...

编程日记 2025/9/15 14:25:18

DeepSeek和ChatGPT的全面对比

一、模型基础架构对比&#xff08;2023技术版本&#xff09; 维度DeepSeekChatGPT模型家族LLAMA架构改进GPT-4优化版本参数量级开放7B/35B/120B闭源175B位置编码RoPE NTK扩展ALiBiAttention机制FlashAttention-3FlashAttention-2激活函数SwiGLU ProGeGLU训练框架DeepSpeedMeg…...

编程日记 2025/9/19 23:15:14

LlamaFactory可视化模型微调-Deepseek模型微调+CUDA Toolkit+cuDNN安装

LlamaFactory https://llamafactory.readthedocs.io/zh-cn/latest/ 安装 必须保证版本匹配&#xff0c;否则到训练时&#xff0c;找不到gpu cuda。 否则需要重装。下面图片仅供参考。因为cuda12.8装了没法用&#xff0c;重新搞12.6 cudacudnnpytorch12.69.612.6最新&#xf…...

编程日记 2025/9/9 15:03:24

什么是网关，网关的作用是什么？网络安全零基础入门到精通实战教程！

1. 什么是网关 网关又称网间连接器、协议转换器&#xff0c;也就是网段(局域网、广域网)关卡&#xff0c;不同网段中的主机不能直接通信&#xff0c;需要通过关卡才能进行互访&#xff0c;比如IP地址为192.168.31.9(子网掩码&#xff1a;255.255.255.0)和192.168.7.13(子网掩码…...

编程日记 2025/9/14 5:34:00

Linux基础25-C语言之分支结构Ⅱ【入门级】

用if语句实现分支结构 单分支&#xff1a;if… 语法&#xff1a; //语法1&#xff1a;舍弃{} if(条件表达式);单语句; //语法2&#xff1a;必须保留{} if(条件表达式) {单语句或者复合语句; }流程图 功能 若表达式值为真&#xff08;非0&#xff09;&#xff0c;则执行表达式…...

编程日记 2025/9/14 16:02:39

实战开发coze应用-姓氏头像生成器（上）

​欢迎关注【AI技术开发者】 上次&#xff0c;我们开发了一个对话形式的头像生成器智能体&#xff08;Agents&#xff09;&#xff0c;广受大家欢迎。 同时也接收到一些用户的反馈&#xff0c;生成前无法看到头像样式、初次使用不会用等等。 对此&#xff0c;我准备使用Coze开…...

编程日记 2025/9/11 0:23:02

企业内部知识库：安全协作打造企业智慧运营基石

内容概要 作为企业智慧运营的核心载体&#xff0c;企业内部知识库通过结构化的信息聚合与动态化的知识流动&#xff0c;为组织提供了从数据沉淀到价值转化的系统性框架。其底层架构以权限管理为核心&#xff0c;依托数据加密技术构建多层级访问控制机制&#xff0c;确保敏感信…...

编程日记 2025/9/18 16:11:06

uniapp 滚动尺

scale组件代码&#xff08;部分class样式使用到了uview1.0的样式&#xff09; <template><view><view class"scale"><view class"pointer u-flex-col u-col-center"><u-icon name"arrow-down-fill" size"26&qu…...

编程日记 2025/9/20 6:46:13

vue3之echarts3D圆柱

vue3之echarts3D圆柱 效果&#xff1a; 版本 "echarts": "^5.1.2" 核心代码&#xff1a; <template><div ref"charts" class"charts"></div><svg><linearGradient id"labColor" x1"0&q…...

编程日记 2025/9/19 16:58:33

SQL 优化工具使用之 explain 详解

一、导读 对于大部分开发人员来说&#xff0c;平常接触的无非就是增删改查这些基本操作&#xff0c;创建存储过程&#xff0c;视图等等都是 DBA 该干的活&#xff0c;但是想要把这些基本操作写的近乎完美也是一件难事。 而 explain 显示了 MySQL 如何使用索引来处理 select 语…...

编程日记 2025/9/16 5:54:20

SpringBoot启动失败之application.yml缩进没写好

修改前&#xff1a; spring前面空格了 报错输出&#xff1a;Failed to configure a DataSource: ‘url’ attribute is not specified and no embedded datasource could be configured. Reason: Failed to determine a suitable driver class Action: Consider the follow…...

编程日记 2025/9/18 19:31:02

基于SpringBoot+vue粮油商城小程序系统

粮油商城小程序为用户提供方便快捷的在线购物体验&#xff0c;包括大米、面粉、食用油、调味品等各种粮油产品的选购&#xff0c;用户可以浏览商品详情、对比价格、下单支付等操作。同时&#xff0c;商城还提供优惠活动、积分兑换等福利&#xff0c;让用户享受到更多实惠和便利…...

编程日记 2025/9/14 13:39:17

【JavaEE进阶】Spring MVC(3)

欢迎关注个人主页&#xff1a;逸狼 创造不易&#xff0c;可以点点赞吗 如有错误&#xff0c;欢迎指出~ 返回响应 返回静态页面 //RestController Controller RequestMapping("/response") public class ResponseController {RequestMapping("/returnHtmlPage&…...

编程日记 2025/9/9 15:45:16

案例-17.文件上传-阿里云OSS-入门

一.文件上传 我们在OSS页面中找到SDK下载&#xff0c;点击SDK示例&#xff0c;找到帮助文档。 点击JAVA并安装 在安装SDK中找到在Maven项目中加入依赖项(推荐方式) 将其中的依赖复制到pom文件中去。 <dependency><groupId>com.aliyun.oss</groupId><ar…...

编程日记 2025/9/11 22:37:05

java数据结构_优先级队列（堆）_6.2

3. 常用接口 3.1 PriorityQueue的特性 Java集合框架中提供了PriorityQueue和PriorityBlockingQueue两种类型的优先级队列&#xff0c;PriorityQueue的线性不安全的&#xff0c;PriorityBlockingQueue是线程安全的&#xff0c;这里主要介绍PriorityQueueu。 关于PriorityQueue…...

编程日记 2025/9/15 21:44:29

如何维护和保养直线模组？

直线模组是一种常见的传动机构&#xff0c;被广泛应用到各种各样的设备中&#xff0c;如激光焊接、激光切割、涂胶机、喷涂机、小型数控机床等设备。其保养与维护对于其使用寿命和性能至关重要&#xff0c;为了维护和保养直线模组并确保其使用寿命&#xff0c;可以采取以下措施…...

编程日记 2025/9/17 1:10:52

DeepSeek 助力 Vue 开发：打造丝滑的表单验证（Form Validation）

前言&#xff1a;哈喽&#xff0c;大家好&#xff0c;今天给大家分享一篇文章&#xff01;并提供具体代码帮助大家深入理解&#xff0c;彻底掌握&#xff01;创作不易&#xff0c;如果能帮助到大家或者给大家一些灵感和启发&#xff0c;欢迎收藏关注哦 &#x1f495; 目录 Deep…...

编程日记 2025/9/10 14:58:09

java连接redis

1.使用 1.创建java工程 2.引入依赖 <dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>5.2.0</version> </dependency> 3. //1.获取jedis对象&#xff0c;把所有对redis的操作都封装到…...

编程日记 2025/9/15 7:29:28

DeepSeek掀起推理服务器新风暴，AI应用迎来变革转折点？

AI 浪潮下&#xff0c;推理服务器崭露头角 在科技飞速发展的当下&#xff0c;AI 是耀眼明星&#xff0c;席卷各行业&#xff0c;深刻改变生活与工作模式&#xff0c;从语音助手到医疗诊断、金融风险预测&#xff0c;AI 无处不在。其发展分数据收集整理、模型训练、推理应用三个…...

编程日记 2025/9/14 20:14:17

宏块划分的原理

宏块划分并不是物理上的划分，而是逻辑上的划分。 宏块的划分是编码器在处理视频帧时的一种逻辑操作，用于将视频帧分解为更小的编码单元，以便后续的预测、变换、量化和编码等操作。视频帧的物理存储方式（如 YUV 数据的存储顺序）并不会因为宏块的划分而发生改变。 接下来，…...

编程日记 2025/9/18 12:16:07

分享8款AI生成PPT的工具！含测评

随着人工智能技术的飞速进步&#xff0c;制作PPT变得愈发便捷&#xff0c;仅需输入主题指令&#xff0c;便能在瞬间获得一份完整的演示文稿。尤其在制作篇幅较长的PPT时&#xff0c;手动编写每一页内容并设计格式和排版&#xff0c;不仅效率低下&#xff0c;而且耗时耗力。 本…...

编程日记 2025/9/13 23:03:08

【NLP算法面经】字节跳动算法岗四面详细面经（★附面题总结★）

【NLP算法面经】字节跳动算法岗四面详细面经&#xff08;★附面题总结★&#xff09; &#x1f31f; 嗨&#xff0c;你好&#xff0c;我是 青松 &#xff01; &#x1f308; 自小刺头深草里&#xff0c;而今渐觉出蓬蒿。 NLP Github 项目推荐&#xff1a; 【AI 藏经阁】&#…...

编程日记 2025/9/19 14:15:54

[AI相关]Unity的C#代码如何简写

是一个某培训机构的飞行棋教学源码 不知道&#xff0c;是否有人想知道怎么可以简写 &#xff08;这个问AI&#xff0c;DeepSeek也应该找不到答案的&#xff09; 静态变量 属性引用 单例 注入 一些UnityEvent特性就不说了。。。 IL 注入 运算符号改写...

编程日记 2025/9/7 14:03:11

DeepSeek模型快速部署教程-搭建自己的DeepSeek

前言&#xff1a;在人工智能技术飞速发展的今天&#xff0c;深度学习模型已成为推动各行各业智能化转型的核心驱动力。DeepSeek 作为一款领先的 AI 模型&#xff0c;凭借其高效的性能和灵活的部署方式&#xff0c;受到了广泛关注。无论是自然语言处理、图像识别&#xff0c;还是…...

编程日记 2025/9/15 8:28:49

TaskBuilder创建客户信息文件夹

数据模型创建好之后&#xff0c;我们就可以进行前后端功能的开发了。首先&#xff0c;我们需要创建好客户信息文件夹&#xff0c;以便专门存放与客户信息管理有关的前端文件&#xff0c;操作步骤如下&#xff1a; 点击销售管理示例项目“前端文件”右侧的加号按钮&#xff1a; …...

编程日记 2025/9/19 13:20:39

javaSE学习笔记22-线程（thread）-线程通信、线程池

线程通信 应用场景&#xff1a;生产者和消费者问题 假设仓库中只能存放一件产品&#xff0c;生产者将生产出来的产品放入仓库&#xff0c;消费者将仓库中产品取走消费 如果仓库中没有产品&#xff0c;则生产者将产品放入仓库&#xff0c;否则停止生产并等待&#xff0c…...

编程日记 2025/9/19 22:31:29

解决 WSL Ubuntu 中 /etc/resolv.conf 自动重置问题

解决 WSL Ubuntu 中 /etc/resolv.conf 自动重置问题 前言问题描述问题原因尝试过的命令及分析解决方案&#xff1a;修改 wsl.conf 禁用自动生成总结 前言 在使用 Windows Subsystem for Linux (WSL) 的 Ubuntu 子系统时&#xff0c;你可能会遇到 /etc/resolv.conf 文件被自动重…...

编程日记 2025/9/17 10:47:01

使用mybatis -基本的增删改查

目录 项目准备 项目步骤 具体细节 1 主配置文件的处理 2 Test 测试类 3 在 loginMapper 接口中书写 对 数据库操作的方法 4 实体类 pojo 、entity 要和 数据库对应的表的字段 一一对应 5 在 loginMapper.xml 映射文件 书写 具体实现 loginMapper 接口中方法的sql 语句…...

编程日记 2025/9/16 3:52:58

通过API 调用本地部署 deepseek-r1 模型

如何本地部署 deepseek 请参考&#xff08;windows 部署安装 大模型 DeepSeek-R1&#xff09; 那么实际使用中需要开启API模式&#xff0c;这样可以无拘无束地通过API集成的方式&#xff0c;集成到各种第三方系统和应用当中。 上遍文章是基于Ollama框架运行了deepSeek R1模型…...

编程日记 2025/9/10 20:53:55

模型量化初始知识

背景 PyTorch对量化的支持目前有如下三种方式&#xff1a; Post Training Dynamic Quantization&#xff0c;模型训练完毕后的动态量化&#xff1b; Post Training Static Quantization&#xff0c;模型训练完毕后的静态量化&#xff1b; QAT&#xff08;Quantization Aware T…...

编程日记 2025/9/17 15:26:18

成熟开发者需具备的能力

精业务 • 指深入理解和熟悉所开发软件的业务逻辑和需求。 • 开发者需要明确软件要解决的问题、面向的用户群体以及核心功能等。 • 精业务有助于开发者更好地设计系统架构、编写符合业务需求的代码&#xff0c;并能根据业务变化灵活调整开发计划。 懂原理 • 指掌握编程的基…...

编程日记 2025/9/10 21:15:25

java练习（32）

ps&#xff1a;题目来自力扣 环形链表 给你一个链表的头节点 head &#xff0c;判断链表中是否有环。 如果链表中有某个节点&#xff0c;可以通过连续跟踪 next 指针再次到达&#xff0c;则链表中存在环。 为了表示给定链表中的环&#xff0c;评测系统内部使用整数 pos 来表…...

编程日记 2025/9/18 10:52:08