当前位置：首页 > news >正文

在 Spring Boot 2.7.x 中引入 Kafka-0.9 的实践

news 来源：原创 2025/8/21 13:07:09

文章目录

在 Spring Boot 2.7.x 中引入 Kafka-0.9 的实践
- 一、下载 Kafka-0.9
- 二、启动 Zookeeper 和 Kafka
- 三、创建 Spring Boot 项目
- 四、引入 kafka 依赖
- 五、移除 Kafka 自动配置
- 六、编写 Kafka 生产者
- - 6.1 Kafka配置类
  - 6.2 生产者监听类
- 七、编写Controller发送Kafka
- 八、验证消费者
- Other. Spring Boot 引入 Kafka-0.11

在 Spring Boot 2.7.x 中引入 Kafka-0.9 的实践

一、下载 Kafka-0.9

# 1. 下载
wget https://archive.apache.org/dist/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz# 2. 解压
tar -zxvf kafka_2.11-0.11.0.0.tgz# 3. 进入kafka目录
cd kafka_2.11-0.11.0.0

二、启动 Zookeeper 和 Kafka

# 1. 启动 zk 
bin/zookeeper-server-start.sh config/zookeeper.properties# 2. 启动 kafka
bin/kafka-server-start.sh config/server.properties# 3. 创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic user_topic# 4. 消费
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic user_topic --from-beginning

三、创建 Spring Boot 项目

https://blog.csdn.net/Agan__/article/details/136109762
https://start.spring.io/

四、引入 kafka 依赖

<dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId><version>1.0.5.RELEASE</version>
</dependency><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>0.9.0.0</version>
</dependency>

五、移除 Kafka 自动配置

@SpringBootApplication(exclude = {KafkaAutoConfiguration.class})

六、编写 Kafka 生产者

6.1 Kafka配置类

package com.chenjiacheng.samples.kafka.config;import com.chenjiacheng.samples.kafka.kafka.UserProducerListener;
import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.serialization.StringSerializer;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.core.DefaultKafkaProducerFactory;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.core.ProducerFactory;
import org.springframework.kafka.support.ProducerListener;import java.util.HashMap;
import java.util.Map;/*** Created by chenjiacheng on 2025/2/27 01:18** @author chenjiacheng* @since 1.0.0*/
@Slf4j
@Configuration
public class KafkaProducerConfig {@Autowiredprivate UserProducerListener userProducerListener;// 配置 User Topic 的 KafkaTemplate 和 ProducerListener@Bean(name = "userProducerFactory")public ProducerFactory<String, String> userProducerFactory() {Map<String, Object> configProps = new HashMap<>();configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:19092");configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);return new DefaultKafkaProducerFactory<>(configProps);}@Bean(name = "userKafkaTemplate")public KafkaTemplate<String, String> userKafkaTemplate() {KafkaTemplate<String, String> kafkaTemplate = new KafkaTemplate<>(userProducerFactory());kafkaTemplate.setProducerListener(userProducerListener);kafkaTemplate.setDefaultTopic("user");return kafkaTemplate;}
}

6.2 生产者监听类

package com.chenjiacheng.samples.kafka.kafka;import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.springframework.kafka.support.ProducerListener;
import org.springframework.stereotype.Component;@Slf4j
@Component
public class UserProducerListener implements ProducerListener<String, String> {@Overridepublic void onSuccess(String topic, Integer partition, String key, String value, RecordMetadata recordMetadata) {log.info("User message sent successfully: {}", value);}@Overridepublic void onError(String topic, Integer partition, String key, String value, Exception exception) {log.error("Failed to send user message: {}", value, exception);}@Overridepublic boolean isInterestedInSuccess() {return true;}
}

七、编写Controller发送Kafka

package com.chenjiacheng.samples.kafka.controller;import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;@RestController
public class KafkaController {@Autowiredprivate KafkaTemplate<String, String> orderKafkaTemplate;@GetMapping("/send/user")public String sendUserMessage(@RequestParam("message") String message) {orderKafkaTemplate.sendDefault(message);return "User message sent: " + message;}
}

八、验证消费者

curl --location --globoff 'http://localhost:8081/send/user?message=hello'

在这里插入图片描述

Other. Spring Boot 引入 Kafka-0.11

其他操作同上, 仅修改依赖版本号. 也可直接使用 SpingBoot 依赖管理的 spring-kafka.

<dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId><version>1.3.11.RELEASE</version>
</dependency><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>0.11.0.0</version>
</dependency>

在 Spring Boot 2.7.x 中引入 Kafka-0.9 的实践

文章目录在 Spring Boot 2.7.x 中引入 Kafka-0.9 的实践一、下载 Kafka-0.9二、启动 Zookeeper 和 Kafka三、创建 Spring Boot 项目四、引入 kafka 依赖五、移除 Kafka 自动配置六、编写 Kafka 生产者6.1 Kafka配置类6.2 生产者监听类七、编写Controller发送Kafka八、验证消费…...

编程日记 2025/8/21 13:07:09

【MACOS】用户数据过多

进入下面的路径下找到.Spotlight-V100文件夹 /System/Volumes/Data修改选线通过终端权限不够在finder中进行查看然后解锁然后添加权限使用代码查看存储数据。 diskutil apfs list...

编程日记 2025/8/17 21:25:58

鸿蒙系统中的持续部署

鸿蒙操作系统，作为一款面向未来的分布式操作系统，旨在为不同的设备提供统一的操作系统平台。它支持多种终端设备，包括但不限于智能手机、平板电脑、智能穿戴设备和物联网（IoT）设备等，并且能够实现跨平台的无…...

编程日记 2025/8/16 12:29:43

1. 下载并安装 MySQL Yum 仓库从 MySQL 官方网站下载并安装 Yum 仓库配置文件。 # 下载MySQL 8.0的Yum仓库包 wget https://dev.mysql.com/get/mysql80-community-release-el7-5.noarch.rpm # 安装Yum仓库包 sudo rpm -ivh mysql80-community-release-el7-5.noarch.rpm2. 启…...

编程日记 2025/8/21 13:03:53

几种常见的虚拟环境工具（Virtualenv、Conda、System Interpreter、Pipenv、Poetry）的区别和特点总结

在 PyCharm 中创建虚拟环境是一个非常直接的过程，可以帮助你管理项目依赖，确保不同项目之间的依赖不会冲突。通过 PyCharm 创建虚拟环境打开 PyCharm 并选择或创建一个项目。打开项目设置： 在 Windows/Linux 上，可以通过点击…...

编程日记 2025/8/20 11:24:33

VScode：运行程序停止后，频繁出现终端进程被终止

VScode里面powershell被迫关闭 bug场景排查原因解决办法 bug场景系统：Windows IDE：Visual Studio Code 停止运行程序后，按向上箭头想要执行上一步命令，忽然终端页面强行关闭，并报错如下： 终端进程 &quo…...

编程日记 2025/8/16 9:53:50

PHP框架加载不上.env文件中的变量

以lumen5.5框架为例，根目录中bootstrap文件夹下的app.php文件中 (new Dotenv\Dotenv(__DIR__./../))->load(); 是读取所有.env中的文件的，这个是正常的，但是在代码中的任何位置或者在config目录下的databases.php里，代码如…...

编程日记 2025/8/19 10:07:52

Linux：基本指令与内涵理解

1.文件操作指令 1.1 ls ls指令用于查看指定层级文件夹下的文件或文件夹基本格式：ls (选项) (查看层级） 其中选项处不写就默认是显示文件名，查看层级默认是当前层级选项1： -l 作用：将查找文件的详细信息显示出来我们…...

编程日记 2025/8/17 19:50:44

C++设计模式-抽象工厂模式：从原理、适用场景、使用方法，常见问题和解决方案深度解析

一、模式基本概念 1.1 定义与核心思想抽象工厂模式（Abstract Factory Pattern）是创建型设计模式的集大成者，它通过提供统一的接口来创建多个相互关联或依赖的对象族，而无需指定具体类。其核心思想体现在两个维度： …...

编程日记 2025/8/21 2:53:16

LINUX系统安装+添加共享目录

一、前言 Windows或mac系统中创建Linux工作环境是基于VMware和SL(Scientific Linux)，下面分别安装二者。二、VMware软件安装及注册 1、双击VMware安装包 2、点击下一步 3、勾选接受许可，并点击下一步 4、更改路径（建议更改为容易找到的路…...

编程日记 2025/8/21 2:45:38

《UE5_C++多人TPS完整教程》学习笔记34 ——《P35 网络角色（Network Role）》

本文为B站系列教学视频《UE5_C多人TPS完整教程》 —— 《P35 网络角色（Network Role）》的学习笔记，该系列教学视频为计算机工程师、程序员、游戏开发者、作家（Engineer, Programmer, Game Developer, Author） Stephe…...

编程日记 2025/8/16 9:55:36

成为git砖家(9): rebase进阶: 拆分commit为多个

问题描述当一次性 git add 了多个修改点， 并且快速的执行了 git commit 后， 你觉得有点懊恼： 明明可以独立为两次或多次 commit， 揉在一块导致历史记录不太清晰。比如我在 nn1 这个练手项目中， 最近一次 commit&am…...

编程日记 2025/8/20 13:41:26

pytorch retain_grad vs requires_grad

requires_grad大家都挺熟悉的，因此穿插在retain_grad的例子里进行捎带讲解就行。下面看一个代码片段： import torch# 创建一个标量 tensor，并开启梯度计算 x torch.tensor(2.0, requires_gradTrue)# 中间计算：y 依赖于 x&#x…...

编程日记 2025/8/18 12:58:48

Axure常用变量及使用方法详解

点击下载《Axure常用变量及使用方法详解.pdf》摘要 Axure RP 作为一款领先的前端原型设计工具，提供了全面的变量和函数系统，以支持复杂的交互设计和动态内容展示。本文将从专业角度详细解析 Axure 中的全局变量、中继器数据集变量/函数、元件变量…...

编程日记 2025/8/21 2:53:27

为企业级AI交互系统OpenWebUI集成LDAP用户权限认证（2）

为企业级AI交互系统OpenWebUI集成LDAP用户权限认证（2）本文介绍如何OpenWebUI系统集成LDAP认证服务，及其用户权限及用户组设置。推荐超级课程：本地离线DeepSeek AI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录…...

编程日记 2025/8/20 17:22:19

mac 被禁用docker ui后，如何使用lima虚拟机启动docker

本机macos 安装lima brew install lima创建配置 echo "\\ndynamic:\n big-sur:\n image: docker://docker:git\n linux:\n image: docker.io/limasoftware/ubuntu:20.04 \\n" > ~/.lima/default.yaml启动名叫default的虚拟机 limactl start default进…...

编程日记 2025/8/20 14:57:31

C#实现AES-CBC加密工具类（含完整源码及使用教程）

一、AES-CBC加密应用场景 AES（Advanced Encryption Standard）作为全球公认的安全加密标准，广泛使用在以下场景： API通信加密：保护HTTP接口传输的敏感数据（如身份令牌、支付信息）文件安全存储&…...

编程日记 2025/8/20 4:52:22

Unity辅助工具_头部与svn

Unity调用者按钮增加PlaySideButton using QQu; using UnityEditor; using UnityEngine; [InitializeOnLoad] public class PlaySideButton {static PlaySideButton(){UnityEditorToolbar.RightToolbarGUI.Add(OnRightToolbarGUI);UnityEditorToolbar.LeftToolbarGUI.Add(OnLe…...

编程日记 2025/8/16 12:00:53

VBA 数据库同一表的当前行与其他行的主键重复判断实现方案1

目的，判断是否主键重复，不重复则登录新数据，重复则不登录。定义类型： DataRecord tableName 表名 rowNumber 行号 columnName 列名 data 数据想要实现的代码逻辑如下： 模拟数据库的登录过程。假设…...

编程日记 2025/8/16 10:00:39

Pytorch系列教程：可视化Pytorch模型训练过程

深度学习和理解训练过程中的学习和进步机制对于优化性能、诊断欠拟合或过拟合等问题至关重要。将训练过程可视化的过程为学习的动态提供了有价值的见解，使我们能够做出合理的决策。训练进度必须可视化的两种方法是：使用Matplotlib和Tensor Board。在本文…...

编程日记 2025/8/20 11:02:26

CSS伸缩盒模型(弹性盒子)

伸缩盒模型（Flexbox，Flexible Box Layout）是 CSS 中一种一维布局模型，用于更高效地处理元素的对齐、分布和响应式布局。其核心思想是让容器内的子元素（称为“项目”）能够灵活地自动调整大小和位置以适应不同…...

编程日记 2025/8/16 6:00:06

C++蓝桥杯基础篇（十一）

片头嗨~小伙伴们，大家好！今天我们来学习C蓝桥杯基础篇（十一），学习类，结构体，指针相关知识，准备好了吗？咱们开始咯~ 一、类与结构体类的定义：在C中&#x…...

编程日记 2025/8/16 12:05:15

版本控制泄露源码 .svn

##相关知识 SVN源码泄露 SVN（subversion）是源代码版本管理软件，造成 SVN 源代码漏洞的主要原因是管理员操作不规范。“ 在使用 SVN 管理本地代码过程中，会自动生成一个名为 .svn 的隐藏文件夹，其中包含重要的源代码信…...

编程日记 2025/8/16 9:56:00

基于单片机的风速报警装置设计

标题:基于单片机的风速报警装置设计内容:1.摘要本设计聚焦于基于单片机的风速报警装置，旨在解决传统风速监测缺乏实时报警功能的问题。采用单片机作为核心控制单元，结合风速传感器采集风速数据。经实验测试，该装置能准确测量 0 - 60m/s 范…...

编程日记 2025/8/16 10:01:58

YOLOv12本地部署教程——42%速度提升，让高效目标检测触手可及

YOLOv12 是“你只看一次”（You Only Look Once, YOLO）系列的最新版本，于 2025 年 2 月发布。它引入了注意力机制，提升了检测精度，同时保持了高效的实时性能。在保持速度的同时，显著提升了检测精度。例如&am…...

编程日记 2025/8/16 10:01:02

Banana Pi OpenWRT One Wifi6 OpenWrt社区官方开源路由器评测

第一款不可破解、开源、版权软件、符合 FCC、CE 和 RoHS 的维修权路由器 OpenWRT项目今年已经20岁了，为了纪念这一时刻，Banana Pi OpenWrt One/AP-24.XY路由器开发系统已经上市。这是OpenWRT团队与硬件公司的第一个联合项目。选择 Banana Pi，…...

编程日记 2025/8/16 9:54:55

【算法】经典排序算法介绍+代码示例

排序算法介绍 1）冒泡排序 (Bubble Sort)2）选择排序（Selection Sort）3）插入排序（Insertion Sort）4）希尔排序（Shell Sort）5）归并排序（Me…...

编程日记 2025/8/18 3:03:47

DeepSeek 助力 Vue3 开发：打造丝滑的表格（Table）之添加列宽调整功能,示例Table14_02带边框和斑马纹的固定表头表格

前言：哈喽，大家好，今天给大家分享一篇文章！并提供具体代码帮助大家深入理解，彻底掌握！创作不易，如果能帮助到大家或者给大家一些灵感和启发，欢迎收藏关注哦 💕 目录 Deep…...

编程日记 2025/8/16 9:55:00

【Linux】线程控制

目录一、原生线程库： 二、线程控制： 1、线程创建： 2、线程等待： 自定义类型的接收对象： 编辑 3、线程终止： pthread_exit： pthread_cancel: 4、线程ID： 线程库的底层原…...

编程日记 2025/8/16 11:17:56

pyqt联合designer的运用和设置

PyQt Designer 简介 PyQt Designer 是一个用于创建和设计 PyQt 应用程序用户界面的可视化工具。它允许用户通过拖放方式添加和排列各种控件，如按钮、文本框、滑块等，并设置它们的属性和样式，从而快速构建出美观且功能完整的 UI 界面。 Windows版本：【免费】安装包别管啊啊…...

编程日记 2025/8/21 10:56:01

spring boot3.4.3+MybatisPlus3.5.5+swagger-ui2.7.0

使用 MyBatis-Plus 操作 books 表。我们将实现以下功能： 创建实体类 Book。创建 Mapper 接口 BookMapper。创建 Service 层 BookService 和 BookServiceImpl。创建 Controller 层 BookController。配置 MyBatis-Plus 和数据库连接。 1. 项目结构 src ├─…...

编程日记 2025/8/20 5:40:47

利用微软的 HTML 应用程序宿主程序的攻击

mshta.exe 是微软的 HTML 应用程序宿主程序（Microsoft HTML Application Host），属于 Windows 系统组件。它的核心功能是运行 .hta（HTML Application）文件，允许通过 HTML、JavaScript、VBScript 等技术创建交…...

编程日记 2025/8/17 19:25:13

【深度学习】读写文件

读写文件到目前为止，我们讨论了如何处理数据，以及如何构建、训练和测试深度学习模型。然而，有时我们希望保存训练的模型，以备将来在各种环境中使用（比如在部署中进行预测）。此外，当运行一个…...

编程日记 2025/8/16 9:55:06

Bert的使用

一、Data.py # data负责产生两个dataloader from torch.utils.data import DataLoader, Dataset from sklearn.model_selection import train_test_split #给X,Y 和分割比例， 分割出来一个训练集和验证机的X, Y import torchdef read_file(path):data []label …...

编程日记 2025/8/20 11:35:57

Unity使用UGUI制作无限滑动列表

原理参照上一篇使用NGUI的制作无限滑动列表的文章 Unity 使用NGUI制作无限滑动列表_unity 滑动列表很多物体-CSDN博客准备工作： 新建一个空物体命名为LoopList，并调整其大小， 并增加Scroll Rect组件（用于滑动）、Re…...

编程日记 2025/8/18 17:15:16

ThinkPHP6用户登录系统的全过程

ThinkPHP6用户登录系统的全过程涉及请求处理、数据传输、路由分发、控制器逻辑、模型验证及中间件协作等多个模块的交互。详细的过程解析如下： 1. 前端请求与路由分发前端发起请求：用户在前端页面（如Vue组件或HTML表单）输入用户…...

编程日记 2025/8/17 21:42:09

C++全栈聊天项目(2) 单例模式封装Http管理者

完善注册类界面先在注册类构造函数里添加lineEdit的模式为密码模式 ui->lineEdit_Passwd->setEchoMode(QLineEdit::Password); ui->lineEdit_Confirm->setEchoMode(QLineEdit::Password);我们在注册界面的ui里添加一个widget，widget内部包含一个tip居…...

编程日记 2025/8/18 5:24:47

【鸿蒙开发】OpenHarmony调测工具hdc使用教程(设备开发者)

00. 目录文章目录 00. 目录01. OpenHarmony概述02. hdc简介03. hdc获取04. option相关的命令05. 查询设备列表的命令06. 服务进程相关命令07. 网络相关的命令08. 文件相关的命令09. 应用相关的命令10. 调试相关的命令11. 常见问题12. 附录 01. OpenHarmony概述 OpenHarmony是…...

编程日记 2025/8/18 19:01:16

ORACLE EBS数据库RELINK方式搭建克隆环境

ORACLE EBS系统的数据库，一般都安装了很多特定功能的小补丁来解决特定的BUG；因此对于已经安装好的系统，想要克隆一套测试环境、搭建一个新的备机做测试等，如果按照生产环境标准，则需要安装大量补丁，带来很大…...

编程日记 2025/8/16 11:38:05

MySQL regexp 命令

REGEXP命令是一种用于进行正则表达式匹配的运算符，允许在查询中使用正则表达式来匹配字符串模式‌‌1。基本语法基本的语法结构如下： SELECT * FROM table_name WHERE column_name REGEXP pattern; 这里，pattern是你要匹配的正则表达式模…...

编程日记 2025/8/21 12:17:22

前端实习到工作的经历

看了很多人的程序员生涯之路，我突然意识到我也该记录一些东西，因此有感而发。我是一个24届毕业生，大三下就开始找前端实习，当时学校不让走，我们都是先面着然后准备放假就去。当时周围小伙伴都找好了，考完…...

编程日记 2025/8/20 14:51:15

Vue3——Fragment

文章目录一、Fragment的核心意义1. 解决Vue2的单根限制问题2. 减少不必要的 DOM 嵌套3. 语义化和结构化二、Fragment 的实现原理三、Fragment 使用方式1. 基本用法2. 结合条件渲染3. 动态组件四、实际应用场景1. 列表/表格组件2. 布局组件3. 语义化标签五、注意事项1. 属性…...

编程日记 2025/8/16 12:43:24

Linux_16进程地址空间

CPU内的寄存器只有一套，但是CPU内寄存器的数据可能会有多份！ 一、程序地址空间下面这个图对应的是内存吗？（实际上是虚拟的进程地址空间） 32位机器内存最大为多少？ 32位操作系统的地址总线为32位&#x…...

编程日记 2025/8/18 13:49:50

职坐标机器学习编程实战：调试优化与自动化测试精要

内容概要在机器学习编程实践中，代码调试优化与自动化测试工具的应用是构建高可靠性系统的核心环节。本书聚焦从数据预处理到模型部署的全流程，通过特征工程优化、训练过程监控及持续集成方案的设计，系统化解决算法工程化中的典型问题。在特…...

编程日记 2025/8/18 13:12:07

git文件过大导致gitea仓库镜像推送失败问题解决（push failed: context deadline exceeded）

问题描述： 今天发现gitea仓库推送到某个镜像仓库的操作几个月前已经报错终止推送了，报错如下： 首先翻译报错提示可知是因为git仓库大小超过1G限制。检查本地.git文件，发现.git文件大小已达到1.13G。确定是.git文件过大导致&…...

编程日记 2025/8/16 12:29:58

llvm数据流分析

llvm数据流分析 1.数据流分析2.LLVM实现2.1.常量传播2.2.活跃性分析相关参考文档：DataFlowAnalysisIntro、ustc编译原理课程、南大程序分析课程1、南大程序分析课程2。 1.数据流分析数据流分析在编译优化等程序分析任务上都有重要应用。通常数据流分析可被抽象为…...

编程日记 2025/8/18 11:48:55