当前位置：首页 > news >正文

【中间件】docker+kafka单节点部署---zookeeper模式

news 来源：原创 2025/5/7 2:43:58

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言
- 消息中间件介绍
- 1. KRaft模式
- 2. zookeeper模式
- - 2.1. 单节点部署
  - - 安装
    - 验证

前言

最近生产环境上准备部署ELFK日志监控，先在测试环境部署单节点kafka验证调通相关配置，特此记录kafka部署流程，后续再补充kafka高可用方案；

消息中间件介绍

Apache Kafka是一个发布 - 订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上，这个项目是由Apache软件启动的。Kafka的设计模式主要基于事务日志设计。

1. KRaft模式

后续补充
KRaft 模式相比 ZooKeeper 模式的主要优势如下:

运维简化：只需部署 Kafka，不再依赖 ZooKeeper。
横向扩展能力提升：Kafka 集群能支持的 Partition 数量是衡量其横向扩展能力的重要指标。此前这个值受 ZooKeeper 与 Controller 之间传递元数据的限制，只能到十万量级，而 KRaft 模式不需要这种传递，因此可以提升到百万量级。
元数据传播提效：元数据通过 Kafka 的 Topic 管理，并利用 Topic 的生产消费传播，集成性更好的同时也提升了一些底层实现的性能。

2. zookeeper模式

本文采用模式
经典模式

2.1. 单节点部署

安装

docker-compose.yml

cat docker-compose.yml
------------------------------- docker-compode.yml ----------------------------------------
version: '3'
services:kfk:container_name: kfkimage: bitnami/kafka:3.9.0environment:- ALLOW_PLAINTEXT_LISTENER=yes- KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181ports:- "19092:9092"- "19093:9093"volumes:- ./config/server.properties:/opt/bitnami/kafka/config/server.propertiesnetworks:- zk-kfkrestart: unless-stoppedzk-server:container_name: zk-serverimage: zookeeper:3.8.4environment:- ALLOW_ANONYMOUS_LOGIN=yesrestart: alwaysnetworks:- zk-kfknetworks:zk-kfk:driver: bridge
------------------------------- docker-compode.yml END ----------------------------------------

server.properties

vim server.properties
------------------------------- server.properties ----------------------------------------
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/bitnami/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1# kafka日志保留时间168小时
log.retention.hours=168
# kafka清理日志间隔，30000ms（5分钟）检查一次日志文件，清理超过时间的日志
log.retention.check.interval.ms=300000# zookeeper连接配置
zookeeper.connect=zk-server:2181sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512
------------------------------- server.properties END ----------------------------------------

验证

docker ps

测试功能

# 创建名称为demo的topic,副本1 分区1
docker run -it --rm --network kfk_zk-kfk -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.9.0 kafka-topics.sh --bootstrap-server kfk:9092 --create --partitions 1 --replication-factor 1 --topic demo# 查看所有topic信息
docker run -it --rm --network kfk_zk-kfk -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.9.0 kafka-topics.sh --bootstrap-server kfk:9092 --list# 执行命令
root@yuan-server:~# docker run -it --rm --network kfk_zk-kfk -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.9.0 kafka-topics.sh --bootstrap-server kfk:9092 --list# 生产消息
# bin/kafka-console-producer.sh --bootstrap-server kafka-server:9092 --topic demodocker run -it --rm --network kfk_zk-kfk -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.9.0 kafka-console-producer.sh --bootstrap-server kfk:9092 --topic demo# 消费者
# 1.消费最新消息,打开后监听并消费生产者最新生产的消息
# bin/kafka-console-consumer.sh --bootstrap-server kafka-server:9092 --topic demo
docker run -it --rm --network kfk_zk-kfk -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.9.0 kafka-console-consumer.sh --bootstrap-server kfk:9092 --topic demo# 2.设置--from-beginning参数：表示从头开始消费消息，表示所有历史消息都能看到
docker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-console-consumer.sh --bootstrap-server kafka-server:9092 --topic demo --from-beginning

【中间件】docker+kafka单节点部署---zookeeper模式

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言消息中间件介绍1. KRaft模式2. zookeeper模式2.1. 单节点部署安装验证前言最近生产环境上准备部署ELFK日志监控，先在测试环境部署单节点kafka验证…...

编程日记 2025/5/7 2:43:58

Arduino IDE刷微控制器并下载对应固件的原由

在使用Arduino IDE刷写某个微控制器时，下载对应的固件通常是为了确保微控制器能够正确识别和执行Arduino IDE中编写的代码。以下是对这一过程的详细解释： 一、固件的作用固件是微控制器或嵌入式设备上运行的软件，它负责控制硬件设备的操作…...

编程日记 2025/5/7 1:59:44

深兰科技董事长陈海波应邀为华东师大心理学专业师生做AI专题讲座

12月28日，应上海华东师范大学的邀请，上海市科协常委、上海交通大学博士生导师、深兰科技创始人兼董事长陈海波专程到校，为该校心理学专业的全体师生做了一场关于人工智能推动个人数字化未来的专题讲座。他在演讲中，首先详细讲述了…...

编程日记 2025/5/7 2:01:03

iOS - 引用计数（ARC）

1. 基本数据结构 // 对象结构 struct objc_object {isa_t isa; // isa 指针，包含引用计数信息 };// isa 的位域结构 union isa_t {uintptr_t bits;struct {uintptr_t nonpointer : 1; // 是否启用优化的 isa 指针uintptr_t has_assoc : 1; // 是…...

编程日记 2025/5/6 4:50:11

【物联网原理与运用】知识点总结（上）

目录名词解释汇总第一章物联网概述 1.1物联网的基本概念及演进 1.2 物联网的内涵 1.3 物联网的特性——泛在性 1.4 物联网的基本特征与属性（五大功能域） 1.5 物联网的体系结构 1.6 物联网的关键技术 1.7 物联网的应用领域第二章感知与识别技术 2.1 …...

编程日记 2025/4/29 1:45:07

Flux“炼丹炉”——fluxgym安装教程

一、介绍这个炼丹炉目前可以训练除了flux-dev之外的其它模型，只需更改一个配置文件内容即可。重要的是训练时不需要提前进行图片裁剪、打标等前置工作，只需下图的三个步骤即可开始训练。它就是——fluxgym。 fluxgym：用于训练具有低 VRAM &…...

编程日记 2025/5/7 2:43:58

【Jsoncpp】manipulating JSON data in C++

源代码 #include <iostream> // 引入输入输出流库，用于标准输入输出操作 #include <fstream> // 引入文件流库，用于文件读写操作 #include <json/json.h> // 引入JSON库，用于解析和操作JSON数据using namespace std; …...

编程日记 2025/5/3 20:58:19

Ardupilot开源无人机之Geek SDK进展2024

Ardupilot开源无人机之Geek SDK进展202501 1. 源由2. 状态3. TODO3.1 跟踪目标框3.2 onnxruntime版本3.3 CUDA 11.8版本3.4 pytorch v2.5.1版本3.5 Inference性能3.6 特定目标集Training 4. 参考资料 1. 源由前期搭建《Ardupilot开源无人机之Geek SDK》，主要目的是…...

编程日记 2025/5/7 2:26:00

肝了半年，我整理出了这篇云计算学习路线（新手必备，从入门到精通）

大家好！我是凯哥，今天给大家分享一下云计算学习路线图。这是我按照自己最开始学习云计算的时候的学习路线，并且结合自己从业多年所涉及的知识精心总结的云计算的思维导图。这是凯哥精心总结的，花费了不少精力哦，希望对…...

编程日记 2025/4/30 5:46:28

配置数据的抗辐照加固方法

SRAM 型FPGA 的配置存储器可以看成是由0 和1 组成的二维阵列，帧的高度为矩阵阵列的高度，相同结构的配置帧组成配置列，如CLB 列、IOB 列、输入输出互联(Input Output Interconnect,IOI)列、全局时钟(Global Clock, GCLK)列、BRAM 列和BRAM 互联…...

编程日记 2025/5/3 17:10:42

【linux系统之redis6】处理可视化工具无法连接服务器端的redis

redis跑在虚拟机上的linux系统是可以正常的，但是用宿主机的可视化工具链接就连不上可视化工具无法连接问题排查确保配置文件开启了bind 0.0.0.0,允许外部任何终端的链接密码确保正确要关闭linux系统的防火墙(我的属于这种) systemctl stop firewalld.servic…...

编程日记 2025/5/5 7:21:17

文章目录一、OpenStack简介二、OpenStack架构1.认证服务Keystone2.镜像服务Glance3.计算服务Nova4.块存储服务Clinder5.对象存储服务Swift6.网络服务Neutron7.计量服务Ceilometer 三、服务简介3.1 OpenStack界面管理3.2 Keystone 认证3.3 Glance3.3 Nova3.4 存储服务3.5 Neutr…...

编程日记 2025/5/7 2:27:19

【设计模式-2】23 种设计模式的分类和功能

在软件工程领域，设计模式是解决常见设计问题的经典方案。1994 年，Erich Gamma、Richard Helm、Ralph Johnson 和 John Vlissides（四人帮，GoF）在《设计模式：可复用面向对象软件的基础》一书中系统性地总结了…...

编程日记 2025/5/7 1:56:53

记录一下Coding一直不能clone

配置下载git客户端，进行配置 git config --list user.name姓名全称 user.emailIAM_xxxxxx.com ,这个就是你的邮箱地址 user.signingkey 注册coding平台的密码一般不需要配置公钥私钥下载TortoiseGit，配置这几个参数配置凭据管理器注意这里用户名是…...

编程日记 2025/5/6 3:12:06

Backend - C# EF Core 执行迁移 Migrate

目录一、创建Postgre数据库二、安装包 （一）查看是否存在该安装包 （二）安装所需包三、执行迁移命令 1. 作用 2. 操作位置 3. 执行（针对visual studio） 查看迁移功能的常用命令： 查看…...

编程日记 2025/5/6 4:36:13

检索增强生成和思维链结合: 如何创建检索增强思维链 (RAT)？

论文地址：https://arxiv.org/pdf/2403.05313 Github地址：https://github.com/CraftJarvis/RAT 想象一下，一个人工智能助手可以像莎士比亚一样写作，像专家一样推理。这听起来很了不起，对吧？但是&#xff0…...

编程日记 2025/5/4 14:02:01

第四届电子信息与通信工程国际学术会议(EICE 2025)

第四届电子信息与通信工程国际学术会议（EICE 2025）定于2025年1月10日至12日在中国广州举行。大会交流全球相关领域科技学术最新发展趋势，链接重点领域国内外顶尖、活跃、最新学术资源，通过经验分享和智慧碰撞，推动科研…...

编程日记 2025/5/7 2:35:19

Hbuilder ios 离线打包sdk版本4.36，HbuilderX 4.36生成打包资源问题记录

1、打包文档地址https://nativesupport.dcloud.net.cn/AppDocs/usesdk/ios.html#%E9%85%8D%E7%BD%AE%E5%BA%94%E7%94%A8%E7%89%88%E6%9C%AC%E5%8F%B7 2、配置应用图标如果没有appicon文件，此时找到 Assets.xcassets 或者 Images.xcassets(看你sdk引入的启动文件中…...

编程日记 2025/5/7 1:55:32

HarmonyOS开发：传参方式

一、父子组件传参 1、父传子（Prop方式） 父组件代码 Entry Component struct ParentComponent {State parentMessage: string Hello from Parent;build() {Column() {ChildComponent({ message: this.parentMessage });}} } 子组件代码 Component s…...

编程日记 2025/5/3 6:41:29

Tomcat(116) 如何在Tomcat中解决缓存问题？

在Tomcat中解决缓存问题涉及多个方面的优化和处理，包括优化缓存配置、监控缓存状态、处理缓存失效和一致性问题等。以下是详细的步骤和代码示例，帮助你在Tomcat中解决缓存问题。 1. 优化缓存配置 Tomcat内置了一些静态资源的缓存机制，可以通…...

编程日记 2025/5/7 2:38:08

2.STM32F407ZGT6-外部中断

参考： 1.正点原子。前言： MCU最重要的一个领域–中断。总结下嵌套向量和外部中断的概念。达到： 1.NVIC是什么，了解中断的整体管理理念。 2.中断里面最简单的外部中断，怎么配置处理。 3.使用STM32CubeMX配置外部中断的…...

编程日记 2025/5/4 5:28:12

C# 之某度协议登录，JS逆向，手机号绑定，获取CK

.NET兼职社区 .NET兼职社区 .NET兼职社区 .NET兼职社区有需要指导，请私信我留言V或者去社区找客服。...

编程日记 2025/5/7 2:32:40

0基础学前端-----CSS DAY12

视频参考：B站Pink老师今天是CSS学习的第十二天，今天开始的笔记对应Pink老师课程中的CSS第七天的内容。本节重点：CSS高级技巧本章目录本节目标1. 精灵图1.1 为什么需要精灵图1.2 精灵图使用案例：拼出自己的名字 2. 字体图标2.…...

编程日记 2025/5/7 2:39:39

STM32——系统滴答定时器（SysTick寄存器详解）

文章目录 1.SysTick简介2.工作原理3.SysTick寄存器4.代码延时逻辑5.附上整体代码6.一些重要解释 1.SysTick简介 Cortex-M处理器内集成了一个小型的名为SysTick(系统节拍)的定时器,它属于NVIC的一部分,且可以产生 SysTick异常(异常类型#15)。SysTick为简单的向下计数的24位计数…...

编程日记 2025/5/7 2:19:48

HTML5 弹跳动画（Bounce Animation）详解

HTML5 弹跳动画（Bounce Animation）详解弹跳动画是一种动态效果，使元素在出现或消失时看起来像是在跳动。这种效果可以通过 CSS 动画或 JavaScript 来实现，增强用户体验。 1. 使用 CSS 实现弹跳动画可以使用 CSS 的 keyframes…...

编程日记 2025/5/7 2:40:58

Python 模拟登录网页，或者编写爬虫时模拟登录的详细总结

参考 Python模拟登陆网页的三种方法_python模拟登录-CSDN博客 python-模拟登陆多种方法总结_python模拟登录-CSDN博客 Python模拟登录的几种方法_实现模拟登录的方式有哪些?-CSDN博客 Python爬虫——模拟登录_python 模拟登录-CSDN博客 Python3 爬虫模拟登录_python模拟登录网…...

编程日记 2025/4/28 17:53:00

若依框架简介

若依（RuoYi）框架是一个基于Java语言的后台管理系统快速开发框架，它结合了多种前端和后端技术，提供了高效的开发工具。以下是对若依框架的详细解析： 一、技术架构后端：若依框架后端采用了Spring Boot、My…...

编程日记 2025/5/7 0:00:46

Linux中rsync命令使用

一、rsync简介 rsync 是一种高效的文件复制和同步工具，常用于在本地或远程计算机之间同步文件和目录主要特性增量同步：rsync 会检测源和目标文件之间的差异，只传输发生变化的部分，而不是重新传输整个文件。这样就能有效减少数据…...

编程日记 2025/5/4 20:45:11

opencv 学习(1)

文章目录 opencv导学部分opencv的作用ffmpeg和 opencv的关系opencv的未来计算机视觉是什么？ opencv导学部分 opencv的作用 1 : 目标识别人脸识别车辆识别 2 : 自动驾驶技术 – 计算机视觉进行车道的检测 3 : 医学图像分析通过分析光片来分析人到底得了什么病…...

编程日记 2025/5/7 1:03:24

中高级运维工程师运维面试题（十一）之 Docker

目录往期回顾前言基础知识1. 什么是 Docker？2. Docker 的核心组件有哪些？3. Docker 镜像和容器有什么区别？4. 什么是 Dockerfile？ 高级知识5. 什么是多阶段构建？如何使用？6. Docker 网络有哪些模式&#x…...

编程日记 2025/5/1 6:39:25

Kafka如何实现顺序消费？

Kafka的消息是存储在指定的topic中的某个partition中的。并且一个topic是可以有多个partition的。同一个partition中的消息是有序的，但是跨partition，或者跨topic的消息就是无序的了。为什么同一个partition的消息是有序的? 因为当生产者向某个parti…...

编程日记 2025/5/2 23:17:12

通过 ulimit 和 sysctl 调整Linux系统性能

目录一：资源限制管理工具：ulimit1、ulimit 作用介绍2、ulimit 常用选项3、ulimit 配置文件二：内核参数调整工具：sysctl1、sysctl 作用介绍2、sysctl 常用选项3、sysctl 配置文件一：资源限制管理工具：uli…...

编程日记 2025/4/24 5:31:33

pandas基础使用

pandas基础使用基本介绍类似于字典形式的numpy，可以给它的不同行和不同列进行重命名。 import numpy as np import pandas as pd # 创建一个序列 s pd.Series([1,4,True,np.nan,55.0])创建date format日期矩阵 import numpy as np import pandas as pd dates…...

编程日记 2025/4/26 17:33:07

2024.1.5总结

今日不开心:这周本来想花点时间学习的，没想到全都花在刷视频，外出消费去了。今日思考: 1.找对象这件事确实不能强求，顺其自然吧，单身和不单身，其实，各有各的利弊。在一次坐地铁的过程中，我一…...

编程日记 2025/5/3 20:30:58

解释一下：运放的输入偏置电流

输入偏置电流首先看基础部分：这就是同相比例放大器按照理论计算，输入VIN=0时，输出VOUT应为0，对吧仿真与理论差距较大，有200多毫伏的偏差，这就是输入偏置电流IBIAS引起的，接着看它的定义同向和反向输入电流的平均值，也就是Ib1、Ib2求平均，即（Ib1+Ib2）/2 按照下面…...

编程日记 2025/4/28 17:44:59

Federation机制的实现

1.关闭Hadoop的HDFS和YARN，依次执行“stop-yarn.sh”和“stop-dfs.sh”命令关闭Hadoop的YARN和HDFS。 2.删除3台虚拟机上的临时文件： 3.修改hdfs-site.xml配置文件，进入虚拟机liumengting1的/export/servers/hadoop-3.3.4/etc/hadoop目录&…...

编程日记 2025/5/3 10:55:14

120.Jenkins里的Pipeline Script

目录 1. **Declarative Pipeline** 主要部分示例 2. **Scripted Pipeline** 主要部分示例 3. **常用指令和功能** 环境变量工具管理文件操作构建触发器并行执行异常处理用户交互 4.**两种类型的特点** 1. **声明式 Pipeline (Declarative Pipeline)** 中…...

编程日记 2025/5/3 14:51:55

SpringBoot3-整合WebSocket指南

更多SpringBoot3内容请关注我的专栏：《SpringBoot3》期待您的点赞👍收藏⭐评论✍ SpringBoot3-整合WebSocket指南 1. 什么是WebSocket?2. 环境准备2.1 项目依赖 3. WebSocket配置3.1 WebSocket配置类3.2 自定义WebSocket处理器 4. 控制器5. 前端实现5.…...

编程日记 2025/5/1 1:03:49

【npm依赖包介绍】借助rimraf依赖包，在用npm run build构建项目时，清空dist目录，避免新旧混合

文章目录背景如何使用附上rimraf的介绍和说明主要作用使用场景安装使用示例异步删除同步删除参考资料背景在npm run build时，一般都会清空项目中已有的dist目录再构建，避免新旧混合。如何使用可以简单使用rimraf这个npm依赖包。目前rimraf的最…...

编程日记 2025/5/4 7:56:37

python学opencv|读取图像（二十四）使用cv2.putText()绘制文字进阶-倾斜文字

【1】引言前述学习进程中，我们已经掌握了pythonopencv绘制文字的基本技能，相关链接为： python学opencv|读取图像（二十三）使用cv2.putText()绘制文字-CSDN博客在这里，我们使用不同的字体、线条颜色和线…...

编程日记 2025/5/4 21:33:23

【简博士统计学习方法】第1章：3. 统计学习方法的三要素

3. 统计学习方法的三要素 3.1 监督学习的三要素 3.1.1 模型假设空间（Hypothesis Space）：所有可能的条件概率分布或决策函数，用 F \mathcal{F} F表示。若定义为决策函数的集合： F { f ∣ Y f ( X ) } \mathcal{F…...

编程日记 2025/5/5 0:09:18

“AI智慧语言训练系统：让语言学习变得更简单有趣

大家好，我是你们的老朋友，一个热衷于探讨科技与教育结合的产品经理。今天，我想和大家聊聊一个让语言学习变得不再头疼的话题——AI智慧语言训练系统。这个系统可是我们语言学习者的福音，让我们一起来揭开它的神秘面纱吧&#xff0…...

编程日记 2025/5/6 15:07:42

机器学习笔记 - 单幅图像深度估计的最新技术

1、深度估计简述单眼深度估计是一项计算机视觉任务，AI 模型从单个图像中预测场景的深度信息。模型估计场景中对象从一个照相机视点的距离。单目深度估计已广泛用于自动驾驶、机器人等领域。深度估计被认为是最困难的计算机视觉任务之一，因为它要求模型理解对象及其深度信息之…...

编程日记 2025/5/3 20:07:26

洛谷：P1540 [NOIP2010 提高组] 机器翻译

[NOIP2010 提高组] 机器翻译题目背景 NOIP2010 提高组 T1 题目描述小晨的电脑上安装了一个机器翻译软件，他经常用这个软件来翻译英语文章。这个翻译软件的原理很简单，它只是从头到尾，依次将每个英文单词用对应的中文含义来替换。对于…...

编程日记 2025/5/2 17:19:50

2025第2周 | JavaScript中的函数的参数默认值和剩余参数

目录 1. 函数的默认值1.1 ES5的时候默认值写法1.2 es6的默认值1.3 babel转换之后1.4 有默认值的参数建议放到最后1.5 有默认值的函数length属性 2. 参数为对象时默认值及解构2.1 默认值和解构一起使用2.2 默认值为一个空对象 3. 剩余参数3.1 剩余参数必须放到最后3.2 剩余参数和…...

编程日记 2025/5/6 12:42:42

Unity学习之UGUI（三）

十二、Slider 1、作用 Slider是滑动条组件，是UGUI中用于处理滑动条相关交互的关键组件创建Slider默认包括4个对象父对象：Slider组件依附的对象子对象：背景图，进度图，滑动块三组对象 2、主要参数 3、代码控制 voi…...

编程日记 2025/5/1 17:20:44

分享3个国内使用正版GPT的网站【亲测有效！2025最新】

1. molica 传送入口：https://ai-to.cn/url/?umolica 2. 多帮AI 传送入口：https://aigc.openaicloud.cn?inVitecodeMYAAGGKXVK 3. 厉害猫传送入口：https://ai-to.cn/url/?ulihaimao...

编程日记 2025/5/5 6:04:49

ffmpeg-avio实战：打开本地文件或者网络直播流dome

使用ffmpeg打开打开本地文件或者网络直播流的一个小dome。流程产靠ffmpeg4.x系列的解码流程-CSDN博客 #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libavformat/avio.h> #include <libavutil/file.h> #include &l…...

编程日记 2025/5/1 5:54:56