当前位置：首页 > news >正文

windows 部署 Kafka3.x KRaft 模式不依赖 ZooKeeper

news 来源：原创 2025/8/11 21:45:22

1.下载

https://archive.apache.org/dist/kafka/3.9.0/kafka_2.12-3.9.0.tgz

2.配置使用 KRaft 模式

2.1 修改 Kafka 的配置文件

cd D:\data\bigdata\kafka_2.12-3.9.0\config\kraft

修改 server.properties

# 设置 Kafka 数据日志存储目录
log.dirs=D:\\data\\bigdata\\kafka_2.12-3.9.0\\data

2.2 生成数据目录ID：

cd D:\data\bigdata\kafka_2.12-3.9.0\bin\windows

.\kafka-storage random-uuid

报错

D:\data\bigdata\kafka_2.12-3.9.0\bin\windows>.\kafka-storage random-uuid
输入行太长。
命令语法不正确。

解决办法
修改 kafka-run-class.bat

注释93 ~ 95 行，这三行的作用是拼接 classpath
注释174 ~ 177 行，这四行的作用是判断 classpath 是否定义，如果未定义则退出。因为要直接指定目录了，所以不需要 classpath 了。
修改179行，将%CLASSPATH%替换成%BASE_DIR%\libs\*

在这里插入图片描述

再次执行

D:\data\bigdata\kafka_2.12-3.9.0\bin\windows>.\kafka-storage random-uuid
cM-TcxmfSBSaic6aa8Wxvg

命令格式化数据目录，–cluster-id (上一步的数据目录ID)

.\kafka-storage.bat format --config ../../config/kraft/server.properties --cluster-id  cM-TcxmfSBSaic6aa8Wxvg

D:\data\bigdata\kafka_2.12-3.9.0\bin\windows>.\kafka-storage.bat format --config …/…/config/kraft/server.properties --cluster-id cM-TcxmfSBSaic6aa8Wxvg
Formatting metadata directory D:\data\bigdata\kafka_2.12-3.9.0\data with metadata.version 3.9-IV0.

3.启动

.\kafka-server-start.bat ../../config/kraft/server.properties

4. 验证

 .\kafka-topics --bootstrap-server localhost:9092 --list

如果配置和启动正确，能看到一个空的主题列表（因为没有创建任何主题）。

5. 创建一个测试主题

.\kafka-topics.bat --bootstrap-server localhost:9092 --create --topic test --partitions 1 --replication-factor 1

6. 生产和消费消息

测试生产和消费消息来验证 Kafka 是否工作正常：

生产消息：

.\kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

在这里插入图片描述
消费消息：

.\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

windows 部署 Kafka3.x KRaft 模式不依赖 ZooKeeper

1.下载 https://archive.apache.org/dist/kafka/3.9.0/kafka_2.12-3.9.0.tgz2.配置使用 KRaft 模式 2.1 修改 Kafka 的配置文件 cd D:\data\bigdata\kafka_2.12-3.9.0\config\kraft 修改 server.properties # 设置 Kafka 数据日志存储目录 log.dirsD:\\data\\bigdata\\kaf…...

编程日记 2025/8/11 21:45:22

SEMI E40-0200 STANDARD FOR PROCESSING MANAGEMENT(加工管理标准)-(一)

1 目的物料(例如晶圆)加工在设备中的自动化管理与控制是实现工厂自动化的关键要素。本标准针对半导体制造环境中与设备内部物料处理相关的通信需求进行了规范。本标准规定了在加工单元接收到的指定材料所应适用的加工方法(例如Etch腔室需要Run哪支Recipe)。它阐述了物料加工的…...

编程日记 2025/8/12 1:19:44

Web 架构之高可用基础

文章目录引言一、无状态服务设计（Session 托管至 Redis 集群）1. 概念与原理2. 代码示例（Python Flask 应用）3. 常见问题及解决办法二、数据库读写分离（MySQL 主从 ProxySQL 流量分发）1. 概念与原理2. 配…...

编程日记 2025/8/12 1:13:11

巧用python之--模仿PLC(PLC模拟器)

工作中用到了VM(VisionMaster4.3)有时候需要和PLC打交道,但是PLC毕竟是别人的,不方便修改别人的程序,这时候需要一个灵活的PLC模拟器是多么好呀! 先说背景: PLC型号汇川Easy521: Modbus TCP 192.168.1.10:502 在汇川Easy521中Modbus保持寄存器D寄存器 ,在modbus协议中 0-4区…...

编程日记 2025/8/5 19:06:07

Nginx +Nginx-http-flv-module 推流拉流

这两天为了利用云服务器实现 Nginx 进行OBS Rtmp推流，Flv拉流时发生了诸多情况，记录实现过程。环境 OS：阿里云CentOS 7.9 64位Nginx：nginx-1.28.0Nginx-http-flv-module：nginx-http-flv-module-1.2.12 安装Nginx编…...

编程日记 2025/8/5 19:06:05

DRF+Vue项目线上部署：腾讯云+Centos7.6

1.服务器选购和配置 1.1.服务器选购 1.2.防火墙/安全组配置 80是HTTP的端口，443是HTTPS的端口，22是远程连接的端口，3306是mysql的端口。 1.3.远程连接软件（tabby）配置下载：https://github.com/Eugeny/ta…...

编程日记 2025/8/5 19:06:01

大疆无人机（全系列，包括mini）拉流至电脑，实现直播

参考视频【保姆级教程】大疆无人机rtmp推流直播教程_哔哩哔哩_bilibili VLC使用教程： VLC工具使用指南-CSDN博客目录实现效果： 电脑端编辑编辑无人机端 VLC拉流分析实现效果： (实验机型：大疆mini4kRC-N2遥控器、大…...

编程日记 2025/8/5 19:05:59

Spring普通配置类 vs 自动配置类-笔记

1.简要版 Configuration和Bean，既可以用于普通配置类，也可以用于自动配置类。二者的区别和联系是什么呢？ 区别： Configuration和Bean是Spring框架本身的注解，用于定义配置类和生成Bean。而自动配置通常是Spring Boo…...

编程日记 2025/8/5 19:05:55

解决Ceph 14.2.22 Nautilus版本监视器慢操作问题的实践指南

解决Ceph Nautilus版本监视器慢操作问题的实践指南问题背景问题现象问题分析1. 确认监视器状态2. 检查慢操作详情3. 深入分析操作状态问题原因解决方案立即解决方法总结在生产环境中执行任何操作前，请确保已备份重要数据，并在测试环境中验证解决方案…...

编程日记 2025/8/5 19:05:53

Go使用Gin写一个对MySQL的增删改查服务

首先用SQL创建一个包含id、name属性的users表 create table users (id int auto_incrementprimary key,name varchar(255) null );查询所有用户信息： func queryData(db *sql.DB, w http.ResponseWriter) {rows, err : db.Query("SELECT * FROM users"…...

编程日记 2025/8/11 0:54:33

数字孪生医疗：构建患者特异性数字孪生体路径探析

引言数字孪生技术正逐渐成为医疗健康领域的一场革命性力量，它通过创建人体器官和系统的数字复制品，为疾病预测、诊断和个性化治疗开辟了前所未有的可能性。在心血管疾病领域，数字孪生技术的应用尤为引人注目，特别是对于扩张型心肌病（Dilated Cardiomyopathy，DCM）这一常…...

编程日记 2025/8/5 19:05:48

rust程序静态编译的两种方法总结

1. 概述经过我的探索，总结了两种rust程序静态编译的方法,理论上两种方法都适用于windows、mac os和linux(mac os未验证)，实测方法一性能比方法二好，现总结如下，希望能够帮到你. 2.方法一 2.1 添加配置文件在项目的同级文件夹下新…...

编程日记 2025/6/29 9:00:15

threejs 添加css3d标签 vue3

如图所示，给收费站标注标签。步骤如下： 一、引入 import {CSS3DRenderer,CSS3DObject, } from "three/examples/jsm/renderers/CSS3DRenderer"; 二、 //一、申明css3渲染器 const label3DRenderer ref()//二、创建css3d渲染器--将渲染器加…...

编程日记 2025/8/5 19:05:04

【git】git fsmonitor

git fsmonitor 是 Git 提供的一个特性，用于提高 Git 的性能，尤其是在处理文件状态检查（git status）时。它通过文件系统监控服务（如 Windows 上的 FileSystemWatcher 或 Linux 上的 inotify）来跟踪文件系统的…...

编程日记 2025/8/5 19:05:02

开源照片管理系统PhotoPrism的容器化部署与远程管理配置

文章目录前言1.关于PhotoPrism2.本地部署PhotoPrism3.PhotoPrism简单使用4. 安装内网穿透5.配置PhotoPrism公网地址6. 配置固定公网地址前言你是不是用手机拍照片的时候无所谓拍了多少张，但在整理的时候却要占用超多时间？别怕，今天给大家…...

编程日记 2025/8/5 19:05:00

macOS Python 环境配置指南

1. 检查现有 Python 环境 python3 --version # 检查 Python 3 版本 pip3 --version # 检查 pip 版本 2. 安装 pyenv（Python 版本管理工具） # 使用 Homebrew 安装 pyenvbrew install pyenv# 配置 pyenv 环境变量（添加到 ~/.zshrc&#…...

编程日记 2025/8/5 19:04:58

如何阅读、学习 Git 核心源代码？

学习 Git 核心源代码是一个深入理解版本控制系统底层原理的绝佳方式。以下是分阶段的系统性建议，结合了实践经验和学习路径设计： 一、前置知识储备 C语言进阶重点掌握指针操作（尤其是二级指针和函数指针）结构体嵌套与内存对齐…...

编程日记 2025/8/11 13:32:17

学习黑客 MAC 地址深入了解

在江湖之中，每位少侠既有“门派”加身，也需持有“令牌”通行。MAC地址便是我被师门铁订在骨血里的“先天武功心法”，铸于出厂之时，终身不变，只有破阵高手才能暗度陈仓才能改写；而IP地址则是我行走江湖的“后…...

编程日记 2025/8/9 14:18:55

长事务：数据库中的“隐形炸弹“——金仓数据库运维避坑指南

引言：凌晨三点的告警 "张工！生产库又告警了！"凌晨三点的电话铃声总是格外刺耳。运维团队发现数据库频繁进入单用户模式，排查发现某核心表的年龄值（Age）已突破20亿大关。经过一夜奋战&#xff0c…...

编程日记 2025/8/5 19:04:51

WTK6900C-48L：离线语音芯片重构玩具DNA，从“按键操控”到“声控陪伴”的交互跃迁

一：开发背景随着消费升级和AI技术进步，传统玩具的机械式互动已难以满足市场需求。语音控制芯片的引入使玩具实现了从被动玩耍到智能交互的跨越式发展。通过集成高性价比的语音识别芯片，现代智能玩具不仅能精准响应儿童指令，还能实…...

编程日记 2025/8/8 14:09:22

一文读懂Python之requests模块（36）

一、requests模块简介 requests模块是python中原生的一款基于网络请求的模块，功能强大，简单便捷且高效 ，该模块可以模拟浏览器发送请求，主要包括指定url、发起请求、获取响应数据和持久化存储，包括 GET、POST、PUT、…...

编程日记 2025/8/5 15:49:19

Java 异常

Java 异常的体系结构 java.lang.Throwable ├── Error（严重错误，程序无法处理） │ ├── OutOfMemoryError │ ├── StackOverflowError │ └── ... └── Exception（程序可以处理的异常）├── Check…...

编程日记 2025/8/11 11:15:15

智能外呼机器人的核心优势

随着人工智能技术的快速发展，智能外呼机器人已成为企业降本增效的重要工具。其通过整合语音识别（ASR）、自然语言处理（NLP）、语音合成（TTS）等技术，不仅替代了大量重复性人工劳动&…...

编程日记 2025/8/5 15:49:15

n8n - 开放灵活的智能自动化工作流平台

n8n - 开放灵活的智能自动化工作流平台在当今数字化转型的大潮中，自动化已成为众多企业提升效率、优化流程的关键手段。而在众多自动化工具中，n8n以其开放灵活且强大的功能脱颖而出，成为技术团队的可靠选择。今天，我们将深入了解n8n这个开源自动化工作流平台，探索其广泛…...

编程日记 2025/8/11 0:01:33

window 显示驱动开发-处理内存段(二)

KMD 不需要在其内存段中指定 GPU 可用的所有视频内存资源。但是，KMD 必须指定 VidMm 在系统上运行的所有进程中管理的所有内存资源。例如： 实现固定函数管道的顶点着色器微代码可以驻留在 GPU 地址空间中，但在 VidMm 管理的内存之外&#x…...

编程日记 2025/8/5 15:49:12

RSS 2025｜斯坦福提出「统一视频行动模型UVA」：实现机器人高精度动作推理

导读在机器人领域，让机器人像人类一样理解视觉信息并做出精准行动，一直是科研人员努力的方向。今天，我们要探讨的统一视频行动模型（Unified Video Action Model，UVA），就像给机器人装上了一个“…...

编程日记 2025/8/10 19:35:57

代码随想录算法训练营第60期第三十天打卡

大家好，今天我们要走进一个全新的章节，这一章叫做贪心算法，前面我们讲的是回溯算法，那究竟什么是贪心算法呢？我们一起走进今天的内容。第一部分贪心的理论基础其实大家看这个名字估计也会有一定了解，贪心…...

编程日记 2025/8/9 8:46:04

腾讯云：数字世界的“量子熔炉”与硅基文明引擎

一、算力拓扑学：重新定义空间的计算密度腾讯云的算力网络正在突破经典物理限制，其分布式架构通过“量子化”资源调度实现超维计算： 虚拟化跃迁：基于KVM的轻量级虚拟化技术，将单台物理服务器切割为百…...

编程日记 2025/8/5 15:49:06

Python Cookbook-7.7 通过 shelve 修改对象

任务你正在使用标准库模块shelve。你用shelve处理过的一些值是易变的对象(mutableobjects)，而且你需要修改这些对象。解决方案 shelve 模块提供了一种持久的字典——在强大的关系型数据库和简洁的 marshal、pickledbm 以及类似的文件格式之间，它有着…...

编程日记 2025/8/5 15:49:04

Baklib构建AI就绪知识管理体系

Baklib构建AI就绪知识体系在数字化转型加速的背景下，Baklib通过其AI就绪知识管理体系，为企业提供了从数据整合到智能应用的完整解决方案。该平台以知识中台为核心架构，依托自然语言处理与机器学习技术，对分散在企业文档系统、协…...

编程日记 2025/8/5 15:49:02

嵌入式开发学习日志Day16

一、指针函数函数的返回值为指针的函数； 注意：不能返回局部变量的地址； 可以返回静态变量的地址； 可以返回全局变量的地址； 1、动态内存分配 void *malloc(size_t size); //申请空间的函数 void free(*ptr); …...

编程日记 2025/8/5 15:49:00

SLAM文献之KernelGPA: A Globally Optimal Solution to Deformable SLAM in Closed-form

KernelGPA: A Globally Optimal Solution to Deformable SLAM in Closed-form 提出了一种在非刚性变形环境下求解 SLAM 问题的闭式全局最优解方法。下面是对其算法原理和核心推导过程的系统解析。一、算法背景与目标问题描述： 传统 SLAM 主要假设环境为刚性&am…...

编程日记 2025/8/5 19:04:47

C++之“继承”

继续开始关于C相关的内容。C作为面向对象的语言，有三大特性：封装，继承，多态。这篇文章我们开始学习：继承。一、继承的概念和定义 1. 继承的概念什么是继承呢？ 字面意思理解来看：继承就是…...

编程日记 2025/8/5 19:04:44

java集成telegram机器人

java集成telegram机器人最近项目需要集成telegram机器人，来实现消息推送功能，以此记录下。 1.创建telegram账号没有账号的可以去某宝上买一个，千万不要用自己的手机号86去注册，你懂得。 2. 打开BotFather对话创建机器人获取…...

编程日记 2025/8/7 9:26:26

从代码学习深度学习 - 单发多框检测（SSD）PyTorch版

文章目录前言工具函数数据处理工具 (`utils_for_data.py`)训练工具 (`utils_for_train.py`)检测相关工具 (`utils_for_detection.py`)可视化工具 (`utils_for_huitu.py`)模型类别预测层边界框预测层连接多尺度预测高和宽减半块基础网络块完整的模型训练模型读取数据集和初始化…...

编程日记 2025/8/5 19:04:40

因子分析——数学原理及R语言代码

这里写自定义目录标题因子分析参数估计方法主成分法主因子法因子旋转代码实现Reference 因子分析 FactorAnalysis的目的是从多个高度相关的观测变量中提取出少数几个LatentFactor，这些因子代表了变量背后的共通结构，从而实现降维并提升可解释性。假…...

编程日记 2025/8/8 8:15:56

CSS3 过渡与动画

在现代网页设计中，平滑的过渡和生动的动画效果已成为提升用户体验不可或缺的元素。CSS3 为我们提供了强大的 transition 和 animation 属性，让开发者能够轻松实现各种视觉效果。本文将深入探讨这两大功能的特性和应用场景。一、CSS3 过渡（T…...

编程日记 2025/8/5 19:04:35

【JAVA】【重试间隔】多线程中两种常见的重试间隔

一、前言报！！ 小南啊，今日有个小任务交给你去办。就是程序中有个数据处理，总是会出错，不知道是什么原因，你去处理一下！ 二、主题围绕数据处理问题去看，从中发现，是因为…...

编程日记 2025/8/5 19:04:33

在现代Web应用中集成 PDF.js (pdfjs-dist 5.2 ESM): 通过 jsdelivr 实现动态加载与批注功能的思考

PDF 文档在现代 Web 应用中越来越常见，无论是作为文档预览、报告展示还是在线编辑的载体。Mozilla 的 PDF.js 是一个功能强大的 JavaScript 库，它使得在浏览器端渲染和显示 PDF 文件成为可能，无需依赖原生插件。本文将深入探讨如何在你的项…...

编程日记 2025/8/8 17:23:57

android ViewModel liveData无法监听之多线程下activityViewModels不安全

我们一般的，会遇到liveData无法监听到结果，可能存在主要2种可能： liveData没有正确注册；liveData连续多次设置值，中间的值，会被丢弃，但最后一次是能监听到的。但是我们容易忽略一种case&…...

编程日记 2025/8/7 16:41:59

【即插即用涨点模块】DSConv动态蛇形卷积：自适应聚焦细长弯曲的局部结构特征，助力分割高效提点【附源码+注释】

《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…...

编程日记 2025/8/5 19:04:29

守护数字家园：个人博客安全防护指南

前言在之前的文章《WordPress个人博客搭建（一）》《WordPress个人博客搭建（二）》《WordPress个人博客搭建（三）》中，我们已经在非凡云云服务器上，借助1Panel搭建起属于自己的数字庭院…...

编程日记 2025/8/9 4:02:17

课外活动：简单了解原生测试框架Unittest前置后置的逻辑

简单了解原生测试框架Unittest前置后置的逻辑一、测试框架执行顺序解析 1.1 基础执行流程 import unittestclass A(unittest.TestCase):classmethoddef setUpClass(cls):print(f"【CLASS START】{cls.__name__}")def setUp(self):print(f"【TEST START】{se…...

编程日记 2025/8/5 19:04:25

带你玩转 Flink TumblingWindow：从理论到代码的深度探索

0.前言在深入探讨 TumblingWindow 之前，我们先来了解一下流处理或流计算中“窗口”的基本概念。在数据流中，源会持续不断地生成数据，因此计算最终值是不可行的。在大多数用例中，为了获取有意义的信息，最好使用两种方…...

编程日记 2025/8/5 19:04:23

Java线程安全问题深度解析与解决方案

一、线程安全问题的本质并发编程的核心挑战：当多个线程同时访问共享资源时，由于操作系统的抢占式调度特性，可能导致不可预期的结果。这种因非原子操作和竞态条件引发的数据不一致问题，称为线程安全问题。二、经典线程安全问题案…...

编程日记 2025/8/5 19:04:21

python实现的音乐播放器

python实现的音乐播放器音乐播放器，原来写过一个简陋的例子，可见 https://blog.csdn.net/cnds123/article/details/137874107 那个不能拖动播放进度条上的滑块到新的位置播放。下面介绍的可以拖动播放进度条上的滑块到新的位置播放。简单实用的音乐播放器这个简单实用的…...

编程日记 2025/8/5 19:04:19