当前位置：首页 > news >正文

【Kafka基础】topics命令行操作大全：高级命令解析（1）

news 来源：原创 2025/8/26 4:27:18

1 创建压缩主题（Log Compaction）

/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --create \--bootstrap-server 192.168.10.33:9092 \--topic comtopic \--partitions 3 \--replication-factor 2 \--config cleanup.policy=compact \--config min.cleanable.dirty.ratio=0.5 \--config segment.ms=3600000

参数说明：

cleanup.policy=compact：启用日志压缩
min.cleanable.dirty.ratio：控制压缩频率
segment.ms：日志段滚动时间（毫秒）

2 查看主题的消息量统计

/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-run-class.sh kafka.tools.GetOffsetShell \--broker-list 192.168.10.33:9092 \--topic testtopic1 \--time -1

参数说明：

--time -1：获取最新的偏移量（-2表示最早的）
输出格式：topic:partition:offset

3 查看主题的磁盘使用情况

/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-log-dirs.sh --describe \--bootstrap-server 192.168.10.33:9092 \--topic-list testtopic1

参数说明：

--topic-list：指定要检查的主题列表

4 迁移分区副本（重新分配分区）

/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-reassign-partitions.sh --generate \--bootstrap-server 192.168.10.33:9092 \--topics-to-move-json-file topics.json \--broker-list "1,2,3"

参数说明：

--generate：生成迁移计划
--topics-to-move-json-file：包含要迁移主题的JSON文件
--broker-list：目标broker列表

5 验证分区重新分配进度

/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-reassign-partitions.sh --verify \--bootstrap-server 192.168.10.33:9092 \--reassignment-json-file reassignment.json

参数说明：

--verify：验证迁移状态
--reassignment-json-file：迁移计划文件

6 查看消费者组偏移量

/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-consumer-groups.sh --describe \--bootstrap-server 192.168.10.33:9092 \--group testgroup \--offsets

参数说明：

--group：消费者组名称
--offsets：显示偏移量信息

【Kafka基础】topics命令行操作大全：高级命令解析（1）

1 创建压缩主题（Log Compaction） /export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --create \--bootstrap-server 192.168.10.33:9092 \--topic comtopic \--partitions 3 \--replication-factor 2 \--config cleanup.policycompact \--con…...

编程日记 2025/8/26 4:27:18

springboot集成spring loadbalancer实现客户端负载均衡

在 Spring Boot 中实现负载均衡，通常需要结合 Spring Cloud 组件，比如 Spring Cloud LoadBalancer。Spring Cloud LoadBalancer 是一个客户端负载均衡器，可以与 Spring Boot 集成，实现微服务之间的负载均衡。以下是一个简单的示…...

编程日记 2025/8/26 4:17:25

什么是 k8s Affinity（亲和性）

在 Kubernetes（K8s）中，Affinity（亲和性） 是一种 Pod 调度策略，它用于控制 Pod 在什么条件下可以被调度到特定的节点上。它比 Taints 和 Tolerations 更灵活，可以基于节点属性或 Pod 之间的关系…...

编程日记 2025/8/26 4:13:21

深度探索：策略学习与神经网络在强化学习中的应用

深度探索：策略学习与神经网络在强化学习中的应用策略学习(Policy-Based Reinforcement Learning)一、策略函数1.1 策略函数输出的例子二、使用神经网络来近似策略函数：Policy Network ,策略网络2.1 策略网络运行的例子2.2需要的几个概念2.3神经网络近似…...

编程日记 2025/8/25 20:56:59

用VAE作为标题显示标题过短，所以标题变成了这样

VAE (Variational Autoencoder / 变分自编码器) 基本概念: VAE 是一种生成模型 (Generative Model)，属于自编码器 (Autoencoder) 家族。它的目标是学习数据的潜在表示 (Latent Representation)，并利用这个表示来生成新的、与原始数据相似的数据。与标…...

编程日记 2025/8/25 15:42:22

【day27】测试策略升级方案：需求阶段介入与业务规则覆盖矩阵设计

测试策略升级方案：需求阶段介入与业务规则覆盖矩阵设计一、需求评审阶段：主动识别业务逻辑问题在需求评审时，测试团队应通过结构化提问提前暴露潜在风险，避免后期返工。以下为提问框架与示例： 1. 业务逻辑澄清提问模…...

编程日记 2025/8/26 4:15:25

AI烘焙大赛中的算法：理解PPO、GRPO与DPO的罪简单的方式

🧠 向所有学习者致敬！ “学习不是装满一桶水，而是点燃一把火。” —— 叶芝我的博客主页： https://lizheng.blog.csdn.net 🌐 欢迎点击加入AI人工智能社区！ 🚀 让我们一起努力，共创…...

编程日记 2025/8/21 4:44:10

二分 —— 基本算法刷题路程

一、1.求阶乘 - 蓝桥云课算法代码： #include <bits/stdc.h> using namespace std; #define ll long long ll check(ll n) {ll cnt0;while(n){cnt(n/5);}return cnt; }int main() {ll k;cin>>k;ll L0,R1e19;while(L<R){ll mid(LR)>>1;if(che…...

编程日记 2025/8/26 4:13:31

内存序问题排查

1 内存序 2 简介 std::memory_order 是 C11 引入的一个枚举类型，用于和 <atomic> 原子操作一起使用，控制多线程环境下内存的可见性和执行顺序。它的主要作用是：告诉编译器和 CPU，在执行某个原子操作时，哪些内…...

编程日记 2025/8/26 4:12:31

历年跨链合约恶意交易详解（四）——Chainswap20210711

漏洞合约函数 function receive(uint256 fromChainId, address to, uint256 nonce, uint256 volume, Signature[] memory signatures) virtual external payable {_chargeFee();require(received[fromChainId][to][nonce] 0, withdrawn already);uint N signatures.length;r…...

编程日记 2025/8/22 4:17:02

Johnson

理论全源最短路算法 Floyd 算法，时间复杂度为 O(n)跑 n 次 Bellman - Ford 算法，时间复杂度是 O(nm)跑 n 次 Heap - Dijkstra 算法，时间复杂度是 O(nmlogm) 第 3 种算法被 Johnson 做了改造，可以求解带负权边的全源最短路。 J…...

编程日记 2025/8/26 4:13:26

spring boot + Prometheus + Grafana 实现项目监控

一、引入依赖 <dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-actuator</artifactId></dependency><!-- Micrometer Reg…...

编程日记 2025/8/20 2:26:46

Mythical Beings：第八季即将回归，探索新的神话传承

Mythical Beings是由Tarasca Art & Games开发的、基于Ignis区块链的卡牌收集游戏。自发布以来，这款游戏以其独特的玩法和深厚的神话背景吸引了大量玩家的关注。每张卡牌不仅代表着独特的游戏属性，还融合了丰富的文化和神话故事，使玩家不仅…...

编程日记 2025/8/26 4:27:18

Linux中查看占用端口号的进程信息的方法

在 Linux 中查看占用 ** 端口（eg:1717）**的进程号（PID），可以通过以下命令实现： 方法 1：使用 netstat 命令 sudo netstat -tulnp | grep :1717参数解释： -t：查看 TCP 端口…...

编程日记 2025/8/25 13:30:50

批量将 txt/html/json/xml/csv 等文本拆分成多个文件

我们的文本文件太大的时候，我们通常需要对文本文件进行拆分，比如按多少行一个文件将一个大的文本文件拆分成多个小的文本文件。这样我们在打开或者传输的时候都比较方便。今天就给大家介绍一种同时对多个文本文件进行批量拆分的方法，可以快速…...

编程日记 2025/8/24 17:21:51

爱普生高精度车规晶振助力激光雷达自动驾驶

在自动驾驶技术快速落地的今天，激光雷达作为车辆的“智慧之眼”，其测距精度与可靠性直接决定了自动驾驶系统的安全上限。而在这双“眼睛”的核心，爱普生（EPSON）的高精度车规晶振以卓越性能成为激光雷达实现毫米级感知的…...

编程日记 2025/8/26 4:13:29

Spring Boot 自定义 Redis Starter 开发指南（附动态 TTL 实现）

一、功能概述本 Starter 基于 Spring Boot 2.7 实现以下核心能力： Redis 增强：标准化 RedisTemplate 配置（JSON 序列化 LocalDateTime 支持）缓存扩展：支持 Cacheable(value “key#60s”) 语法动态设置 TTL配置集中…...

编程日记 2025/8/26 4:13:41

区分CRI、OCI、containerd、Docker、CRI-O、runc等名词概念

这些概念可以分为： 一、容器运行时Container Runtimes a、规范OCI (Open Container Initiative) 定义：OCI 是一个开放标准，用于定义容器格式和运行时的规范。它旨在确保容器镜像的格式和容器运行时的操作方式在不同的实现之间保持兼容性。 •…...

编程日记 2025/8/20 2:26:46

#关于process.env.NODE_ENV 与 import.meta.env 相关了解

process.env.NODE_ENV 在前端 Vue 项目中非常重要，但它其实是个“假象”，在前端它并不是原生就有的变量。下面我从多个角度来给你通俗讲明白它的由来和使用方式 👇 🌐 一、process.env.NODE_ENV 是干嘛用的？ 这是一个…...

编程日记 2025/8/25 9:56:26

R语言赋能气象水文科研：从多维数据处理到学术级可视化

全球气候变化加剧了极端天气与水文事件的复杂性，气象卫星、雷达、地面观测站及水文传感器每天产生TB级‌时空异质数据‌。传统研究常面临四大瓶颈： ‌数据清洗低效‌：缺失值、异常值处理耗时；‌时空分析模型构建复杂‌&#xff1…...

编程日记 2025/8/26 4:27:18

MySQL 约束（入门版）

目录一、约束的基本概念二、约束演示三、外键约束 （一）介绍 （二）外键约束语法 （三）删除/更新行为一、约束的基本概念 1、概念：约束是作用于表中字段上的规则，用于限制存储…...

编程日记 2025/8/26 4:13:25

【go】类型断言

接口-类型断言 Type Assertion Type Assertion（中文名叫：类型断言），通过它可以做到以下几件事情检查 i 是否为 nil（是nil直接抛出panic）检查 i 存储的值是否为某个类型具体的使用方式有两种&#xff…...

编程日记 2025/8/26 4:27:18

(复看)CExercise_06_1指针和数组_2 给定一个double数组，求平均值，并且返回

题目： 求平均值，给定一个double数组，求平均值，并且返回。要求使用while循环遍历数组，然后配合"*p"的语法实现。函数的声明如下： double get_ave(double *arr, int len); 关键点分析&#xff1…...

编程日记 2025/8/26 4:13:27

Ubuntu 服务器上运行相关命令，关闭终端就停止服务，怎么才能启动后在后台运行？

环境： Ubuntu 20.04 LTS 问题描述： Ubuntu 服务器上运行相关命令，关闭终端就停止服务，怎么才能启动后在后台运行？ bash docker/entrypoint.sh解决方案： bash docker/entrypoint.sh 脚本在后台运行&…...

编程日记 2025/8/26 4:13:27

ffmpeg提取字幕

使用ffmpeg -i test.mkv 获取视频文件的字幕流信息如下 Stream #0:4(chi): Subtitle: subrip (srt) (default) Metadata: title : chs Stream #0:5(chi): Subtitle: subrip (srt) Metadata: title : cht Stream #0:6(jpn)…...

编程日记 2025/8/26 4:13:43

深入理解Socket编程：构建简单的计算器服务器

一、Socket通信基础 1. Socket通信基本流程服务器端流程： 创建Socket (socket()) 绑定地址和端口 (bind()) 监听连接 (listen()) 接受连接 (accept()) 数据通信 (read()/write()) 关闭连接 (close()) 客户端流程： 创建Socket (socket()) 连接…...

编程日记 2025/8/26 4:13:26

CPU狂飙900%，该怎么处理

首先，说明一下问题：CPU飙升200% 以上是生产容易发生的场景场景:1：MySQL进程飙升900% 大家在使用MySQL过程，想必都有遇到过CPU突然过高，或者达到200%以上的情况。数据库执行查询或数据修改操作时，系统需…...

编程日记 2025/8/26 4:13:28

C++继承完全指南：从语法到设计模式----图解原理+工业级代码示例+陷阱规避

🔮✨⚡️🌌 欢迎来到张有志的量子编程次元 🌌⚡️✨🔮 ▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂ 🛸 核心探索舱 🛸 ⇩⇩⇩ 正在加载未来代码 ⇩⇩⇩ ▔▔▔▔▔▔▔▔▔▔▔▔▔▔▔▔…...

编程日记 2025/8/26 4:13:25

使用Pholcus编写Go爬虫示例

想用Pholcus库来写一个Go的爬虫程序。首先，我得确认Pholcus的当前状态，因为之前听说过它可能已经不再维护了。不过用户可能还是需要基于这个库的示例，所以得先提供一个基本的框架。首先，我应该回忆一下Pholcus的基本用法。Pholc…...

编程日记 2025/8/23 11:43:53

R Excel 文件：高效数据处理与可视化工具的完美结合

R Excel 文件：高效数据处理与可视化工具的完美结合引言在数据分析和处理领域，R语言因其强大的数据处理能力和丰富的可视化功能而备受青睐。而Excel作为最常用的电子表格软件，其广泛的应用也使得R与Excel的结合成为数据处理与可视化的理想…...

编程日记 2025/8/26 4:27:17

Python设计模式：适配模式

1. 适配模式（Adapter Pattern）详解适配模式（Adapter Pattern）是一种结构型设计模式，它允许将一个类的接口转换成客户端所期望的另一种接口。适配模式使得原本由于接口不兼容而无法一起工作的类可以协同工作。换句话说…...

编程日记 2025/8/26 4:17:24

Python设计模式：策略模式

1. 什么是策略模式策略模式（Strategy Pattern）是一种行为型设计模式，它定义了一系列算法，将每个算法封装起来，并使它们可以互换。策略模式使得算法的变化独立于使用算法的客户。换句话说，策略模式允许在运…...

编程日记 2025/8/26 4:15:25

Unity Internal-ScreenSpaceShadows 分析

一、代码结构 // Unity built-in shader source. Copyright (c) 2016 Unity Technologies. MIT license (see license.txt)Shader "Hidden/Internal-ScreenSpaceShadows" {Properties {_ShadowMapTexture ("", any) "" {} // 阴影贴图纹理&…...

编程日记 2025/8/22 4:58:31

nginx配置oss代理

工作中会有一些时候需要将图片,视频,音频等文件放到oss这种对象存储中进行存储,实现高性能的访问,这种情况叫做动静分离.这里只做了图片的配置,视频以及音频的配置是一样的. 以下是nginx.conf的配置信息,其中还有ssl的加密配置,以及后端服务器的代理模块配置,(这里不用的话可以…...

编程日记 2025/8/26 4:08:29

UML对象图

UML对象图一、对象图核心概念对象图（Object Diagram）描述的是系统在某一时刻对象（实例）的状态快照。它关注的是实际对象之间的实例关系，而不是类与类之间的静态结构。主要特点有： 对象（Ob…...

编程日记 2025/8/26 4:13:42

手机不同App音量自动调节软件

软件介绍在日常使用手机的过程中，大家是不是经常会遇到在不同App之间切换时，需要频繁调整音量的情况呢？这样真的很不方便。而一款名为App Volume Control的软件就能很好地解决这个问题。 App Volume Control借助辅助功能服务，能…...

编程日记 2025/8/26 4:15:24

模板方法模式详解

模板方法模式详解及真实场景解决方案推荐学习完策略模式和模板方法模式看这个案例： 策略与模板方法模式组合详解模式定义模板方法模式是一种行为设计模式，在父类中定义算法的骨架，允许子类在不改变算法结构的情况下重写特定步骤。核心思…...

编程日记 2025/8/26 4:13:28

基于SSM邮件收发管理系统（带源码、论文）

摘要随着互联网技术的迅速发展和普及，网络通信已经成了人们离不开的通信手段。作为最早出现的网络通信方式还有世界上应用最为广泛的网络服务之一，电子邮件综合了电话通信和传统邮件的特点，具有传播速度快、价格低廉的优良特性。随着技术发…...

编程日记 2025/8/25 20:15:52

1990-2019年各地级市GDP数据

1990-2019年各地级市GDP数据 1、时间：1990-2019年 2、来源：城市年鉴 3、指标：行政区划代码、年份、省份、城市、经度、纬度、地区生产总值(万元) 4、范围：250地级市 5、指标解释：地区生产总值（Gross R…...

编程日记 2025/8/26 4:15:25

Scala相关知识学习总结5

1、多维数组定义： val arr Array.ofDim[Double](3,4) 表示二维数组中有三个一维数组，每个一维数组有四个元素。 2、列表 List 不可变 List：默认不可变，可创建有序且可重复的列表，可使用:从右向左增加数据&#xf…...

编程日记 2025/8/26 4:27:17

【LangChain Agent 】详解，构建自主决策的 LLM 应用

🐇明明跟你说过：个人主页 🏅个人专栏：《深度探秘：AI界的007》 🏅 🔖行路有良友，便是天堂🔖 目录一、引言 1、什么是 Lang Chain 2、什么是 Agent 二、LangChain …...

编程日记 2025/8/26 4:20:54

Scala基础知识7

一，可变数组和不可变数组的转换方法: 不可变数组转换为可变数组使用 toBuffer 函数. 可变数组转换为不可变数组使用 toArray 函数。转换过程中原始数组不会发生变化，而是返回一个新的数组。二，多维数组使用 Array of 函数创建多维数组&am…...

编程日记 2025/8/21 4:40:40

vmware、centos：快照、redis集群克隆、启动异常

问题描述提示：这里描述项目中遇到的问题： 启动虚拟机报错： 指定的虚拟磁盘需要进行修复打不开磁盘“D:\Virtual Machines\CentOS 7 64 位\CentOS 7 64 位-000001.vmdk”或它所依赖的某个快照磁盘。模块“Disk”启动失败。未能启动虚拟机…...

编程日记 2025/8/21 22:57:58

visual studio断点无法进入

问题背景： 使用VSQt进行编码，新增函数处断点无法进入。问题排查查看moc文件，汇编代码以及设置调试选项均不生效。原因分析之前无意间进行了排版优化，导致新增的代码未正常编译进去，通过“文件-> 高级保存选…...

编程日记 2025/8/25 16:46:27

CNVD-2025-06046：Google Chrome沙箱逃逸漏洞大揭秘与防护指南

CNVD-2025-06046：Google Chrome沙箱逃逸漏洞大揭秘与防护指南前言：浏览器界的“越狱”事件嘿，小伙伴们！今天咱们要聊的不是什么好莱坞大片，而是一出在浏览器世界里真实上演的“越狱”大戏！你没听错&…...

编程日记 2025/8/20 17:12:14

androd的XML页面跳转 Compose Activity 卡顿问题

解决 XML 点击跳转到 Compose Activity 卡顿问题当从 XML 布局的 Activity 跳转到 Compose Activity 时出现卡顿现象，这通常是由以下几个原因导致的： 可能的原因及解决方案 1. Compose 首次初始化开销问题：Compose 框架首次初始化需要时…...

编程日记 2025/8/25 8:50:58

Springboot同时支持不同的数据库，Oracle，Postgresql

关键字 Java，Springboot，Vscode，支持多种数据库背景环境我在实际项目开发工程中遇到这样一个问题，用户 A 使用 Oracle 数据库，用户 B 使用 Postgresql 数据库，但是用户 AB 都使用我们的项目。所以项目…...

编程日记 2025/8/24 19:06:55

【计网】TCP协议的拥塞控制与流量控制

拥塞控制与流量控制的区别流量控制流量控制主要是控制端到端（发送端和接收端）之间的数据传输量，是局部的机制。目的：防止发送方发送数据过快导致接收方来不及处理实现方式：通过滑动窗口机制，接收方通…...

编程日记 2025/8/20 19:04:13

Redis - 字典（Hash）结构和 rehash 机制

字典结构 Redis中的字典由dict.h/dict结构表示: typedef struct dict ( //类型特定函数dictType *type;//私有数据 void "privdata;//哈希表 dictht ht[2];//rehash索引 //当rehash不在进行时,值为-1 in trehashidx; } dict; Redis字典所使用的哈希表由dict.h/dictht 结…...

编程日记 2025/8/25 1:18:49

Redis 与 MongoDB 对比分析

Redis 与 MongoDB 对比分析 1. 核心定位 Redis：内存键值数据库，侧重高性能读写和低延迟，常用于缓存、实时分析、消息队列等场景。MongoDB：分布式文档型数据库，侧重灵活的数据模型和大规模数据存储，支持复…...

编程日记 2025/8/23 1:19:54

1 创建压缩主题（Log Compaction）

2 查看主题的消息量统计

3 查看主题的磁盘使用情况

4 迁移分区副本（重新分配分区）

5 验证分区重新分配进度

6 查看消费者组偏移量

相关文章：