当前位置：首页 > news >正文

kafka logs storage

news 来源：原创 2025/8/13 8:15:45

Kafka 会将日志文件按段（Segment）存储。
Segment是Kafka的最小存储单元，它是一个可追加的文件，用于存储Kafka分区中的一部分消息。
在文件系统中，Partition 是目录名，而Segment 是文件名。

Segment可以通过下面的配置来控制滚动和清理。

log.segment.bytes=1073741824      # 每个 segment 最大 1GB
log.segment.ms=604800000          # 每 7 天切一个新 segment
log.retention.hours=168           # 168 小时后旧段可被删除
cleanup.policy=delete             # 设置删除策略

📁 Segment 文件组成

Kafka 会为每个 segment 创建一组文件，位于某个partition的目录下，例如：

bash-4.4$ ls -lh /opt/kafka/data/logs/my-topic-0
total 216K
-rw-r--r-- 1 202390 10000  10M May  8 06:29 00000000000000000000.index
-rw-r--r-- 1 202390 10000 196K May  8 06:30 00000000000000000000.log
-rw-r--r-- 1 202390 10000  10M May  8 06:29 00000000000000000000.timeindex
-rw-r--r-- 1 202390 10000    8 May  8 02:54 leader-epoch-checkpoint
-rw-r--r-- 1 202390 10000   43 May  8 02:54 partition.metadata

文件类型	后缀	说明
`.log`	主数据文件，存储消息本体（key/value）
`.index`	根据 offset 建立的稀疏索引，便于定位
`.timeindex`	根据时间戳的索引，用于基于时间的查找
`.snapshot`	（事务日志）支持事务性读写
`leader-epoch-checkpoint`	用于记录 leader 任期信息（确保 ISR 一致性）

这些文件中的 00000000000000000000 表示这个 segment 的起始 offset。

一个partition 可以有多组segments.

🧱 Kafka 中 segment 的作用

功能	说明
分割日志文件	防止一个 partition 文件无限增长
支持时间/大小滚动	可配置最大时间或大小
清理目标单位	Kafka 的数据清理（删除或压缩）以 segment 为单位
快速查找消息	每个 segment 有对应的 `.index` 和 `.timeindex` 文件
降低内存压力	分段可以控制内存索引的加载大小

🔧 Segment 的滚动（roll over）

Kafka 会根据如下条件创建新的 segment：

条件	对应配置项
达到最大字节数	`segment.bytes`（默认 1GB）
达到最大时间	`segment.ms`（默认 7 天）
手动 flush/滚动	API 控制或管理工具操作

一旦新 segment 被创建，旧的 segment 就变成“sealed”，不能再写入，只能读取、压缩或删除。

🗑️ Segment 与数据清理策略

Kafka 的两种主要数据清理策略都以 segment 为操作单位：

清理策略	说明
`delete`	Kafka 会定期删除超过保留时间/大小的旧 segment。
`compact`	Kafka 会对旧 segment 进行压缩，保留每个 key 的最新 value。

⚠️ 当前写入的 segment（active segment）不会被清理或压缩，只有旧的 segment 会成为目标。

🧠 示例图解（假设 segment 每 100 条消息切换）

Partition: my-topic-0┌────────────┬────────────┬────────────┬────────────┐│ Segment A  │ Segment B  │ Segment C  │  Active    ││ (offset 0) │ (100)      │ (200)      │ (300~now)  │└────────────┴────────────┴────────────┴────────────┘

Segment A/B/C 是 sealed，可被清理。
最后一个 segment 是 active segment，不断追加写入，不会被清理。

✅ 总结：Segment 是 Kafka 存储的基本块

特性	说明
顺序追加	高效写入磁盘
可被删除或压缩	支持灵活的数据生命周期管理
可快速索引查找	借助 `.index` 和 `.timeindex` 实现高效定位
有助于持久性和故障恢复	数据持久化到磁盘，可随时恢复

Reference

kafka 日志文件segment

kafka logs storage

Kafka 会将日志文件按段（Segment）存储。 Segment是Kafka的最小存储单元，它是一个可追加的文件，用于存储Kafka分区中的一部分消息。在文件系统中，Partition 是目录名，而Segment 是文件名。 Segment可以通过…...

编程日记 2025/8/13 8:15:45

数据分析平台选型与最佳实践：如何打造高效、灵活的数据生态？

数据分析平台选型与最佳实践：如何打造高效、灵活的数据生态？在大数据时代，数据分析平台已经成为企业决策的核心支撑。从传统 BI（商业智能）到现代 AI 驱动的数据分析，选择合适的平台不仅影响数据处理效率，也决定了企业的数字化竞争力。面对市场上的众多解决方案（如 Ap…...

编程日记 2025/8/13 8:10:15

MYSQL之索引结构，为何要用B+树

索引的目的就是为了提高查询效率索引的结构是B树，那么说到B树，必须提一下其他三种结构，分别是：二叉查找树、平衡二叉树、B树我们来看看各自的结构特征二叉查找树特点:任何节点的左子节点的值都小于当前节点的值，右…...

编程日记 2025/8/13 8:04:16

OpenCV 中用于背景分割的一个类cv::bgsegm::BackgroundSubtractorLSBP

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 cv::bgsegm::BackgroundSubtractorLSBP 是 OpenCV 中用于背景分割的一个类，它基于局部样本二进制模式（Local Sample Bina…...

编程日记 2025/8/13 8:05:16

【PmHub后端篇】PmHub Gateway全局过滤器：接口调用耗时统计及黑白名单配置技术深度解析

在微服务架构日益成为现代应用开发主流模式的背景下，网关作为微服务架构前端的关键组件，肩负着路由请求、负载均衡、安全认证、流量控制、监控和日志记录等多项重要任务。本文将围绕PmHub项目中Gateway全局过滤器实现接口调用耗时统计的相关技术进行深入…...

编程日记 2025/8/13 8:10:15

国产激光二极管厂家

中国在激光二极管（Laser Diode）领域已有多家厂商布局，涵盖从低功率到高功率、不同波长的产品，应用于工业、医疗、通信、消费电子等领域。以下是部分国产激光二极管厂家及相关信息，供参考： 1. 武汉锐科光纤…...

编程日记 2025/8/13 8:15:45

安卓基础（XML）

123 属性行为适用场景注意事项match_parent填满父容器可用空间全屏视图、占满剩余空间父容器需有固定尺寸wrap_content根据内容自适应尺寸动态文本、图标、浮动按钮内容过长时可能超出父容器需处理 123 属性作用常用值…...

编程日记 2025/8/13 8:05:16

uniapp｜获取当前用户定位、与系统设定位置计算相隔米数、实现打卡签到(可自定义设定位置、位置有效范围米数)

基于UniApp阐述移动应用开发中定位功能的实现全流程，涵盖实时定位获取、动态距离计算与自定义位置、有效范围设定等功能。文章提供完整的代码示例与适配方案，适用于社交签到、课堂教室打卡等场景。目录引言定位功能在移动应用中的价值（社交、导航、O2O等场景）UniApp跨平台…...

编程日记 2025/8/13 8:08:17

matlab稳定求解高精度二维对流扩散方程

利用MATLAB稳定求解高精度二维对流扩散方程 Diffusion_1D.m , 2310 Diffusion_2D.m , 3813 license.txt , 1334...

编程日记 2025/8/13 8:15:44

【最新版】likeshop连锁点餐系统-PHP版+uniapp前端全开源

一.系统介绍 likeshop外卖点餐系统适用于茶饮类的外卖点餐场景，搭建自己的一点点、奈雪、喜茶点餐系统。系统基于总部多门店的连锁模式，拥有门店独立管理后台，支持总部定价和门店定价LBS定位点餐，可堂食可外卖。无论运营还是二开…...

编程日记 2025/8/13 8:08:45

Redis 重回开源怀抱：开源精神的回归与未来展望

在开源软件的广袤天地里，Redis 一直是备受瞩目的明星项目。近期，Redis 宣布重新回归开源，这一消息犹如一颗石子投入平静的湖面，在技术社区激起层层涟漪。今天，就让我们深入了解 Redis 这一重大转变背后的故事、意义以及…...

编程日记 2025/8/13 8:05:15

mac运行java文件提示错误: 缺少 JavaFX 运行时组件, 需要使用该组件来运行此应用程序

1、问题如上双击java文件打不开，命令行报错。查找了下文章说java8之后，高版本jdk不自带javafx，需要自己下载 2、解决办法首先查看自己的java版本，我是17.0.10 访问 JavaFX - Gluon 下载对应的版本，如果没有对应的 …...

编程日记 2025/8/13 8:04:17

pimpl与unique_ptr的问题

PImpl与std::unique_ptr组合 pimpl(Pointer to Implementation)是C程序开发中非常常用的技巧之一，它的好处有： 节省程序编译时间保持程序/库的二进制兼容性隐藏实现细节举例一个常见的pimpl的使用示例： // a.h class Impl; //前置声明 c…...

编程日记 2025/8/13 8:05:15

Opencv进阶操作：图像拼接

文章目录前言一、图像拼接的原理1. 特征提取与匹配2. 图像配准3. 图像变换与投影4. 图像融合5. 优化与后处理二、图像拼接的简单实现（案例实现）1.引入库2.定义cv_show()函数3.创建特征检测函数detectAndDescribe()4.读取拼接图片5.计算图片特征点及描述…...

编程日记 2025/8/13 8:07:08

记录Token反序列化OAuth2Authentication（主要是直接存储用户信息的UserDetails ）

项目场景： 本地开发环境部署了多套系统，并且使用了同一套登入鉴权组件，存入的TokenStore也是相同的Redis库； 问题描述&原因分析由于是做的不同项目，group等组织机构不同，导致多系统若是有存储相同用…...

编程日记 2025/8/13 8:08:18

【QT】深入理解 Qt 中的对象树：机制、用途与最佳实践

深入理解 Qt 中的对象树：机制、用途与最佳实践在使用 Qt 编程时，你是否注意到很多对象可以设置“父对象”？比如： QPushButton* btn new QPushButton(parentWidget);这不是简单的层级结构，而是 Qt 强大而优雅的对象…...

编程日记 2025/8/13 8:11:37

基于FPGA的血氧和心率蓝牙监测系统设计-max30102

文章目录前言一、芯片手册分析二、串口接口的血氧模块使用讲解三、仿真时序分析四、代码分析1.蓝牙数据发送2.心率数据采集总结前言本产品的核心是基于心率传感器的智能心率监测系统，通过硬件端的心率传感器获取人体的心率和血氧浓度等信息，并进行实…...

编程日记 2025/8/13 8:13:49

华为首款鸿蒙电脑正式亮相，开启国产操作系统新篇章

5 月 8 日，华为在深圳举办鸿蒙电脑技术与生态沟通会，正式推出了备受瞩目的首款鸿蒙电脑，这一重大举措标志着国产操作系统在个人电脑（PC）领域实现了关键突破，为行业发展注入了新的活力。历经五年打磨&…...

编程日记 2025/8/13 8:11:37

Docker部署常见应用之Superset

文章目录使用 Docker 部署使用 Docker Compose 部署参考文章以下是使用 Docker 部署 Superset 并将存储配置为 MySQL 的详细步骤： 使用 Docker 部署获取Superset镜像: 使用Docker从官方仓库拉取Superset镜像：docker pull apache/superset:4.0.0创建 …...

编程日记 2025/8/13 8:13:50

触想CX-3588工控主板应用于移动AI数字人，赋能新型智能交互

一、行业发展背景随着AI智能、自主导航和透明屏显示等技术的不断进步，以及用户对“拟人化”、“沉浸式”交互体验的期待，一种新型交互终端——“移动AI数字人”正在加速实现规模化商用。各大展厅展馆、零售导购、教学政务甚至家庭场景中，移…...

编程日记 2025/8/13 8:08:18

关系代数操作之复杂扩展操作

除（Division） 定义：关系R为n度关系，关系S为m度关系，m<n,记作RS，关系是K（n-m）度关系数学描述： 相当于（RS）*S在R中的元组外连接&#xff08…...

编程日记 2025/8/13 8:07:07

STM32G070xx将Flash页分块方式存储，固定数据块存储，实现一次擦除多次写入

STM32G070xx将Flash页分块方式存储，固定数据块存储，实现一次擦除多次写入参考例程例程说明一、存储区数据结构二、读取存储区数据三、写入存储区数据四、测试函数五、测试结果参考例程 STM32G0xx使用LL库将Flash页分块方式存储数据实现一次擦除可多次…...

编程日记 2025/8/13 8:08:44

V4L2应用程序开发-- 控制流程

使用摄像头时，我们可以调整很多参数，比如： 对于视频流本身： 设置格式：比如V4L2_PIX_FMT_YUYV、V4L2_PIX_FMT_MJPEG、V4L2_PIX_FMT_RGB565 设置分辨率：1024*768等对于控制部分： 调节亮度调…...

编程日记 2025/8/13 8:02:16

《大数据技术之Scala》

这是一篇关于大数据技术中Scala语言的基础教程文章，主要介绍了Scala语言的发展历史、与Java的关系、语言特点、环境搭建、插件安装、编程基础、变量和数据类型、运算符、流程控制、函数式编程、面向对象编程、集合操作、模式匹配、异常处理、隐式转换和泛型等核心内…...

编程日记 2025/8/13 8:08:45

使用thymeleaf模版导出swagger3的word格式接口文档

1.pom配置 <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.0.8.RELEASE</version></parent><properties><skipTests>true</skipTests&g…...

编程日记 2025/8/13 8:08:44

Android RecyclerView自带的OnFlingListener，Kotlin

Android RecyclerView自带的OnFlingListener，Kotlin Android启动应用时屏蔽RecyclerView滑动，延时后再允许滑动，Kotlin-CSDN博客使用了GestureDetectorRecyclerView的setOnTouchListener检测用户的快滑fling事件。发现RecyclerView也自带了监…...

编程日记 2025/8/13 8:07:08

STM32+安信可Ai-WB2-12F连接阿里云物联网平台

第一步：在阿里云物联网平台创建设备具体操作流程如下第二步：生成个人client_id,用户名和密码打开该软件sign.html 将刚才复制的信息粘贴进去生成自己的client_id,用户名和密码第三步：打开MQTTfx软件电机connect旁边的配置&#xff0…...

编程日记 2025/8/13 8:04:17

Python实现中文数字与阿拉伯数字映射生成器（支持0-9999）

文章目录 1. 引言2. 需求分析‌3. 核心实现思路‌4. 完整代码实现‌ 1. 引言在中文文本处理和自然语言处理(NLP)应用中，经常需要将中文数字转换为阿拉伯数字。本文将介绍如何使用Python根据用户从控制台输入的数字范围，生成相应的中文数字到阿拉伯数字…...

编程日记 2025/8/13 8:02:17

链表的面试题4之合并有序链表

这篇文章我们继续来讲链表中很经典的面试题：合并有序链表。目录迭代递归我们首先来看一下这张图片里面的要求，给你两个链表，要求把他们按照从小到大的方式排列。这里涉及到几个问题，首先，我们的头节点是不是要…...

编程日记 2025/8/13 8:02:17

CTF - PWN之ORW记录

CTF - Pwn之ORW记录https://mp.weixin.qq.com/s/uiRtqCSopn6U6NqyKJ8I7Q...

编程日记 2025/8/8 14:32:03

mission planner烧录ardupilot固件报错死机

问题烧录自己编译的固件，upload done成功后，又跳出以下提示 ，返回重新烧录仍然报错解决先烧录官方稳定的固件然后使用mission planner连接，此时可能会反复识别串口，因为会死机反复重启，导致灯闪烁又…...

编程日记 2025/8/8 14:32:01

单片机嵌入式滤波算法库

kw_ucFiltering库说明本科针对常用的滤波算法进行汇总，主要包括： 一阶滤波算法平滑滤波中位值滤波限幅卡尔曼滤波截至目前（20250508）滤波算法持续更新中。本库开源连接地址：gitee连接一阶滤波算法实现原理…...

编程日记 2025/8/8 14:31:59

CAS、CAS自旋、CAS自旋锁、CLH锁与Java AQS：深入理解并发编程核心机制

CAS、CAS自旋、CAS自旋锁、CLH锁与Java AQS：深入理解并发编程核心机制 1. CAS（Compare and Swap） 什么是CAS？ CAS（Compare and Swap）是一种无锁（Lock-Free）的原子操作，…...

编程日记 2025/8/8 14:31:58

《运维那些事儿》专栏总目录(持续更新)

《运维那些事儿》专栏以Linux系统为基础，分享作者十年运维生涯中运用到的关键技术要点。本专栏涵盖消息中间件、数据中间件、数据库、虚拟化、Web服务器、高可用架构等运维工作中涉及到的相关内容，每周持续交叉更新一篇高质量技术博文。学生可用于了解、…...

编程日记 2025/8/8 14:31:56

鸿蒙NEXT开发动画案例4

1.创建空白项目 2.Page文件夹下面新建Spin.ets文件，代码如下： /*** TODO SpinKit动画组件 - 双粒子旋转缩放动画* author: CSDN-鸿蒙布道师* since: 2025/05/08*/ ComponentV2 export struct SpinFour {// 参数定义Require Param spinSize: number 36…...

编程日记 2025/8/8 14:31:53

【Linux学习笔记】基础IO之理解文件

【Linux学习笔记】基础IO之理解文件 🔥个人主页：大白的编程日记 🔥专栏：Linux学习笔记前言哈喽，各位小伙伴大家好!上期我们讲了进程替换今天我们讲的是基础IO之理解文件。话不多说，我们进入正题&#…...

编程日记 2025/8/8 14:31:50

form、搜索框、底部导航栏设置class <el-table :height"tableHeight" /> // 计算表格高度的计算属性 const tableHeight ref(0); proxy.toTableHeight((res)>{tableHeight.value res; });tableHeight.js import { nextTick } from vue;export fun…...

编程日记 2025/8/8 16:40:22

【Linux系列】目录大小查看

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan 的首页,持续学…...

编程日记 2025/8/8 16:40:20

数据结构*二叉树

树树是一种非线性数据结构。这就是抽象的树的结构。对于一棵树来说，有N个结点，就有N-1条边其中有许多概念： 根结点：对于上图来说就是A 子树：就是结点下面分开的部分。例如：A的子树就是以B为根结点的…...

编程日记 2025/8/8 16:40:18

RESTful

一：简介定义 （1）访问网络资源的格式 （2）优点 （3）区分操作 （4）注意事项...

编程日记 2025/8/8 16:40:17

人工智能的自动驾驶新纪元：端到端智能系统挑战与前沿探索方案

一、引言：从模块化到端到端的范式革命（一）自动驾驶技术演进的三个时代自动驾驶技术自诞生以来，经历了从机械化辅助到智能化决策的漫长演进。早期，以定速巡航为代表的 1.0 时代，仅实现了简单的速度控制，车辆仍需驾驶员全程主导操控。随着传感器与算法发展，进入 2.0 时…...

编程日记 2025/8/8 16:40:15

第四章 OpenCV篇—图像梯度与边缘检测—Python

目录一.Sobel算子二.Scharr算子与laplacian算子三.Canny边缘检测 1.高斯滤波器 2.梯度和方向 3.非极大值抑制 4.双阈值检测此章节主要讲解图像梯度计算方法和边缘检测算法，分别主要是：sobel算子、scharr与lapkacian算子、canny边缘检测流程。…...

编程日记 2025/8/8 16:40:13

幂等的几种解决方案以及实践

目录什么是幂等？ 解决幂等的常见解决方案： 唯一标识符案例数据库唯一约束案例乐观锁案例分布式锁（Distributed Locking） 实践精选方案首先为什么不直接使用分布式锁呢？ 自定义实现幂等组件&#xff01…...

编程日记 2025/8/8 16:40:12

拥塞控制流量控制区别

对比项拥塞控制流量控制关注对象整个网络是否过载接收方主机是否处理不过来控制目标避免网络路由器、链路拥塞避免发送方发太快，接收方来不及处理发生原因网络中有太多数据包，引起排队、丢包接收方缓存能力有限实现方式基于网络状态动态调整发送速率基…...

编程日记 2025/8/8 13:23:00

AWS VPC架构师指南：从零设计企业级云网络隔离方案

一、VPC核心概念解析 1.1 核心组件 VPC：逻辑隔离的虚拟网络，可自定义IPv4/IPv6地址范围（CIDR块） 子网（Subnet）： 公有子网：绑定Internet Gateway（IGW）&#…...

编程日记 2025/8/8 16:40:10

[逆向工程]什么是DLL注入（二十二）

[逆向工程]什么是DLL注入（二十二） 引言 DLL注入（DLL Injection） 是Windows系统下一种重要的进程控制技术，广泛应用于软件调试、功能扩展、安全检测等领域。然而，它也是一把“双刃剑”——恶意软件常借此实…...

编程日记 2025/8/8 12:18:40

极简远程革命：节点小宝 — 无公网IP的极速内网穿透远程解决方案

极简远程革命：节点小宝，让家庭与职场无缝互联 ——打破公网桎梏，重塑数字生活新体验关键词：节点小宝｜内网穿透｜P2P直连｜家庭网络｜企业协作｜智能组网节点小宝&#xff5…...

编程日记 2025/8/8 16:40:08

Vue生命周期脚手架工程Element-UI

一 Vue2.x生命周期每个vue实例再被创建时都要经过一系列的初始化过程： 创建实例装载模板渲染模板等等 vue为生命周期中的每个状态都设置了钩子函数（监听函数）。每个vue实例处于不同的生命周期时，对应的函数就会触发调用 https:…...

编程日记 2025/8/8 16:40:07

LeetCode[226] 翻转二叉树

思路： 使用递归，归根结底还是左右节点互相倒，那么肯定需要一个temp节点在中间传递，最后就是递归，没什么说的代码： /*** Definition for a binary tree node.* public class TreeNode {* int …...

编程日记 2025/8/11 15:40:26

ConcurrentHashMap解析

ConcurrentHashMap解析以下是对 Java 8 及以后版本 ConcurrentHashMap 源码的深入解析，涵盖其底层数据结构、并发控制机制、核心操作流程、扩容与迁移、树化/退化策略，以及性能特性。总体来说，ConcurrentHashMap 在 JDK 8 中摒弃了原有的 S…...

编程日记 2025/8/8 16:40:03