Kafka 深入服务端 — 时间轮
Kafka中存在大量的延迟操作，比如延时生产、延时拉取和延时删除等。Kafka基于时间轮概念自定义实现了一个用于延时功能的定时器，来完成这些延迟操作。
1 时间轮
Kafka没有使用基于JDK自带的Timer或DelayQueue来实现延迟功能，因为它们的插入和删除操作的时间复杂度为logn,这不能满足Kafka高性能要求。
1.1 Timer 和 DelayQueue
它们都使用了一个优先级队列（通常基于堆实现）来管理任务。
1.1.1 Timer
用于计划在特定时间后执行的任务，这些任务可以只执行一次或定期重复执行。其有以下特点：
- 运行在单线程中，无法满足多个任务同时执行的需求。如果前置任务耗时长，可能会阻塞后置任务。
- 如果任务执行过程中抛出异常，Timer会被异常中断停止。
public class TimerTest {public static void main(String[] args) {Timer timer = new Timer();Date startTime = new Date();TimerTask task1 = new TimerTask() {@Overridepublic void run() {long dis = (new Date().getTime() - startTime.getTime()) / 1_000;System.out.println("task1执行,距离开始时间:" + dis + "s");}};TimerTask task2 = new TimerTask() {@Overridepublic void run() {long dis = (new Date().getTime() - startTime.getTime()) / 1_000;System.out.println("task2执行,距离开始时间:" + dis + "s，休眠5s。");try {Thread.sleep(5000);} catch (InterruptedException e) {throw new RuntimeException(e);}System.out.println("task2休眠结束");}};TimerTask task3 = new TimerTask() {@Overridepublic void run() {long dis = (new Date().getTime() - startTime.getTime()) / 1_000;System.out.println("task3执行,距离开始时间:" + dis + "s");}};timer.schedule(task1,1000); // 1s后执行timer.schedule(task2,2000); // 2s后执行timer.schedule(task3,3000); // 3s后执行}
// 执行结果:
// task1执行,距离开始时间:1s
// task2执行,距离开始时间:2s，休眠5s。
// task2休眠结束
// task3执行,距离开始时间:7s
}1.1.2 DelayQueue
是一个无界阻塞队列，用于存储实现了Delayed接口的元素，这些元素只有在它们的延迟期满时才会被取出。其有以下特点：
- 线程安全，可以在多线程环境中使用。
- 无界队列，可以存储任意数量的元素，直到系统内存耗尽。
- 延迟精度依赖与系统时钟。
public class DelayQueueTest {private static class DelayQueueTask implements Delayed {private final String taskName;private final long delayTime;private DelayQueueTask(String taskName, long delayTime) {this.taskName = taskName;this.delayTime = delayTime + System.currentTimeMillis();}@Overridepublic long getDelay(TimeUnit unit) { // 返回剩余延迟long diff = delayTime - System.currentTimeMillis();return unit.convert(diff,TimeUnit.MILLISECONDS);}@Overridepublic int compareTo(Delayed o) {if (this.delayTime < ((DelayQueueTask) o).delayTime) {return -1;}if (this.delayTime > ((DelayQueueTask) o).delayTime) {return 1;}return 0;}@Overridepublic String toString() {return "DelayQueueTask{" +"taskName='" + taskName + '\'' +", delayTime=" + delayTime +'}';}}public static void main(String[] args) throws InterruptedException {DelayQueue<DelayQueueTask> delayQueue = new DelayQueue<>();delayQueue.offer(new DelayQueueTask("task1",5000));delayQueue.offer(new DelayQueueTask("task2",2000));delayQueue.offer(new DelayQueueTask("task3",4000));System.out.println("开始执行delayQueue任务");while (!delayQueue.isEmpty()) {DelayQueueTask task = delayQueue.take();System.out.println("任务:" + task);}System.out.println("delayQueue任务 任务执行完毕");}
}1.2 时间轮结构
Kafka 在任务的插入与删除采用了时间轮结构，其时间复杂度为O(1)，而在时间推进上，还是依赖JDK提供的DelayQueue。
图 时间轮（TimingWheel）结构
Kafka的时间轮是一个存储定时任务的环形队列，每个元素（时间格）相当于一个桶(bucket)，来存储一个定时任务列表TimerTaskList。TimerTaskList是一个环形的双向链表，链表中的每一项都是定时任务项TimerTaskEntry，其中封装了真正的定时任务TimerTask。
Kafka将TimerTaskList插入到DelayQueue（队列）中，使其成为其中的一个元素。它的过期时间为TimerTaskList的TimerTaskEntry中最快过期的时间。
1.2.1 时间格与时间跨度
时间轮由多个时间格组成（上面示意图中，每一层有10个时间格），每个时间格代表时间轮的基本时间跨度（tick）,时间格数（wheelSize）是固定的,那么时间轮的总体跨度interval = tick * wheelSize。
时间轮还有一个表盘指针（currentTime），用来表示时间轮当前所处的时间。currentTime是tick的整数倍，currentTime将整个时间轮划分为到期部分和未到期部分。当前指向的时间格也属于到期部分，此时需要处理此时间格所对应的TimerTaskList中的所有任务。
上面示意图中，tick = 1s，此时currentTime指向第2个时间格，需要处理这个时间格存储的所有任务。假设，此时插入了一个3s后的任务，则把该任务插入第5个时间格中的bucket。
1.2.2 时间轮层级
当currentTime 指向第2个时间格时，需要插入一个33s后的任务，此时时间超过了第一层的跨度（1s * 10 = 10s）。Kafka引入层级时间轮的概念，当到期时间超过了当前时间轮所表示的时间范围时，就会尝试添加到上层的时间轮中。
33s 的任务会被插入到第二层的第(33 / 10 = 3) 3 个时间格中。
第一层的开始时间（第0格）startMs 是当前系统时间。其余高层时间轮的起始时间都设置为创建此层时前面第一轮的currentTime。
每一层时间轮都会有指向更高一层的引用。
1.2.3 任务处理及时间轮降级
图 时钟
时间轮类似于时钟，当每一层走完一圈时，上一层就会走一格。例如当第1层的currentTime 指向第2格时，此时需要插入两个任务，分别是33s及39s后。它们都会被插入到第2层的第3格中的bucket（TimerTaskList）。
假设经过33s（第1层指向第5格，第2层指向第3格）后，此bucket还是只有这两个任务。Kafka会把它们所在的TimerTaskList从第2层的第3格中取出，将33s的任务执行并从TimerTaskList中删除。此时，39s的任务还剩6s，Kafka会把这个任务“降级”，插入到第1层第1（（5+6）% 10）格中。
1.2.4 时间推进与DelayQueue
如果按照时间格一格格推进时间，这样消耗会比较大，而且可能好多时间格没有存储任务。Kafka借助DelayQueue来推进时间。
将时间格bucket的TimerTaskList封装成Delayed，其剩余时间取TimerTaskList中TimerTaskEntry最快达到的时间。然后将这些Delayed插入到DelayQueue中。DelayQueue会将这些Delayed排序，最快到达的排在队列头部。当到达时刻时，将表头的TimerTaskEntry取出，对它的TaskEntry执行任务执行或降级等操作。
相关文章：
Kafka 深入服务端 — 时间轮
Kafka中存在大量的延迟操作，比如延时生产、延时拉取和延时删除等。Kafka基于时间轮概念自定义实现了一个用于延时功能的定时器，来完成这些延迟操作。 1 时间轮 Kafka没有使用基于JDK自带的Timer或DelayQueue来实现延迟功能，因为它们的插入和…...
ubuntu系统docker环境搭建
ubuntu系统docker环境搭建 docker引擎安装 高版本docker引擎安装时已经自带有docker compose 安装参考docker官网Install Docker Engine on Ubuntu 方式一： 在线安装 参考apt方式安装 1、Set up Docker’s apt repository. # Add Dockers official GPG key: …...
安宝特方案 | AR在供应链管理中的应用：提升效率与透明度
随着全球化的不断深入和市场需求的快速变化，企业对供应链管理的要求也日益提高。如何在复杂的供应链环境中提升效率、降低成本，并确保信息的透明度，成为了各大行业亟待解决的问题。而增强现实（AR）技术，特别…...
[ Spring ] Spring Cloud Alibaba Message Stream Binder for RocketMQ 2025
文章目录 IntroduceProject StructureDeclare Plugins and ModulesApply Plugins and Add DependenciesSender PropertiesSender ApplicationSender ControllerReceiver PropertiesReceiver ApplicationReceiver Message HandlerCongratulationsAutomatically Send Message By …...
再述 Dijkstra
再述 Dijkstra 学 Dijkstra 好久了，今天再学了一遍，感觉推翻了好多自己的知识…… 定义 一种用于求非负权值的图的单源最短路径的算法。 方法 已知：如果要求从起始点 s 到某一个点 x 的最短路径，显然只能从某一个已确认为最短…...
大语言模型之prompt工程
前言 随着人工智能的快速发展，我们正慢慢进入AIGC的新时代，其中对自然语言的处理成为了智能化的关键一环，在这个大背景下，“Prompt工程”由此产生，并且正逐渐成为有力的工具... LLM （Large Language Mode…...
JavaScript系列（43）--依赖注入系统实现详解
JavaScript依赖注入系统实现详解 💉 今天，让我们深入探讨JavaScript的依赖注入系统实现。依赖注入是一种设计模式，它通过将依赖关系的创建和管理从代码中分离出来，提高了代码的可维护性和可测试性。 依赖注入基础概念 …...
Mono里运行C#脚本36—加载C#类定义的成员变量和方法的数量
前面分析了加载类和基类的基本过程， 接着来分析一下加载成员变量和方法的数量。 因为我们知道C#语言定义一个类，主要就是定义成员变量，以及那些对此成员变量进行操作的方法， 所以需要使用一种方法来描述C#语言定义类的能力。 一般情况下，主要有两种类型： 普通的类，比如前…...
SWPU 2022 新生赛--web题
奇妙的MD5 进入靶场 然我们输入一个特殊的字符串，然后我到处翻了翻，发现有提示 在MD5中有两个特殊的字符串 0e215962017 //MD5加密后弱比较等于自身 ffifdyop //MD5加密后变成万能密码 这里明显就是万能密码了 输入之后就来到了这个页…...
Windows 靶机常见服务、端口及枚举工具与方法全解析：SMB、LDAP、NFS、RDP、WinRM、DNS
在渗透测试中，Windows 靶机通常会运行多种服务，每种服务都有其默认端口和常见的枚举工具及方法。以下是 Windows 靶机常见的服务、端口、枚举工具和方法的详细说明： 1. SMB（Server Message Block） 端口 445/TCP&…...
记一次Linux共享内存段排除Bug：key值为0x0000000的共享内存段删除不了
本文目录 一、问题情况二、解决方法2.1 通过kill命令删除2.2 通过程序删除 一、问题情况 今天查看共享内存段发现好多共享内存段，而且命令ipcrm -m <shmid>删除不了。 回想了一下，应该是有一些程序跑while循环，或者死循环，…...
RV1126画面质量四：GOP改善画质
一． 什么是 GOP GOP 实际上就是两个 I 帧的间隔，比方说分辨率是 1920 * 1080 50 帧，假设 GOP 为 5，那就是大概 2s 插入一个 I 帧。我们再 回顾下，H264/H265 的帧结构。H264/H265 分别分为三种帧类型：I 帧、…...
手机app如何跳过无障碍权限实现弹框自动点击-ADB连接专题
手机app如何跳过无障碍权限实现弹框自动点击 --ADB连接专题 一、前言 我们在前期的时候，在双SIM卡进行协同外呼和SIM卡切换时，对如何在手机中“执行批处理脚本做自动点击”的内容进行预研，力图使用事件触发和坐标点击等方式来实现手机安装…...
)
kafka-保姆级配置说明(consumer)
bootstrap.servers #deserializer应该与producer保持对应 #key.deserializer #value.deserializer ##fetch请求返回时，至少获取的字节数，默认值为1 ##当数据量不足时，客户端请求将会阻塞 ##此值越大，客户端请求阻塞的时间越长&…...
c语言中的数组（上）
数组的概念 数组是⼀组相同类型元素的集合； 数组中存放的是1个或者多个数据，但是数组元素个数不能为0。 数组中存放的多个数据，类型是相同的。 数组分为⼀维数组和多维数组，多维数组⼀般⽐较多⻅的是⼆维数组。 数组创建 在C语言…...
20250122-正则表达式
1. 正则标记 表示一位字符：\\ 表示指定的一位字符：x 表示任意的一位字符：. 表示任意一位数字：\d 表示任意一位非数字：\D 表示任意一个字母：[a-zA-Z]（大写或小写） 表示任意一个…...
（回溯法 子集）leetcode78
#include<iostream> #include<string> #include<vector> //只有子集需要在每个结点收集结果，其余在叶子结点收集结果 using namespace std; vector<vector<int>>ans; vector<int>combine; void backtracking(int index,vector&…...
Pyecharts之图表组合与布局优化
在数据可视化中，我们经常需要将多个图表组合在一起，以展示不同维度的数据或者进行对比分析。同时，合理的布局能够提升图表的可读性和用户体验。Pyecharts 提供了强大的组件和方法，让我们可以轻松实现图表的组合和布局优化。本篇将…...
代码随想录训练营第五十六天| 108.冗余连接 109.冗余连接II
108.冗余连接 题目链接：卡码网题目链接（ACM模式） (opens new window) 讲解链接：代码随想录 并查集可以解决什么问题：两个节点是否在一个集合，也可以将两个节点添加到一个集合中。 引自代码随想录ÿ…...
私有包上传maven私有仓库nexus-2.9.2
一、上传 二、获取相应文件 三、最后修改自己的pom文件...
)
二叉搜索树中的搜索(力扣700)
首先介绍一下什么是二叉搜索树。 二叉搜索树是一个有序树： 若它的左子树不空，则左子树上所有结点的值均小于它的根结点的值；若它的右子树不空，则右子树上所有结点的值均大于它的根结点的值；它的左、右子树也分别为二叉…...
)
社区养老服务平台的设计与实现(代码+数据库+LW)
摘 要 互联网发展至今，无论是其理论还是技术都已经成熟，而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播，搭配信息管理工具可以很好地为人们提供服务。针对信息管理混乱，出错率高，信息安全性差&#…...
高速光模块中的并行光学和WDM波分光学技术
随着AI大模型训练和推理对计算能力的需求呈指数级增长，AI数据中心的网络带宽需求大幅提升，推动了高速光模块的发展。光模块作为数据中心和高性能计算系统中的关键器件，主要用于提供高速和大容量的数据传输服务。 光模块提升带宽的方法有两种…...
python生成图片和pdf，快速
1、下载安装 pip install imgkit pip install pdfkit2、wkhtmltopdf工具包，下载安装 下载地址：https://wkhtmltopdf.org/downloads.html 3、生成图片 import imgkit path_wkimg rD:\app\wkhtmltopdf\bin\wkhtmltoimage.exe # 工具路径，安…...
浅谈在AI时代GIS的发展方向和建议
在AI时代，GIS（地理信息系统）的发展正经历着深刻的变革，随着人工智能技术的进步，GIS不再仅仅是传统的地图和空间数据处理工具，而是向更加智能化、自动化、精准化的方向发展。作为一名GIS开发工程师ÿ…...
【25考研】中科院软件考研复试难度分析！
中科院软件复试不需要上机！且对专业综合能力要求较高！提醒同学一定要认真复习！ 一、复试内容 二、参考书目 官方并未明确给出，建议同学参考初试书目： 1）《数据结构（C语言版）》严蔚…...
- 计算网络信号、信号强度（JavaScriptJava PythonC/C++）)
【2024年华为OD机试】 (A卷,200分)- 计算网络信号、信号强度（JavaScriptJava PythonC/C++）
一、问题描述 题目解析 问题描述 我们有一个 m x n 的二维网格地图，每个格子可能是以下几种情况之一： 0：表示该位置是空旷的。x（正整数）：表示该位置是信号源，信号强度为 x。-1：表示该位置是阻隔物，信号无法直接穿透。信号源只有一个，阻隔物可能有多个。信号在传播…...
SpringBoot整合Swagger UI 用于提供接口可视化界面
目录 一、引入相关依赖 二、添加配置文件 三、测试 四、Swagger 相关注解 一、引入相关依赖 图像化依赖 Swagger UI 用于提供可视化界面： <dependency><groupId>io.springfox</groupId><artifactId>springfox-swagger-ui</artifactI…...
C语言：数据的存储
本文重点： 1. 数据类型详细介绍 2. 整形在内存中的存储：原码、反码、补码 3. 大小端字节序介绍及判断 4. 浮点型在内存中的存储解析 数据类型结构的介绍： 类型的基本归类： 整型家族 浮点家族 构造类型： 指针类型&…...
OpenFGA
1.什么是OpenFGA Fine-Grained Authorization 细粒度关系型授权 2.什么是细粒度授权 细粒度授权 (FGA) 意味着能够授予特定用户在特定资源中执行特定操作的权限。 精心设计的 FGA 系统允许您管理数百万个对象和用户的权限。随着系统不断添加对象并更新用户的访问权限&#…...
Kafka 入门与应用实战：吞吐量优化与与 RabbitMQ、RocketMQ 的对比
前言 在现代微服务架构和分布式系统中，消息队列作为解耦组件，承担着重要的职责。它不仅提供了异步处理的能力，还能确保系统的高可用性、容错性和扩展性。常见的消息队列包括 Kafka、RabbitMQ 和 RocketMQ，其中 Kafka 因其高吞吐量…...
单链表算法实战：解锁数据结构核心谜题——链表的回文结构
题目如下： 解题过程如下： 回文结构举例： 回文数字：12521、12321、1221…… 回文字符串：“abcba”、“abba”…… 并不是所有的循环嵌套的时间复杂度都是O(n^2) 可以用C写C程序： C里可以直接使用ListNode…...
【2024年 CSDN博客之星】我的2024年创作之旅：从C语言到人工智能，个人成长与突破的全景回顾
我的2024年创作之旅：从C语言到人工智能，个人成长与突破的全景回顾 引言 回望2024年，我不仅收获了技术上的成长，更收获了来自CSDN平台上无数粉丝、朋友以及网友们的支持与鼓励。在这条创作之路上，CSDN不仅是我展示技术成…...
Qt Enter和HoverEnter事件
介绍 做PC开发的过程中或多或少都会接触到鼠标的悬停事件，Qt中处理鼠标悬停有Enter和HoverEnter两种事件 相同点 QEvent::Enter对应QEnterEvent，描述的是鼠标进入控件坐标范围之内的行为，QEnterEvent可以抓取鼠标的位置；QEvent…...
Python：元组构造式和字典推导式
（Python 元组构造式和字典推导式整理笔记） 1. 元组构造式 1.1 创建元组 使用圆括号： tuple1 (1, 2.5, (three, four), [True, 5], False) print(tuple1) # 输出: (1, 2.5, (three, four), [True, 5], False) 省略圆括号： tup…...
科普篇 | “机架、塔式、刀片”三类服务器对比
一、引言 在互联网的世界里，服务器就像是默默运转的超级大脑，支撑着我们日常使用的各种网络服务。今天，咱们来聊聊服务器家族中的三位 “明星成员”：机架式服务器、塔式服务器和刀片式服务器。如果把互联网比作一座庞大的城市&…...
数据结构——概念与时间空间复杂度
目录 前言 一相关概念 1什么是数据结构 2什么是算法 二算法效率 1如何衡量算法效率的好坏 2算法的复杂度 三时间复杂度 1时间复杂度表示 2计算时间复杂度 2.1题一 2.2题二 2.3题三 2.4题四 2.5题五 2.6题六 2.7题七 2.8题八 四空间复杂度 1题一 2题二 3…...
centos7 配置国内镜像源安装 docker
使用国内镜像源：由于 Docker 的官方源在国内访问可能不稳定，你可以使用国内的镜像源，如阿里云的镜像源。手动创建 /etc/yum.repos.d/docker-ce.repo 文件，并添加以下内容： [docker-ce-stable] nameDocker CE Stable -…...
PyCharm配置Python环境
1、打开PyCharm项目 可以从File-->Open-->选择你的项目路径-->OK，或者直接点击Open，找到项目路径-->OK，如图所示(点击Ok后可能有下面的弹窗，选择“Trust Project”即可，然后选择“New Window”打开项目) …...
 系统安装jenkins服务)
Linux（Centos、Ubuntu) 系统安装jenkins服务
该文章手把手演示在Linux系统下如何安装jenkins服务、并自定义jenkins数据文件位置、以及jenkins如何设置国内镜像源加速，解决插件下载失败问题 安装方式：war包安装 阿里云提供的war下载源地址：https://mirrors.aliyun.com/jenkins/war/?s…...
语义检索(1))
本地大模型编程实战(02)语义检索(1)
文章目录 准备加载文档分割文档嵌入矢量存储查询矢量库检索返回评分先嵌入查询文本再检索 检索器总结代码 我们在百度、必应、谷歌等搜索引擎中使用的检索都是基于字符串的：用户输入字符串后，搜索引擎先对搜索内容进行分词，然后在已经进行了倒…...
使用 Redis 实现分布式锁的基本思路
使用 Redis 实现分布式锁的基本思路 在分布式系统中，多个进程或服务可能会同时访问共享资源（如数据库、缓存、文件等），这可能会导致数据不一致或并发冲突。Redis 由于其高性能和单线程模型，是实现分布式锁的一个常见选…...
SQL-leetcode—1193. 每月交易 I
1193. 每月交易 I 表：Transactions ---------------------- | Column Name | Type | ---------------------- | id | int | | country | varchar | | state | enum | | amount | int | | trans_date | date | ---------------------- id 是这个表的主键。 该表包含…...
【MYSQL】mysql 常用命令
文章目录 1. 数据库管理命令2. 表管理命令3. 数据操作命令4. 数据查询进阶5. 用户与权限管理6. 使用脚本操作数据库 1. 数据库管理命令 -- 查看所有数据库 SHOW DATABASES;-- 创建数据库 CREATE DATABASE 数据库名;-- 选择数据库 USE 数据库名;-- 删除数据库 DROP DATABASE 数…...
linux 内核学习方向以及职位
### 学习路径 1. 基础阶段： - C语言高级特性 - 指针和内存管理 - 数据结构实现 - 位操作 - 多线程编程 - Linux系统编程 - 文件I/O操作 - 进程管理 - 信号处理 - IPC机制 - Socket编程 - 必备知识 - 操作系统原理 - 计算机体系结构 - …...
DeepSeek火爆，参数量、激活参数 和 预训练 token 量 是什么？
最近DeepSeek火爆，爆出了几个关键参数，分别是参数量、激活参数 和 预训练 token 量。 这里用通俗的语言给大家解释一下~ 首先要知道1B 是 Billion（十亿）的缩写 参数量：671B（6710 亿） 想象你…...
设计新的 Kibana 仪表板布局以支持可折叠部分等
作者：来自 Elastic Teresa Alvarez Soler, Hannah Mudge 及 Nathaniel Reese 在 Kibana 中构建可折叠仪表板部分需要彻底改造嵌入式系统并创建自定义布局引擎。这些更新改进了状态管理、层次结构和性能，同时为新的高级仪表板功能奠定了基础。 我们正在开…...
vscode如何安装vue语法支持
在VSCode中安装Vue语法支持非常简单。1、你需要安装“Vetur”扩展，这是一个专门为Vue.js开发设计的扩展；2、你可以通过VSCode的扩展市场轻松找到并安装它；3、安装完成后，你还可以根据需要进行一些配置，以优化你的开发体…...
从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑
文章目录 从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑一 参考二 安装三 启动准备大模型文件 四 数据集（关键）！4.1 Alapaca格式4.2 sharegpt4.3 在 dataset_info.json 中注册4.4 官方 alpaca_zh_demo 例子 999条数据, 本机微调 5分…...
(read)-示例及核心部件)
easyexcel-导入(读取)(read)-示例及核心部件
文章目录 导入(读取)(read)-示例及核心部件导入(读取)(read)-核心部件EasyExcel(EasyExcelFactory) # 入口read() # read()方法用于构建workbook(工作簿)对象，new ExcelReaderBuilder()doReadAll()这里选XlsxSaxAnalyser这个实现类吧然后到这个类XlsxRowHandler&…...