当前位置: 首页 > news >正文

pulsar中的延迟队列使用详解

Apache Pulsar的延迟队列支持任意时间精度的延迟消息投递,适用于金融交易、定时提醒等高时效性场景。其核心设计通过堆外内存索引队列持久化分片存储实现,兼顾灵活性与可扩展性。以下从实现原理、使用方式、优化策略及挑战展开解析:


一、核心实现原理
  1. 延迟消息索引管理

    • 堆外内存优先级队列:Pulsar通过DelayedMessageTracker维护延迟消息的索引(由timestamp | LedgerID | EntryID组成),按到期时间排序,形成最小堆结构。
    • 分片存储优化(3.x+版本):引入BucketDelayedDeliveryTracker,将延迟索引按时间片(如5分钟)分桶存储。当前临近时间的桶驻留内存,远期桶持久化至BookKeeper磁盘,降低内存压力。
  2. 投递流程

    • 生产者发送:通过deliverAfter(相对时间)或deliverAt(绝对时间)指定延迟时间,客户端计算时间戳后发送至目标Topic。
    • Broker处理:Dispatcher检查消息到期状态,到期消息直接投递消费者;未到期消息存入延迟索引队列,由定时任务触发后续投递。
  3. 容灾与恢复

    • 索引重建:Broker故障或Topic迁移时,Pulsar从磁盘加载延迟索引并重建内存队列,确保消息不丢失。但大规模延迟消息(如跨月级)的重建时间可能较长。

二、使用方式与代码示例
  1. 生产者发送延迟消息

    // 相对时间延迟
    producer.newMessage().value("订单已创建".getBytes()).deliverAfter(30, TimeUnit.MINUTES)  // 30分钟后投递.send();// 绝对时间延迟
    long deliverAt = System.currentTimeMillis() + 3600_000;  // 1小时后
    producer.newMessage().value("会议提醒".getBytes()).deliverAt(deliverAt).send();
    
  2. 消费者监听

    @Override
    public void received(Consumer<String> consumer, Message<String> msg) {if (msg.getPublishTime() + msg.getDelayTime() <= System.currentTimeMillis()) {// 处理到期消息(如关闭超时订单)consumer.acknowledge(msg);} else {consumer.negativeAcknowledge(msg);  // 重新入队等待下次检查}
    }
    

三、性能优化与挑战
  1. 内存与存储优化

    • 分片策略:按时间粒度(如5分钟)划分延迟索引桶,仅加载近期桶到内存,远期桶持久化磁盘,减少内存占用。
    • 批量写入:延迟索引积累至阈值(默认5万条)后批量写入磁盘,降低I/O开销。
  2. 大规模延迟消息挑战

    • 内存限制:旧版(3.x前)堆外内存索引队列在订阅组多或延迟跨度大时易耗尽内存。
    • 重建时间:跨月级延迟消息重建索引需数小时,可通过增加Topic分区提升并发度缓解。
  3. 最佳实践

    • 控制延迟跨度:业务设计时尽量限制延迟时间(如≤7天),避免远期消息导致存储膨胀。
    • 独立Topic隔离:将延迟消息与实时消息分离,减少对正常消费的影响。

四、应用场景
  1. 金融交易超时:支付订单15分钟内未确认则自动取消,释放资源。
  2. 预约提醒:医疗挂号前1小时推送短信通知,降低爽约率。
  3. 异步重试:接口调用失败后延迟5分钟重试,避开高峰期。

五、未来演进

Pulsar社区计划通过时间分区索引分层存储进一步提升大规模延迟消息处理能力:

  • 动态加载时间片:仅将临近时间片的索引加载到内存,其余持久化至冷存储(如S3)。
  • 延迟消息专用存储层:分离延迟消息与常规消息的存储路径,优化资源回收机制。

六、总结

Pulsar的延迟队列通过时间分片索引混合存储策略实现高精度、大规模的延迟消息投递,尤其适合金融、电商等时效敏感场景。开发者需注意版本差异(3.x+推荐使用分片存储),并通过合理设计延迟跨度和Topic分区规避性能瓶颈。未来随着分层存储的完善,Pulsar在处理超大规模延迟消息时将更具优势。


在这里插入图片描述

相关文章:

pulsar中的延迟队列使用详解

Apache Pulsar的延迟队列支持任意时间精度的延迟消息投递&#xff0c;适用于金融交易、定时提醒等高时效性场景。其核心设计通过堆外内存索引队列与持久化分片存储实现&#xff0c;兼顾灵活性与可扩展性。以下从实现原理、使用方式、优化策略及挑战展开解析&#xff1a; 一、核…...

import torch 失败

1. 使用 PyTorch 官方 Conda 频道安装 运行以下命令&#xff08;根据你的 CUDA 版本选择&#xff09;&#xff1a; # CPU 版本 conda install pytorch torchvision torchaudio cpuonly -c pytorch# CUDA 11.8 版本 conda install pytorch torchvision torchaudio pytorch-cud…...

什么是异步?

什么是异步&#xff1f; 异步是一个术语&#xff0c;用于描述不需要同时行动或协调就能独立运行的流程。这一概念在技术和计算领域尤为重要&#xff0c;它允许系统的不同部分按自己的节奏运行&#xff0c;而无需等待同步信号或事件。在区块链技术中&#xff0c;异步是指网络中…...

Llama 4 家族:原生多模态 AI 创新新时代的开启

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…...

情感语音的“开源先锋”!网易开源

语音合成技术近年来取得了显著进步&#xff0c;特别是在语音克隆、语音助手、配音服务和有声读物等领域。然而&#xff0c;如何让合成的语音更具情感&#xff0c;更贴近人类的真实表达&#xff0c;一直是这一领域的重要研究方向。今天&#xff0c;我们将为大家介绍一款由网易有…...

消息队列基础概念及选型,常见解决方案包括消息可靠性、消息有序、消息堆积、重复消费、事务消息

前言 是时候总结下消息队列相关知识点啦&#xff01;我搓搓搓搓 本文包括消息队列基础概念介绍&#xff0c;常见解决方案包括消息可靠性、消息有序、消息堆积、重复消费、事务消息 参考资料&#xff1a; Kafka常见问题总结 | JavaGuide RocketMQ常见问题总结 | JavaGuide …...

子类是否能继承

继承 父类&#xff1a; 子 类 构造方法 非私有 不能继承 私有&#xff08;private&#xff09;不能继承 成员变量 非私有 能继承 私有&…...

计算机系统--- BIOS(基本输入输出系统)

一、BIOS的定义与核心定位 BIOS&#xff08;Basic Input/Output System&#xff09;是计算机启动时运行的底层固件&#xff0c;存储在主板的ROM芯片中。它是连接硬件与操作系统的桥梁&#xff0c;负责初始化硬件、加载启动程序&#xff0c;并提供基础配置界面。其核心目标是&a…...

Ollama 与 llama.cpp 深度对比

Ollama 与 llama.cpp 深度对比 1. 定位与架构 维度llama.cppOllama核心定位Meta LLaMA 的 C 推理框架&#xff0c;专注底层优化基于 llama.cpp 的高层封装工具&#xff0c;提供一站式服务技术栈纯 C 实现&#xff0c;支持量化/内存管理/硬件指令集优化&#xff08;AVX/NEON/M…...

C++ —— 智能指针

C ——智能指针 智能指针存在的必要性1. 解决内存泄漏问题2. 避免悬垂指针&#xff08;Dangling Pointer&#xff09;3. 异常安全性 std::unique_ptr &#xff08;独占所有权&#xff09;代码功能说明关键点解析内存管理流程对比传统指针为何使用 make_unique&#xff1f; uniq…...

Go语言的测试框架

Go语言测试框架详解 Go语言&#xff08;Golang&#xff09;自发布以来&#xff0c;因其简洁、高效和并发支持而受到广泛欢迎。在软件开发过程中&#xff0c;测试是确保代码质量与稳定性的重要环节。Go语言内置的测试框架为开发者提供了灵活而强大的测试工具&#xff0c;使得编…...

配置多区域集成IS-IS和抓包分析

基本概念 IS-IS区域结构&#xff1a; 使用两级层次结构&#xff1a;Level 1&#xff08;区域内&#xff09;和Level 2&#xff08;区域间&#xff09; Level 1路由器了解本区域拓扑 Level 2路由器在不同区域间传输流量 Level 1-2路由器同时执行两种功能 NSAP地址&#xff…...

网络原理 - HTTP/HTTPS

1. HTTP 1.1 HTTP是什么&#xff1f; HTTP (全称为 “超文本传输协议”) 是⼀种应用非常广泛的应用层协议. HTTP发展史&#xff1a; HTTP 诞生于1991年. 目前已经发展为最主流使用的⼀种应用层协议 最新的 HTTP 3 版本也正在完善中, 目前 Google / Facebook 等公司的产品已经…...

JavaScript逆向WebSocket协议解析与动态数据抓取

在JavaScript逆向工程中&#xff0c;WebSocket协议的解析和动态数据抓取是关键技能。本文将结合Fiddler、Charles Proxy和APIfox工具&#xff0c;详细讲解如何解析WebSocket协议并抓取动态数据。 一、WebSocket协议解析 &#xff08;一&#xff09;WebSocket协议的基本概念 …...

过滤震荡行行策略思路

本文讨论的是如何识别和过滤金融市场中的震荡行情&#xff0c;特别是对于趋势交易者来说&#xff0c;如何避免在震荡行情中频繁止损和资金回撤。 主要观点 震荡行情的定义 - 行情在有序与无序之间的中间状态&#xff0c;由多空力量不足导致的横盘。 震荡行情的分类 - 宽幅震…...

消息队列(kafka 与 rocketMQ)

为什么要使用消息队列?作用1: 削峰填谷(突发大请求量问题)作用2: 解耦(单一原则)作用3: 异步(减少处理时间) 如何选择消息队列(kafka&RocketMQ)成本功能性能选择 rocketMQ是参考kafka进行实现的为什么rocketMQ与kafka性能差距很大呢?kafka 的底层数据储存实现rocketMQ 的…...

Invalid bean definition with name ‘employeeMapper‘ defined in file。解决问题

求解决方法&#xff1a; Error starting ApplicationContext. To display the condition evaluation report re-run your application with debug enabled. 2025-04-06T15:23:24.87308:00 ERROR 30192 --- [ main] o.s.boot.SpringApplication : Appli…...

使用NVM管理nodejs

使用NVM管理nodejs 前言1. 先清空本地安装的node.js版本2. 下载nvm管理工具3. 安装nvm管理工具4. 输入命令查看nvm版本号5. 查看node.js版本号6. 安装对应版本6.1安装命令6.2使用命令&#xff08;可以快速切换node版本&#xff09;6.3成功之后就可以查看本地的node版本了 7. 查…...

第11课:Tiled DiffusionVAE高分辨率放大应用

文章目录 Part.01 Tiled Diffusion原理与基本操作Part.02 Tiled Diffusion超高分辨率升级Part.03 与ControlNet Tile配合使用显存和图片大小的对应关系 Part.01 Tiled Diffusion原理与基本操作 降低显存负担,用不到一半的显存消耗实现同一张大图的绘制,提高超过50%的出图效…...

APS相关知识

MRP 在系统中实现 MRP&#xff08;物料需求计划&#xff09; 的逻辑&#xff0c;需要基于 数据库 和 算法 进行自动计算&#xff0c;确保物料按时到达&#xff0c;以满足生产需求。以下是 MRP 的核心逻辑和实现步骤&#xff1a; &#x1f4cc; MRP 系统实现流程 数据输入&…...

浮点数精度问题

目录 ieee754标准解决方法 和c语言一样&#xff0c;所有以ieee754标准的语言都有浮点数精度问题&#xff0c;js也有浮点数精度问题&#xff0c;并且因为是弱类型语言这个问题更严重&#xff0c;js的Number类型的数据都被视为浮点数 ieee754标准 js的数字类型就相当于c语言doub…...

DHCP Snooping各种场景实验案例

一、概述 DHCP Snooping的基本功能能够保证客户端从合法的服务器获取IP地址,而且能够记录DHCP客户端IP地址与MAC地址等参数的对应关系,进而生成绑定表。 DHCP Snooping的基本功能的配置任务如下(只有前面两个是必选的)。 使能DHCP Snooping功能。配置接口信任状态。(可选)使能…...

设计模式简述(八)中介者模式

中介者模式 描述基本使用使用 描述 为了简化多个类间复杂的耦合关系&#xff0c;单独定义一个中介者 将边界交互的部分交给中介者&#xff0c;从而简化各个类内部逻辑 个人建议在3个及以上的类间存在复杂交互关系时再考虑中介者&#xff0c;否则可能反而增加系统复杂度 基本使…...

【力扣hot100题】(064)在排序数组中查找元素的第一个和最后一个位置

调试了半天终于过了…… 神人题目&#xff0c;主要是情况太太太多了&#xff0c;有先找到左边界的情况、先找到右边界的情况、找到中间节点之后要依次找左右边界的情况……其实要是弄多一点循环应该就不会像我写的这么复杂&#xff0c;但我太懒了就是不想多开循环。 class So…...

【Python爬虫高级技巧】深入掌握lxml库:XPath解析/HTML处理/性能优化全攻略|附企业级实战案例

作为Python生态中最快的HTML/XML解析库&#xff0c;lxml凭借其C语言级别的性能表现&#xff0c;成为爬虫和数据处理的利器。但很多开发者仅停留在基础用法&#xff0c;未能充分发挥其潜力。唐叔将通过本期带你深入剖析lxml的奥秘。 文章目录 一、lxml架构设计揭秘1.1 Cython混合…...

ABAP 新语法 - corresponding

在 ABAP 中&#xff0c;CORRESPONDING 操作符用于根据字段名称自动映射结构体&#xff08;Structure&#xff09;或内表&#xff08;Internal Table&#xff09;的字段值。它比传统的 MOVE-CORRESPONDING 语句更灵活&#xff0c;支持更多控制选项。 基础用法 data: begin of …...

基于高云fpga实现的fir串行滤波器

大家好&#xff0c;随着国产芯片的崛起&#xff0c;本文将专注于使用国产fpga芯片----高云fpga实现串行fir滤波器的项目 1.fir滤波器简介 设计一个频域滤波器&#xff08;将想要保留的频率段赋值为1&#xff0c;其他频率段赋值为0&#xff09;&#xff0c;将其与含噪声信号的…...

Spring 中的 BeanFactory 和 ApplicationContext

在 Spring 中&#xff0c;BeanFactory 和 ApplicationContext 都是 IOC 容器的实现接口&#xff0c;负责管理 Bean 的生命周期和依赖注入。但它们之间确实有一些关键区别。 &#x1f50d; 一、什么是 BeanFactory&#xff1f; BeanFactory 是 Spring 最基础的 IOC 容器接口&am…...

木里风景文化|基于Java+vue的木里风景文化管理平台的设计与实现(源码+数据库+文档)

木里风景文化管理平台 目录 基于SSM&#xff0b;vue的木里风景文化管理平台的设计与实现 一、前言 二、系统设计 三、系统功能设计 1 系统功能模块 2 管理员功能模块 3 用户功能模块 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源…...

国内 windows powershell 安装 scoop

目录 Win10 Terminal Powershell 安装 scoop 失败1. 网络问题2. 报错 Win10 Terminal Powershell 安装 scoop 失败 1. 网络问题 将通常使用的 get.scoop.sh 改为 scoop.201704.xyz (使用scoop国内镜像优化库) 2. 报错 Running the installer as administrator is disabled b…...

【Linux】iptables命令的基本使用

语法格式 iptables [-t 表名] 管理选项 [链名] [条件匹配] [-j 目标动作或跳转]注意事项 不指定表名时&#xff0c;默认使用 filter 表不指定链名时&#xff0c;默认表示该表内所有链除非设置规则链的缺省策略&#xff0c;否则需要指定匹配条件 设置规则内容 -A&#xff1a…...

ROS2笔记-2:第一个在Gazebo中能动的例子

第一个在Gazebo中能动的例子 写在前面X-windows 与cursorSimple ROS2 RobotProject StructureFeaturesDependenciesInstallationUsageRobot DescriptionMovement PatternCustomization 解释运行的效果启动控制机器人移动 代码 写在前面 第一个在Gazebo中能动的例子 是指对我来…...

剑指Offer(数据结构与算法面试题精讲)C++版——day6

剑指Offer&#xff08;数据结构与算法面试题精讲&#xff09;C版——day6 题目一&#xff1a;不含重复字符的最长子字符串题目二&#xff1a;包含所有字符的最短字符串题目三&#xff1a;有效的回文 题目一&#xff1a;不含重复字符的最长子字符串 这里还是可以使用前面&#x…...

人工智能起源:从图灵到ChatGPT

如今作诗AI的祖先是打卡机、缓慢行动的机器人和神一般的游戏引擎。 “第一台能产生自己想法”的机器问世近70年后&#xff0c;人类的大脑仍然没有真正的对手 1958年冬天&#xff0c;30岁的心理学家弗兰克 罗森布拉特&#xff08;Frank Rosenblatt&#xff09;正从康奈尔大学前…...

vue2打包部署到nginx,解决路由history模式下页面空白问题

项目使用的是vue2&#xff0c;脚手架vue-cli 4。 需求&#xff1a;之前项目路由使用的是hash&#xff0c;现在要求调整为history模式&#xff0c;但是整个过程非常坎坷&#xff0c;遇到了页面空白问题。现在就具体讲一下这个问题。 首先&#xff0c;直接讲路由模式由hash改为…...

ASM磁盘组替换

1.udev绑定新磁盘 udevadm control --reload-rules udevadm trigger [rootrac1 ~]# ll /dev/asm* brw-rw---- 1 grid asmadmin 8, 64 Apr 4 13:55 /dev/asm-arc brw-rw---- 1 grid asmadmin 8, 48 Apr 4 14:04 /dev/asm-data brw-rw---- 1 grid asmadmin 8, 80 Apr 4 14:03…...

ZooKeeper集群部署(容器)

文章目录 一、ZooKeeper基本概念二、ZooKeeper集群部署1、前置环境准备2、ZooKeeper伪集群部署(可选)3、ZooKeeper集群部署(可选) 三、ZooKeeper集群验证1、查看集群角色2、数据同步测试3、选举leader测试 一、ZooKeeper基本概念 ZooKeeper是一个分布式且开源的分布式应用程序…...

Scala语言基础:开启你的 Flink 之旅

引言&#xff1a;为什么选择Scala&#xff1f; 大家好&#xff0c;我是心海&#xff01; Scala&#xff08;Scalable Language&#xff09;是一门融合面向对象与函数式编程的现代语言。它像瑞士军刀一样灵活——既能编写简洁的脚本&#xff0c;又能构建复杂的分布式系统。想象你…...

C++计算机视觉实战:100个实际案例分析

【2025最新版】C计算机视觉100个案例算法汇总(长期更新版) 本文是基于C的项目实战&#xff0c;需要具备一点C基础与深度学习基础&#xff0c;并且对opencv、open3d、tensorrt、onnxruntime有一定了解。 你们的订阅是我更新的动力&#xff0c;请订阅、点赞、收藏。 1.Yolov5实…...

V-SHOW和箭头函数在VUE项目的踩坑点

v-show和v-if v-show控制显示隐藏是通过控制CSS的display决定dom节点的显示和隐藏。v-if通过控制dom节点的渲染与否实现元素的显示和隐藏。 在vue中&#xff0c;template标签不参与页面渲染&#xff0c;也不会破坏代码的层级结构&#xff0c;所以多和v-if结合控制元素的显示隐…...

vscode使用方式

一、常用快捷键与代码操作 注释与代码排版 行注释&#xff1a;Ctrl /&#xff1b;块注释&#xff1a;Shift Alt A。 代码缩进&#xff1a;选中代码段后按 Tab&#xff08;右移&#xff09;或 Shift Tab&#xff08;左移&#xff09;。 代码导航与编辑 快速跳转文件&…...

使用OpenSceneGraph生成3D数据格式文件

OpenSceneGraph (OSG) 提供了多种方式来生成和导出3D数据格式文件。以下是详细的生成方法和示例代码&#xff1a; 一、基本文件生成方法 1. 使用osgDB::writeNodeFile函数 这是最直接的生成方式&#xff0c;支持多种格式&#xff1a; #include <osgDB/WriteFile>osg:…...

网络安全应急响应-系统排查

在网络安全应急响应中&#xff0c;系统排查是快速识别潜在威胁的关键步骤。以下是针对Windows和Linux系统的系统基本信息排查指南&#xff0c;涵盖常用命令及注意事项&#xff1a; 一、Windows系统排查 1. 系统信息工具&#xff08;msinfo32.exe&#xff09; 命令执行&#x…...

如何判断JVM中类和其他类是不是同一个类

如何判断JVM中的类是否为同一个类 在Java虚拟机(JVM)中&#xff0c;判断两个类是否相同需要同时满足以下三个条件&#xff1a; 1. 类全限定名必须相同 包括包名类名的完整路径必须完全一致例如&#xff1a;java.lang.String和com.example.String被视为不同类 2. 加载该类的…...

Prolog语言的共识算法

Prolog语言的共识算法 引言 在分布式计算和区块链技术的背景下&#xff0c;共识算法作为确保节点一致性的重要机制&#xff0c;受到了广泛关注。传统的共识算法如PBFT&#xff08; Practical Byzantine Fault Tolerance &#xff09;等在许多系统中得到了应用&#xff0c;但随…...

AIDD-深度学习 MetDeeCINE 破译代谢调控机制

深度学习 MetDeeCINE 破译代谢调控机制 目录 使用 FEP/REMD 和 DFT 方法准确预测药物多靶点绝对结合自由能的新途径。Scorpio 框架利用对比学习优化核苷酸序列表示&#xff0c;提升基因组分析效率&#xff0c;尤其在未知序列的分类和泛化能力上表现出色。LPM 模型整合多模态扰…...

pyTorch框架-迁移学习-实现四种天气图片多分类问题

目录 1.导包 2.加载原数据、创建训练与测试目录路径 3.用transforms.Compose、torchvision.datasets.ImageFolder数据预处理 4.加载预训练好的模型 5.固定与修改预训练模型的参数 6.将模型拷到GPU上 7.定义优化器与损失函数 8.定义训练过程 9.测试运行 10.测试结果…...

python1(基础语法输入输出)

输入输出&#xff1a; 输出 print(*objects, sep , end\n, filesys.stdout, flushFalse) objects&#xff1a;这是一个可变参数&#xff0c;意味着你可以传入任意数量的对象。print 函数会将这些对象依次打印出来。在函数内部&#xff0c;这些对象会被转换为字符串形式。 se…...

Linux:页表详解(虚拟地址到物理地址转换过程)

文章目录 前言一、分页式存储管理1.1 虚拟地址和页表的由来1.2 物理内存管理与页表的数据结构 二、 多级页表2.1 页表项2.2 多级页表的组成 总结 前言 在我们之前的学习中&#xff0c;我们对于页表的认识仅限于虚拟地址到物理地址转换的桥梁&#xff0c;然而对于具体的转换实现…...

OpenStack Yoga版安装笔记(十七)安全组笔记

一、安全组与iptables的关系 OpenStack的安全组&#xff08;Security Group&#xff09;默认是通过Linux的iptables实现的。以下是其主要实现原理和机制&#xff1a; 安全组与iptables的关系 OpenStack的安全组规则通过iptables的规则链实现。每条安全组规则会被转换为相应的i…...