当前位置: 首页 > news >正文

Redis 过期与淘汰机制全解析

概述

Redis 作为一种高性能的内存数据库,提供了数据过期和淘汰策略以管理存储的数据。本文将详细探讨 Redis 中数据失效的基本原理、实现方式,并结合源码进行分析,帮助读者更深入地理解和优化 Redis 的使用。

数据过期机制

过期键的存储方式

Redis 中每个数据库都有一个 expires 字典,用于保存设置了过期时间的键及其对应的过期时间戳。这个字典的作用类似于索引,通过它能够快速判断某个键是否已过期。

typedef struct redisDb {dict *dict;                 // 存储键值对dict *expires;             // 存储键的过期时间// 其他成员...
} redisDb;

定时删除 vs 惰性删除 vs 定期删除

定时删除(Active Expiration / Timer-based Deletion)

定时删除是一种“主动式”删除机制。当用户为一个键设置过期时间时,Redis 会记录该键的过期时间戳,并注册一个定时器,在指定时间到达后自动触发删除操作。虽然这种方法能及时释放内存资源,但可能会导致 CPU 使用率飙升。

// 设置键的过期时间
void setExpire(client *c, robj *key, long long when) {dictEntry *de;de = dictFind(c->db->dict,key->ptr);serverAssertWithInfo(c,key,de != NULL);dictSetVal(c->db->expires,dictAddRaw(c->db->expires,key->ptr,&de),when);
}
惰性删除(Lazy Expiration / On-access Deletion)

惰性删除是一种“被动式”机制。只有在访问某个键时才会检查其是否已经过期,如果已过期则立即删除。这种方式可以显著降低 CPU 的消耗,但代价是部分过期键会长时间保留在内存中。

int expireIfNeeded(redisDb *db, robj *key) {if (!keyIsInHashtable(db->expires, key)) return 0;mstime_t when = getExpire(db, key);mstime_t now = mstime();if (now > when) {deleteExpiredKey(db, key);return 1;}return 0;
}
定期删除(Periodic Expiration)

定期删除是 Redis 主动清理过期键的主要方式之一。Redis 在后台每隔一段时间扫描部分设置了过期时间的键,随机选取一部分进行过期检测,并删除其中已经过期的键。

void activeExpireCycle(int type) {static unsigned int current_db = 0;unsigned int j, iteration = 0;unsigned int dbs_per_call = CRON_DBS_PER_CALL;int start = ustime(), timelimit, noexpire = 0;if (dbs_per_call > server.dbnum) dbs_per_call = server.dbnum;timelimit = 1000000 * ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC / 100;timelimit -= (ustime() - start);for (j = 0; j < dbs_per_call && timelimit > 0 && !noexpire; j++) {redisDb *db = server.db + (current_db % server.dbnum);current_db++;int num = dictSize(db->expires);int slots = ceil(num / 16.0);  // 随机选择 slot 数量while (slots--) {dictEntry *de;long long ttl;if ((de = dictGetRandomKey(db->expires)) == NULL) break;robj *key = dictGetKey(de);ttl = dictGetSignedIntegerVal(de) - mstime();if (ttl < 0) {dbDelete(db, key);}}if ((iteration++ % 10) == 0) {long long elapsed = ustime() - start;if (elapsed >= timelimit) break;}}
}

内存淘汰机制

当 Redis 使用的内存超过 maxmemory 限制时,将会根据配置的淘汰策略来决定移除哪些键值对。常见的淘汰策略包括:

  • volatile-lru:从设置了过期时间的数据集中挑选最近最少使用的数据淘汰。
  • allkeys-lru:从所有数据集中挑选最近最少使用的数据淘汰。
  • volatile-random:从设置了过期时间的数据集中任意选择数据淘汰。
  • allkeys-random:从所有数据集中任意选择数据淘汰。

UML图解 Redis 过期键处理流程

以下是使用 UML 绘制的简化版 Redis 过期键处理流程图,包括定时删除、惰性删除和定期删除的工作流程:

定时删除:

客户端设置键并指定TTL
是否已存在?
更新过期时间
添加到 expires 字典
记录过期时间戳
创建时间事件

惰性删除:

客户端访问键
调用 expireIfNeeded 方法
是否存在于 expires 字典中?
当前时间 > 过期时间?
删除键-惰性删除
正常处理请求

定期删除:

serverCron 周期调用
调用 activeExpireCycle 方法
遍历数据库
随机取样部分键
是否过期?
删除键-定期删除
保留键

结语

Redis 通过一系列复杂的机制来管理数据的生命周期和内存使用情况,旨在提供高效的数据管理和查询服务。理解这些基本概念和机制对于优化性能、避免内存溢出等问题至关重要。希望这篇文章能为你提供有价值的参考信息,帮助你更好地利用 Redis 提供的功能。

相关文章:

Redis 过期与淘汰机制全解析

概述 Redis 作为一种高性能的内存数据库&#xff0c;提供了数据过期和淘汰策略以管理存储的数据。本文将详细探讨 Redis 中数据失效的基本原理、实现方式&#xff0c;并结合源码进行分析&#xff0c;帮助读者更深入地理解和优化 Redis 的使用。 数据过期机制 过期键的存储方…...

PMP-第四章 项目整合管理(一)

项目整合管理 项目整合管理包括对项目管理过程组内的各种过程和项目管理活动而进行识别、定义、组合、统一与协调的各种过程和活动项目整合管理必须由项目经理负责。其他知识领域可以由相关领域专家管理&#xff0c;但整合的责任不能被授权或转移项目与项目管理本质上具有整合…...

VSCode搭建STM32开发调试环境

闲言碎语&#xff1a; 好久没更&#xff0c;在忙着科研→校招→写毕业论文。 临近毕业&#xff0c;总结自己的大学生活&#xff1a;C\C、Java、Python、深度学习&#xff0c;学的乱七八糟。 秋招找了个嵌入式工作&#xff08;涉及AI应用&#xff09;&#xff0c;大致确定了以后…...

【数据结构】稀疏矩阵的快速转置

稀疏矩阵的快速转置 如图给出一个稀疏矩阵&#xff0c;要求表示出它的转置矩阵 由这个矩阵我们能轻松得到它的三元组顺序表 6行&#xff08;x坐标&#xff09;7列&#xff08;y坐标&#xff09;8个元素121213931-3361443245218611564-7 接下来我们同样把转置后的矩阵的三元组…...

【Godot】使用 Shader 实现可调节的精确切角效果

今天我们要实现的是一个四角精确切割Shader,可以在UI元素或Sprite的四个角分别切割出不同大小的三角形区域。 文章目录 什么是Godot Shader?数学原理详解左上角切割右上角切割右下角切割左下角切割四角切割Shader完整代码使用方法在Godot编辑器中设置通过代码控制进阶技巧1. …...

在CentOS环境中安装MySQL数据库保姆级教程

一.确认当前系统版本 1.1登录系统&#xff0c;切换至root账户 如图所示&#xff1a; 1.2&#xff1a;在终端中执行如下命令查看系统版本 cat /etc/redhat-release 二.添加 MySQL Yum 源 2.1访问MySQL开发者专区 https://dev.mysql.com/downloads/repo/yum/ TIPS: 1.发布包命…...

分布式系统中的 ActiveMQ:异步解耦与流量削峰(二)

四、流量削峰 &#xff08;一&#xff09;流量削峰原理深入解析 在当今互联网应用中&#xff0c;高并发场景屡见不鲜 。例如&#xff0c;电商平台的促销活动、在线票务系统的抢票时刻以及社交平台的热点事件爆发期等&#xff0c;都会在短时间内迎来大量用户请求。这些瞬间涌入…...

JAVA设计模式——(十)抽象工厂模式(Abstract Factory Pattern)

JAVA设计模式——&#xff08;十&#xff09;抽象工厂模式&#xff08;Abstract Factory Pattern&#xff09; 介绍理解实现工厂接口工厂实现类应用类应用类实现测试改造工厂类 应用 介绍 抽象工厂模式在工厂模式的基础上&#xff0c;适配的对象变为一组相关的对象&#xff0c…...

STM32的定时器

定时器的介绍 介绍&#xff1a;STM32F103C8T6微控制器内部集成了多种类型的定时器&#xff0c;这些定时器在嵌入式系统中扮演着重要角色&#xff0c;用于计时、延时、事件触发以及PWM波形生成、脉冲捕获等应用。 *几种定时器&#xff08;STM32F103系列&#xff09;&#xff1…...

ubuntu-PyQt5安装+PyCharm配置QtDesigner + QtUIC

个人环境 ubuntu22.04 pycharm 2024.3 python 3.10 1)先使用apt命令在线安装 1)sudo apt install pyqt5* 2)sudo apt install qttools5-dev-tools2&#xff09;Pycharm配置Pycharm External Tool 在设置—工具——外部工具中 配置QtDesigner Name &#xff1a;QtDesigne…...

测试基础笔记第十九天

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 一、接口的概念二、接口的类型三、接口测试1.概念2.原理&#xff1a;3.特点:4.实现方式:5.什么是自动化接口测试&#xff1f; 二、HTTP协议1.HTTP协议简介2.URL格式…...

Ubuntu 系统上广受好评的浏览器推荐

日常使用与开发者首选 Firefox 特点&#xff1a;开源、隐私保护强大&#xff0c;支持丰富扩展&#xff08;如开发者工具、广告拦截&#xff09;&#xff0c;默认预装且跨平台兼容368。 适用场景&#xff1a;日常浏览、开发者调试&#xff08;支持实时 CSS/JS 编辑&#xff09;、…...

第 13 届蓝桥杯 C++ 青少组省赛中 / 高级组真题解析

一、选择题 第 1 题 题目&#xff1a;下列关于类中声明的变量描述正确的是 ( )&#xff61; 选项&#xff1a; A. 只属于该类 B. 属于全局变量 C. 任何情况下都可被该类所有实例共享 D. 属于该类&#xff0c;某些情况下也可被该类不同实例所共享 答案&#xff1a;D 解析&…...

Win10下安装Linux-Ubuntu24.04双系统

0 引言 Ubuntu 24.04 LTS&#xff08;代号“Noble Numbat”&#xff09;是 Canonical 于 2024 年 4 月 25 日发布的第 10 个长期支持版本&#xff0c;专注于性能优化、企业安全和开发者体验提升 Windows 10 是微软于 2015 年 7 月发布的跨平台操作系统&#xff0c;融合了传统桌…...

express 怎么搭建 WebSocket 服务器

一&#xff1a;使用 express-ws var express require(express); var app express(); var expressWs require(express-ws)(app);app.use(function (req, res, next) {console.log(middleware);req.testing testing;return next(); });app.get(/, function(req, res, next){…...

模型部署——cuda编程入门

CUDA中的线程与线程束 kernel是在device上线程中并行执行的函数&#xff0c;核函数用__global__符号声明&#xff0c;在调用时需要用<<<grid_size, block_size>>>来指定kernel要执行的线程数量。在CUDA中&#xff0c;每一个线程都要执行核函数&#xff0c;并…...

llfc项目TCP服务器笔记

ChatServer 一个TCP服务器必然会有连接的接收,维持,收发数据等逻辑。那我们就要基于asio完成这个服务的搭建。主服务是这个样子的 #include "LogicSystem.h"#include <csignal>#include <thread>#include <mutex>#include "AsioIOServiceP…...

NPP库中libnppi模块介绍

1. libnppi 模块简介 libnppi 是 NPP 库中专门用于 图像处理 的模块&#xff0c;提供高度优化的 GPU 加速函数&#xff0c;支持&#xff1a; 图像滤波&#xff08;卷积、形态学操作&#xff09; 几何变换&#xff08;旋转、缩放、透视变换&#xff09; 颜色空间转换&#xf…...

从头训练小模型: 3 传统RLHF与DPO的区别

这个步骤我其实是忽略了。如果我的目标是建立一个安全领域的模型&#xff0c;我个人理解这步骤并不太必要。关于人类偏好对齐&#xff1a;在前面的训练步骤中&#xff0c;模型已经具备了基本的对话能力。 此时模型还不知道什么是好的回答&#xff0c;什么是不好的回答。我们希…...

Python-Django系列—视图

一、通用显示视图 以下两个基于类的通用视图旨在显示数据。在许多项目中&#xff0c;它们通常是最常用的视图。 1、DetailView class django.views.generic.detail.DetailView 当该视图执行时&#xff0c;self.object 将包含该视图正在操作的对象。 祖先&#xff08;MRO&a…...

el-input Vue 3 focus聚焦

https://andi.cn/page/622173.html...

动态规划(5)路径问题--剑指offer -珠宝的最大值

题目&#xff1a; 现有一个记作二维矩阵 frame 的珠宝架&#xff0c;其中 frame[i][j] 为该位置珠宝的价值。拿取珠宝的规则为&#xff1a; 只能从架子的左上角开始拿珠宝每次可以移动到右侧或下侧的相邻位置到达珠宝架子的右下角时&#xff0c;停止拿取 注意&#xff1…...

ZArchiver正版:高效文件管理,完美解压体验

在使用安卓设备的过程中&#xff0c;文件管理和压缩文件的处理是许多用户常见的需求。无论是解压下载的文件、管理手机存储中的文件&#xff0c;还是进行日常的文件操作&#xff0c;一款功能强大且操作简便的文件管理工具都能极大地提升用户体验。今天&#xff0c;我们要介绍的…...

Netlink在SONiC中的应用

Netlink在SONiC中的应用 Netlink介绍 Netlink 是 Linux 内核态程序与用户空间程序之间进行通信的机制之一&#xff0c;原本是用于传递网络协议栈中的各种控制消息。它采用和套接字&#xff08;socket&#xff09;编程接口相同的形式&#xff0c;常用于配置内核网络子系统&…...

ReentrantLock实现公平锁和非公平锁

在 Java 里&#xff0c;公平锁和非公平锁是多线程编程中用于同步的两种锁机制&#xff0c;它们的主要差异在于获取锁的顺序规则。下面是对二者的详细介绍&#xff1a; 公平锁 公平锁遵循 “先来先服务” 原则&#xff0c;也就是线程获取锁的顺序和请求锁的顺序一致。先请求锁…...

【C++】 —— 笔试刷题day_25

一、笨小猴 题目解析 这道题&#xff0c;给定一个字符str&#xff0c;让我们找到这个字符串中出现次数最多字母的出现次数maxn和出现次数最少字母的出现次数minn&#xff1b; 然后判断maxn - minn是否是一个质数&#xff0c;如果是就输出Lucky Word和maxn - minn&#xff1b;如…...

terraform resource创建了5台阿里云ecs,如要使用terraform删除其中一台主机,如何删除?

在 Terraform 中删除阿里云 5 台 ECS 实例中的某一台&#xff0c;具体操作取决于你创建资源时使用的 多实例管理方式&#xff08;count 或 for_each&#xff09;。以下是详细解决方案&#xff1a; 方法一&#xff1a;使用 for_each&#xff08;推荐&#xff09; 如果创建时使…...

Office 三大组件Excel、Word、Access 里 VBA 区别对比

以下是Excel、Word和Access在VBA中的主要区别对比及详细说明: 核心对象模型 Excel Workbook(工作簿)→ Worksheet(工作表)→ Range(单元格区域) 核心围绕单元格数据处理,如 Cells(1,1).Value = "数据" Word Document(文档)→ Range(文本范围)→ Paragrap…...

Linux 进程基础(二):操作系统

目录 一、什么是操作系统&#xff1a;用户和电脑之间的「翻译官」&#x1f310; OS 的层状结构&#x1f9e9; 案例解析&#xff1a;双击鼠标的「跨层之旅」 二、操作系统的必要性探究&#xff1a;缺乏操作系统的环境面临的挑战剖析&#x1f511; OS 的「管理者」属性&#xff1…...

Java高并发处理核心技术详解:从理论到实战

高并发处理能力是衡量系统性能的重要指标。Java作为企业级开发的主力语言&#xff0c;提供了丰富的并发编程工具和框架。 一、Java并发基础 1.1 Java内存模型&#xff08;JMM&#xff09; 主内存与工作内存&#xff1a;每个线程拥有独立的工作内存&#xff0c;通过JMM协议与主…...

单细胞测序数据分析试验设计赏析(二)

单细胞测序数据分析试验设计赏析&#xff08;二&#xff09; 这次的单细胞测序数据分析的试验设计是单细胞测序分析机器学习&#xff08;with SHAP分析&#xff09;&#xff0c;也是常见的试验设计之一&#xff0c;重点是可以用于筛选鉴定基因调控网络&#xff0c;也可以是构建…...

Docker 服务搭建

&#x1f4a2;欢迎来到张翊尘的开源技术站 &#x1f4a5;开源如江河&#xff0c;汇聚众志成。代码似星辰&#xff0c;照亮行征程。开源精神长&#xff0c;传承永不忘。携手共前行&#xff0c;未来更辉煌&#x1f4a5; 文章目录 Docker 服务搭建在 Ubuntu 上安装 Docker更新软件…...

4电池_基于开关电容的均衡

基于开关电容的均衡系统&#xff08;Switched-Capacitor Equalization System&#xff09; 开关电容均衡&#xff08;Switched-Capacitor Equalization, SCE&#xff09;是一种广泛应用于 电池组&#xff08;如锂电池、超级电容组&#xff09; 的主动均衡技术&#xff0c;通过电…...

Matlab/Simulink - BLDC直流无刷电机仿真基础教程(七) - 波形解析专题P2

Matlab/Simulink - BLDC直流无刷电机仿真基础教程&#xff08;七&#xff09; - 波形解析专题P2 前言一、缺相与相线错接解析二、电源电压波动三、电机感量及磁链变化四、负载突变及堵转五、换相时机不当及换相错误参考链接 前言 本系列文章分享如何使用Matlab的Simulink功能来…...

如何从GitHub上调研优秀的开源项目,并魔改应用于工作中?

在 Go 语言学习中&#xff0c;我们经常会去学习一些优秀的开源项目。但是学完之后&#xff0c;发现很快就忘记了或者学习效果并不好。学习一个开源项目最好的方式就是围绕这个开源项目进行实战。例如&#xff0c;直接魔改这个开源项目并应用于工作中。本文来介绍下如何调用&…...

【Java学习笔记】构造器

构造器(constructor)&#xff08;又名构造方法&#xff09; 作用&#xff1a;可以在创建对象时就初始化属性&#xff0c;注意不是创建 基本结构 [修饰符] 方法名&#xff08;形参列表&#xff09;{方法体&#xff1b; }代码示例 public class 构造器 {public static void m…...

Redis 数据类型详解(一):String 类型全解析

文章目录 前言一、什么是 Redis 的 String 类型&#xff1f;二、常用命令1.SET2.GET3.MSET4.MGET5.INCR6.INCRBY7.INCRBYFLOAT8.SETNX9.SETEX 三、注意事项总结 前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; 在学习 Redis 的过程中&#xff0c;最基础也…...

JAVA---多态

面向对象三大特征&#xff1a;封装、继承、多态 多态 定义&#xff1a;同类型的对象&#xff0c;表现出的不同形态。 它允许不同类的对象通过同一个接口进行调用&#xff0c;并且在运行时根据实际对象类型执行不同的方法。 多态主要通过继承、接口和方法重写来实现。 表现形式…...

K8S的使用(部署pod\service)+安装kubesphere图形化界面使用和操作

master节点中通过命令部署一个tomcat 查看tomcat被部署到哪个节点上 在节点3中进行查看 在节点3中进行停止容器&#xff0c;K8S会重新拉起一个服务 如果直接停用节点3&#xff08;模拟服务器宕机&#xff09;&#xff0c;则K8S会重新在节点2中拉起一个服务 暴露tomcat访…...

【Linux系统】第二节—基础指令(2)

hello ~ 好久不见 自己想要的快乐要自己好好争取&#xff01; 云边有个稻草人-个人主页 Linux—本篇文章所属专栏—欢迎订阅—持续更新中 目录 本节课核心指令知识点总结 本节基本指令详解 07.man 指令 08.cp 指令 09.mv 指令 10.cat 指令 11.more 指令 12.less 指令 …...

Java设计模式: 实战案例解析

Java设计模式: 实战案例解析 在软件开发中&#xff0c;设计模式是一种用来解决特定问题的可复用解决方案。它们是经过实践验证的最佳实践&#xff0c;能够帮助开发人员设计出高质量、易于维护的代码。本文将介绍一些常见的Java设计模式&#xff0c;并通过实战案例解析它们在实际…...

ASP.NET MVC​ 入门与提高指南九

51. 时空数据处理与 MVC 应用拓展 51.1 时空数据概念 时空数据是指与时间和空间相关的数据&#xff0c;如地理信息系统&#xff08;GIS&#xff09;数据、交通流量数据、气象数据等&#xff0c;这些数据随时间和空间变化而变化。 51.2 在 MVC 应用中处理时空数据 地理信息系…...

算法学习时段效能分布

算法学习时段效能分布 晨间时段&#xff08;06:00-09:00&#xff09;核心优势最佳任务 午后时段&#xff08;14:00-17:00&#xff09;核心优势最佳任务 夜间时段&#xff08;20:00-23:00&#xff09;核心优势最佳任务 实证数据支持 晨间时段&#xff08;06:00-09:00&#xff09…...

Linux环境部署iview-admin项目

环境&#xff1a;阿里云服务 系统&#xff1a;CentOS7.X系统 1、下载源码安装包 wget https://nodejs.org/dist/v14.17.3/node-v14.17.3-linux-x64.tar.xz2、解压并放入指定目录 tar -xf node-v14.17.3-linux-x64.tar.xz && mv node-v14.17.3-linux-x64 /usr/local/no…...

在 Ubuntu 系统中,查看已安装程序的方法

在 Ubuntu 系统中&#xff0c;查看已安装程序的方法取决于软件的安装方式&#xff08;如通过 apt、snap、flatpak 或手动安装&#xff09;。以下是几种常见方法&#xff1a; 通过 apt 包管理器安装的软件 适用于通过 apt 或 dpkg 安装的 .deb 包。 列出所有已安装的软件包&…...

c++26新功能——Pack indexing

一、模板编程 在模板编程中&#xff0c;有一个问题比较突出&#xff0c;就是对变参模板中参数的控制&#xff0c;比较麻烦。因为是变参&#xff0c;所以想把参数单独拿出来处理&#xff0c;就需要借助一些特殊的技巧&#xff0c;而这种特殊的技巧&#xff0c;往往为大多数开发…...

VSCode通过SSH连接VMware虚拟机

以下是关于VSCode通过SSH连接VMware虚拟机的原理、必要条件及注意事项的说明&#xff1a; ​​一、连接原理​ SSH协议通信​​&#xff1a;SSH&#xff08;Secure Shell&#xff09;是一种加密网络协议&#xff0c;VSCode通过Remote-SSH插件将本地开发环境与虚拟机终端绑定&a…...

7 微调 黑盒蒸馏 突破伦理限制

简介 SecGPT-Distill 是我自己做的一个实验模型, 开源地址: 主要功能是进行模型微调和知识蒸馏而来 这次是运用微调技术&#xff0c;来突破现有模型在处理安全相关问题时的各种限制和约束 代码开源: https://github.com/godzeo/SecGPT-distill-boundless 不回答原理 大部…...

基于51单片机的温湿度控制器proteus仿真

地址&#xff1a; https://pan.baidu.com/s/1cENHPmF0XobqKg_7baZX3Q 提取码&#xff1a;1234 仿真图&#xff1a; 芯片/模块的特点&#xff1a; AT89C52/AT89C51简介&#xff1a; AT89C51 是一款常用的 8 位单片机&#xff0c;由 Atmel 公司&#xff08;现已被 Microchip 收…...

牛客月赛115 C题-命运之弹 题解

原题链接 https://ac.nowcoder.com/acm/contest/107879/C 题目描述 解题思路 记录每个数字出现的次数。枚举使用「转瞬即逝」的位置&#xff0c;统计后边比当前数字更大的数的数量&#xff0c;进而统计、更新答案。 详细细节见代码&#xff0c;代码里有详细的注释解释。 代…...