MySQL与Redis的缓存一致性问题
MySQL与Redis的缓存一致性问题
前言
在学习中,为了提高数据的读取效率,我们往往会使用Redis来作为MySQL数据的缓存,那么,自然就产生了二者间数据的一致性问题。
想要对MySQL和Redis进行数据处理,自然会产生以下问题:
- MySQL与Redis操作的时序问题
- 更新与删除的选择及时序问题
下面我们来一一分析:
先操作MySQL
先删除MySQL中数据
这种情况下,当我们选择先将MySQL中的数据删除时,如果后续写入新数据失败,新数据就很有可能会丢失,我们就完全失去了这条数据,这是难以接受的。所以我们还是来看看先更新MySQL的情况吧:
先更新MySQL中数据
这种情况下,当客户端修改一个数据时,我们先将MySQL中数据更新为最新状态,然后再操作Redis(如果第一步更新MySQL数据失败,就不会继续操作Redis了,此时MySQL和Redis中的数据都还是老数据,也是处于一致状态,可以接受):
再更新Redis中数据
试想这样一种情况:
线程A和线程B按以下顺序执行:
- 线程A缓存未命中,然后从MySQL中读到数据c=1
- 线程B想将数据c=1修改为c=2
- 线程B先更新MySQL成功,再更新Redis数据c=2(不论更新Redis成功与否)
- 线程A写回Redis数据c=1
可以看到,此时MySQL中是新数据c=2,Redis中却是老数据c=1,处于不一致状态。在Redis中该数据自动过期,或者再次更新该数据之前,客户端都会读到Redis中的老数据(脏数据)。
不过读操作,往往比写操作更快速,也就是说大多数情况下,线程A等线程B操作完了再写回Redis的情况不会出现。
但是,对于并发更新的情况,可能会出现多个线程并发更新Redis数据,导致老数据覆盖新数据的情况,也会造成不一致状态。
再删除Redis中数据
与上面“再更新Redis中数据”的情况类似,可能会出现线程B删除完Redis数据后,线程A又写回老数据的情况。
但是,对于并发更新的情况,就算多个线程并发删除Redis数据,也能够保证删除老数据,不会造成不一致状态。
当然,如果删除Redis失败了,Redis中还是会留下老数据,造成不一致状态。
先操作Redis
先删除Redis中数据
再更新MySQL中数据
试想这样一种情况:
线程A和线程B按以下顺序执行:
- 线程B想将数据c=1修改为c=2
- 线程B先删除Redis中数据成功
- 线程A缓存未命中,然后从MySQL中读到数据c=1
- 线程B更新MySQL中数据c=2
- 线程A写回Redis数据c=1
可以看到,此时MySQL中是新数据c=2,Redis中却是老数据c=1,处于不一致状态。在Redis中该数据自动过期,或者再次更新该数据之前,客户端都会读到Redis中的老数据(脏数据)。
此外,对于并发更新的情况,可能会出现多个线程并发更新MySQL数据,导致老数据覆盖新数据的情况,也会造成不一致状态。
再删除MySQL中数据
这种情况下,当我们选择将MySQL中的数据删除时,如果后续Redis中的新数据丢失(磁盘存储相对内存存储的可靠性更高),我们就完全失去了这条数据,这是难以接受的。
总结
Cache-Aside (旁路缓存)
综上所述,我们往往会选择 先更新MySQL中数据-再删除Redis中数据 的方案。
以上所述所有的方案,有一个统称:Cache-Aside (旁路缓存)。
直读 与 同步/异步直写
此外,如果我们将缓存的业务直接从其它业务代码中抽取出来,给其它业务提供一个缓存抽象层,将缓存的操作全部放在这个缓存抽象层中独立存在,也就是缓存的解耦。
这样,主体业务就只需要与抽出来的缓存层进行交互,无需再关心数据的一致性,直接读/写缓存层,也就是直读与直写。
直读(Write-Through)
客户端(也可以是其他业务层)直接读取Redis缓存,如果缓存未命中,从MySQL中读取数据后,再写回Redis,然后再返回给客户端。
直写(Write-Through)
客户端(也可以是其他业务层)直接先更新Redis缓存,然后再更新MySQL,然后再返回数据给客户端。
上面的是同步直写,如果在更新MySQL的同时,异步将数据返回给客户端,那么就叫异步直写(Write-Behind)。
canal
此外,为了提高系统的可用性,我们可以配合一些成熟的中间件,例如:
使用Canal监控MySQL的binlog日志,自动通知缓存业务MySQL中的数据进行了什么修改,可以让我们的系统迅速知道MySQL的数据改动,延迟极低。
在缓存业务中,我们往往还可以引入消息队列,提高数据传输的可靠性,例如:
当Canal监控到MysQL数据改动后,将监控数据发送到RabbitMQ,由订阅了相关Topic的缓存业务消费监控数据并进行处理,可以有效避免数据传输中失败、丢失等问题。
相关文章:
MySQL与Redis的缓存一致性问题
MySQL与Redis的缓存一致性问题 前言 在学习中,为了提高数据的读取效率,我们往往会使用Redis来作为MySQL数据的缓存,那么,自然就产生了二者间数据的一致性问题。 想要对MySQL和Redis进行数据处理,自然会产生以下问题…...
【前端文件下载实现:多种表格导出方案的技术解析】
前端文件下载实现:多种表格导出方案的技术解析 背景介绍 在企业级应用中,数据导出是一个常见需求,特别是表格数据的导出。在我们的管理系统中,不仅需要支持用户数据的Excel导出,还需要处理多种格式的表格文件下载&am…...
933. 最近的请求次数
最近的请求次数 题目描述尝试做法推荐做法 题目描述 写一个 RecentCounter 类来计算特定时间范围内最近的请求。 请你实现 RecentCounter 类: RecentCounter() 初始化计数器,请求数为 0 。 int ping(int t) 在时间 t 添加一个新请求,其中 …...
[C++Qt] 槽函数收不到信号问题(信号的注册)
📢博客主页:https://loewen.blog.csdn.net📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!📢本文由 丶布布原创,首发于 CSDN,转载注明出处🙉📢现…...
吴恩达机器学习笔记复盘(三)Jupyter NoteBook
Jupyter NoteBook Jupyter是一个开源的交互式计算环境: 特点 交互式编程:支持以单元格为单位编写和运行代码,用户可以实时看到代码的执行结果,便于逐步调试和理解代码逻辑。多语言支持:不仅支持Python,还…...
面向对象Demo02
方法的调用的回顾 package oop; public class Demo02 {//静态public static void main(String[] args) {//student student new student();student.speak();//非静态 //student student new student();} } package oop; public class student {public static void sp…...
Quitzilla 学习版(安卓):戒掉坏习惯的高效助手
Quitzilla 是一款源自国外的日程管理工具,专为帮助用户戒除不良习惯而设计。它通过强大的习惯追踪功能和丰富的激励机制,让用户能够清晰地看到自己的进步,并逐步克服成瘾行为。这款软件的前身是一款戒烟应用,但经过改进后…...
AWB-illuminant_weight_vector
1.概念 光源权重向量 AWB 处理通过求取R/G-B/G 空间中灰色统计数据位置的平均值来估计光源, 此估计基于灰度世界假设. 因此, 输入统计数据中真实的灰色统计数据很重要. 通用环境下,灰色统计数据的平均值会遭到灰色区中的非灰色统计数据污染. 因此,估计结果的精确性依赖与选择灰…...
微信小程序面试内容整理-数据绑定
在微信小程序中,数据绑定是将 JavaScript 中的数据与 WXML 中的视图进行关联和同步的过程。它使得视图可以根据数据的变化自动更新,极大地简化了前端开发的复杂度。 数据绑定有两种主要类型: 1. 单向数据绑定:数据从 Java器更新到视图。...
蓝桥每日打卡--背包问题
#蓝桥#JAVA#背包问题 题目描述 有一个背包,它的容量为 W 4。有 3 个物品,它们的重量分别为 [2, 1, 3],价值分别为 [4, 2, 3]。问在不超过背包容量的情况下,能装入背包的物品的最大价值是多少? 解题思路 动态规划的…...
基于图像比对的跨平台UI一致性校验工具开发全流程指南——Android/iOS/Web三端自动化测试实战
一、需求背景与方案概述 1.1 为什么需要跨平台UI校验? 在移动互联网时代,同一产品需覆盖Android、iOS和Web三端。由于不同平台的开发框架(如Android的Material Design与iOS的Cupertino风格)及渲染引擎差异,UI界面易出…...
3D点云目标检测——KITTI数据集读取与处理
一、 数据基本情况 KITTI数据集是由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创建的一个大规模自动驾驶场景下的计算机视觉算法评测数据集。以下是关于它的详细介绍: 数据集背景:为评估自动驾驶中计算机视觉算法的性能而设计。自动驾驶汽车需在…...
【鸿蒙开发】Hi3861学习笔记- 外部中断
00. 目录 文章目录 00. 目录01. 概述02. EXTI相关API03. 硬件设计04. 软件设计05. 实验现象06. 附录 01. 概述 我们在做按键控制实验时,虽然能实现 IO 口输入功能,但代码是一直在检测 IO 输入口的变化,因此效率不高,特别是在一些…...
技术与情感交织的一生 (一)
目录 一条朋友圈 静默 至暗时刻 选择 成人高考 歇一下 一条朋友圈 大年初一是我合作伙伴的生日,我称呼他为老高,他发的朋友圈写到:“50岁了,留下的皆是珍贵回忆。” ,看到留言的瞬间,只有一个感觉&a…...
30天学习Java第六天——Object类
Object类 java.lang.Object时所有类的超类。Java中所有类都实现了这个类中的方法。 toString方法 将Java对象转换成字符串的表示形式。 public String toString() {return getClass().getName() "" Integer.toHexString(hashCode()); }默认实现是:完…...
基于WebRTC与P2P技术,嵌入式视频通话EasyRTC实现智能硬件音视频交互,适配Linux、ARM、RTOS、LiteOS
EasyRTC不仅仅是一个连接工具,更是一个经过深度优化的通信桥梁。它在嵌入式设备上进行了特殊优化,通过轻量级SDK设计、内存和存储优化以及硬件加速支持,解决了传统WebRTC在嵌入式设备上的适配难题,显著节省了嵌入式设备的资源。 1…...
向量库集成指南
文章目录 向量库集成指南Chroma集成Pinecone集成MiLvus集成向量库集成指南 向量库是一种索引和存储向量嵌入以实现高效管理和快速检索的数据库。与单独的向量索引不同,像Pinecone这样的向量数据库提供了额外的功能,例如,索引管理、数据管理、元数据存储和过滤,以及水平扩展…...
深度研究deep-research优秀开源项目
原文链接:https://i68.ltd/notes/posts/20250305-deep-research2/ 港大开源AI科研神器AI-Researcher 项目仓库:GitHub - HKUDS/AI-Researcher: "AI-Researcher: Fully-Automated Scientific Discovery with LLM Agents" & "Open-Sourced Alternative to G…...
芯谷D8563TS:低功耗CMOS实时时钟/日历电路的优选方案
在电子设备中,实时时钟(RTC)电路对于提供准确的时间和日历信息至关重要。芯谷D8563TS作为一款低功耗的CMOS实时时钟/日历电路,以其丰富的功能、高精度和灵活的可编程性,成为众多嵌入式系统和电池供电设备中的理想选择。…...
FPGA中级项目1——IP核(ROM 与 RAM)
FPGA中级项目1——IP核(ROM 与 RAM) IP核简介 在 FPGA(现场可编程门阵列)设计中,IP 核(Intellectual Property Core,知识产权核)是预先设计好的、可重用的电路模块,用于实…...
Redis的持久化-AOF
1.AOF AOF(Append Only File)持久化:以独立日志的方式记录每次写命令,重启时在重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用是解决了数据持久化的实时性,目前已经是Redis持久化的主流方式。理解掌握好A…...
jmeter-sample
jmeter-sample http request:接口测试常用请求参数ParametersBody DataFiles Upload jdbc request配置JDBC Connection Configuration创建JDBC Requst请求 http request:接口测试常用 请求参数 Parameters 常见于get请求,与拼在接口后面是一样的效果:如…...
2025-03-15 学习记录--C/C++-PTA 练习3-4 统计字符
合抱之木,生于毫末;九层之台,起于累土;千里之行,始于足下。💪🏻 一、题目描述 ⭐️ 练习3-4 统计字符 本题要求编写程序,输入10个字符,统计其中英文字母、空格或回车、…...
编程自学指南:java程序设计开发,网络编程基础,TCP编程,UDP编程,HTTP客户端开发
编程自学指南:java程序设计开发,网络编程基础 学习目标: 理解网络协议(TCP/IP、UDP)的核心概念 掌握Socket编程实现客户端与服务端通信 能够通过多线程处理并发网络请求 开发简单的网络应用(如聊天程序…...
C++ primer plus 类和对象
目录 前言 一 接口的设计 二 方法的设计和使用 三 构造函数 四 析构函数 五 析构函数和构造函数小结 总结 前言 前面已经描述了很多有关于类和对象的知识了,所以我们直接开始上手操作 一 接口的设计 首先我们要知道什么是接口 接口是一个…...
k8s 修改节点驱逐阈值
编辑 /var/lib/kubelet/config.yaml 文件 kind: KubeletConfiguration evictionHard:nodefs.available: "5%" # 降低磁盘压力触发阈值imagefs.available: "10%" # 调整容器镜像存储触发阈值nodefs.inodesFree: "3%...
HiPixel开源AI驱动的图像超分辨率的原生macOS 应用程序,使用 SwiftUI 构建并利用 Upscayl 强大的 AI 模型
一、软件介绍 文末提供程序和源码下载 HiPixel是一个开源程序基于SwiftUI构建的macOS原生应用程序,用于AI驱动的图像超分辨率,并利用Upscayl的强大AI模型。 二、软件特征 具有 SwiftUI 界面的原生 macOS 应用程序使用 AI 模型进行高质量图像放大通过 G…...
使用 .NET Core 实现 RabbitMQ 消息队列的详细教程
RabbitMQ 是一个流行的消息队列中间件,它允许应用程序通过异步消息的方式进行通信。RabbitMQ 支持 AMQP 协议,可以通过多种方式与应用程序交互。在本教程中,我们将深入探讨如何在 .NET Core 环境中使用 RabbitMQ 来实现消息队列。我们将学习如…...
深度学习——同一台电脑使用ssh配置多个github账号
如果一台电脑只有一个github账号,那么进行默认的ssh配置,通过git拉取和提交代码即可,但在实际的工作中,有时候需要在一台电脑登录多个github账号,将不同的项目代码提交到不同的github账号,这个时候如果仅仅…...
windows常用cmd命令
Windows 命令提示符(CMD)提供了许多实用的命令,用于管理文件、目录、网络、系统配置等。以下是一些常用的 CMD 命令及其用途: 文件和目录操作 dir: 列出当前目录下的文件和子目录。 dircd: 切换当前目录。 cd C:\Users cd .. # 返…...
C语言中的流程控制语句
一.流程控制语句的分类: 1.顺序结构 概念:从上往下依次执行,也是程序默认的执行顺序 2.分支结构 概念:程序在执行的过程中出现了岔路(我们只能选择一条支线进行执行) (1).if语句…...
C语言【数据结构】:理解什么是数据结构和算法(启航)
引言 启航篇,理解什么是数据结构和算法 在 C 语言编程领域,数据结构和算法是两个核心且紧密相关的概念 一、数据结构 定义 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合(比如数组),它是组织和存储数…...
WebLogic XMLDecoder反序列化漏洞(CVE-2017-10271)深度解析与实战复现
0x00 漏洞概述 CVE-2017-10271 是Oracle WebLogic Server WLS Security组件中的远程代码执行漏洞。攻击者通过构造恶意XML请求,利用XMLDecoder反序列化机制绕过安全验证,最终实现服务器权限接管。 影响版本 WebLogic 10.3.6.0WebLogic 12.1.3.0WebLog…...
【动态规划篇】746.使用最小花费爬楼梯
746.使用最小花费爬楼梯 题目链接: 746.使用最小花费爬楼梯 题目叙述: 给你一个整数数组 cost ,其中 cost[i] 是从楼梯第i个台阶向上爬需要支付的费用。一旦你支付此费用,即可选择向上爬一个或者两个台阶。 你可以选择从下标为 …...
类和对象:
1. const运算符重载: 1. const成员函数: 我们来看我们的下面的代码: 我们来看这个,我们的对象使用const进行修饰,然后我们对象d1调用我们的成员函数,然后我们取d1的地址然后传过去,这时候我们的…...
研究整除的性质——最大公约数(GCD)和最小公倍数(LCM)
最大公约数(GCD)和最小公倍数(Least Common Multiple,LCM)研究整除的性质,非常古老,在2000多年前就得到了很好的研究。由于简单易懂,有较广泛的应用,它们是竞赛中频繁出现…...
jenkins 配置邮件问题整理
版本:Jenkins 2.492.1 插件: A.jenkins自带的, B.安装功能强大的插件 配置流程: 1. jenkins->系统配置->Jenkins Location 此处的”系统管理员邮件地址“,是配置之后发件人的email。 2.配置系统自带的邮件A…...
FastAPI复杂查询终极指南:告别if-else的现代化过滤架构
title: FastAPI复杂查询终极指南:告别if-else的现代化过滤架构 date: 2025/3/14 updated: 2025/3/14 author: cmdragon excerpt: 本文系统讲解FastAPI中复杂查询条件的构建方法,涵盖参数验证、动态过滤、安全防护等18个核心技术点。通过引入策略模式、声明式编程等技术,彻…...
MySQL行列转化
初始化表结构: CREATE TABLE student_scores (student_id int NOT NULL,student_name varchar(50) DEFAULT NULL,math_score int DEFAULT NULL,english_score int DEFAULT NULL,science_score int DEFAULT NULL,PRIMARY KEY (student_id) ) ENGINEInnoDB DEFAULT C…...
施磊老师c++(六)
继承与多态-多重继承 文章目录 继承与多态-多重继承1.虚基类和虚继承本节内容 2.菱形继承---怎么解决?本节内容**面试问题: 怎么理解多重继承的?**---重点 3.c提供的四种类型转换本节内容 1.虚基类和虚继承 本节内容 多重继承? 代码复用, 一个派生类 有多个基类 抽象类—有…...
c++:AVL树
1.概念 由于二叉搜索树不能确保为近似完全二叉树的结构,节点相同的情况下,高度可能会很高,高度有可能会很低,所以搜索次数不能稳定维持在logn级别。我们在二叉搜索树的基础上进行平衡调整就可以控制搜索次数稳定在logn级别。 而AV…...
HTML编辑MP4保存名称
上图是HTML的界面,需要点击EDIT_MP4的选项,然后就出现文本框输入MP4名称。输入对应的MP4文件名称后,则点击Add_MP4按钮就可以把MP4的名称修改到json文件里面,json文件是network_detail.json文件。 HTML和CGI程序的交互 上图是htm…...
以太坊AI代理与PoS升级点燃3月市场热情,2025年能否再创新高?
币热网深度报道:以太坊AI代理与PoS升级引爆3月热潮,2025年能否再攀历史新高? 原文来源:币热网 - 区块链信息资讯平台 以太坊升级,市场热情高涨 近期,以太坊市场犹如被一股神秘力量点燃,掀起了…...
IDEA2024又一坑:连接Docker服务连不上,提示:Cannot run program “docker“: CreateProcess error=2
为新电脑安装了IDEA2024版,因为局域网中安装有Docker,所以这台电脑上没有安装,当运行时发现死活连不上Docker报:Cannot run program “docker“: CreateProcess error2 分析: Docker服务有问题 其它电脑都能连,排除 网…...
css基本功
为什么 ::first-letter 是伪元素? ::first-letter 的作用是选择并样式化元素的第一个字母,它创建了一个虚拟的元素来包裹这个字母,因此属于伪元素。 grid布局 案例一 <!DOCTYPE html> <html lang"zh-CN"><head&…...
ALSA vs OSS:Linux 音频架构的演变与核心区别
在 Linux 音频系统的发展过程中,OSS(Open Sound System) 和 ALSA(Advanced Linux Sound Architecture) 曾分别在不同阶段承担着音频管理的角色。OSS 是 Linux 早期的音频架构,而 ALSA 作为其继任者…...
双指针算法介绍+算法练习(2025)
一、介绍双指针算法 双指针(或称为双索引)算法是一种高效的算法技巧,常用于处理数组或链表等线性数据结构。它通过使用两个指针来遍历数据,从而减少时间复杂度,避免使用嵌套循环。双指针算法在解决诸如查找、排序、去重…...
第八节:红黑树(初阶)
【本节要点】 红黑树概念红黑树性质红黑树结点定义红黑树结构红黑树插入操作的分析 一、红黑树的概念与性质 1.1 红黑树的概念 红黑树 ,是一种 二叉搜索树 ,但 在每个结点上增加一个存储位表示结点的颜色,可以是 Red和 Black 。 通过对 任何…...
【C++标准库类型】深入理解C++中的using声明:从基础到实践
目录 一、using声明基础 1.1 基本语法形式 1.2 典型应用场景 1.3 作用域规则 二、关键注意事项 2.1 命名冲突处理 2.2 头文件使用规范 2.3 与typedef的对比 三、面向对象中的应用 3.1. 解除派生类名称隐藏(核心应用) 3.2. 构造函数继承&#…...
蓝桥杯2024年第十五届省赛真题-回文数组
题目描述 小蓝在无聊时随机生成了一个长度为 n 的整数数组,数组中的第 i 个数为ai,他觉得随机生成的数组不太美观,想把它变成回文数组,也是就对于任意i ∈ [1, n] 满足 ai an−i1 。小蓝一次操作可以指定相邻的两个数,…...