当前位置：首页 > news >正文

【JAVA架构师成长之路】【Redis】第14集：Redis缓存穿透原理、规避、解决方案

news 来源：原创 2025/8/27 3:44:42

30分钟自学教程：Redis缓存穿透原理与解决方案

目标

理解缓存穿透的成因及危害。
掌握布隆过滤器、空值缓存等核心防御技术。
能够通过代码实现请求拦截与缓存保护。
学会限流降级、异步加载等应急方案。

教程内容

0~2分钟：缓存穿透的定义与核心原因

定义：恶意或异常请求频繁访问数据库中不存在的数据，绕过缓存直接冲击数据库。
典型场景：
- 攻击者伪造大量非法ID（如负数、超长字符串）。
- 业务未对查询参数校验，或未缓存空结果。
危害：
- 数据库压力激增，甚至宕机。
- 正常服务被恶意请求拖垮。

2~5分钟：代码模拟穿透场景（Java示例）

// 未做防护的查询方法（模拟穿透问题）  
public Product getProduct(String id) {  String key = "product:" + id;  Product product = redisTemplate.opsForValue().get(key);  if (product == null) {  // 直接查询数据库（未缓存空值）  product = productService.loadFromDB(id);  if (product != null) {  redisTemplate.opsForValue().set(key, product, 1, TimeUnit.HOURS);  }  }  return product; // 恶意请求会反复查询数据库  
}

验证问题：

使用JMeter发送100次id=-1的请求，观察数据库查询次数是否为100次（穿透发生）。

5~12分钟：解决方案1——布隆过滤器（Bloom Filter）

原理：基于位数组和哈希函数，快速判断数据是否可能存在于数据库，拦截非法请求。
代码实现（Redisson布隆过滤器）：

// 初始化布隆过滤器并预热合法数据  
public class BloomFilterInit {  private RBloomFilter<String> bloomFilter;  @PostConstruct  public void init() {  bloomFilter = redissonClient.getBloomFilter("product_bloom");  bloomFilter.tryInit(100000L, 0.01); // 容量10万，误判率1%  List<String> validIds = productService.getAllValidIds();  validIds.forEach(bloomFilter::add);  }  
}  // 查询时拦截非法请求  
public Product getProductWithBloomFilter(String id) {  if (!bloomFilter.contains(id)) {  return null; // 直接拦截  }  // 正常查询逻辑...  
}

注意事项：
- 误判率需根据业务容忍度调整（如0.1%更严格，但占用更多内存）。
- 需定期同步布隆过滤器与数据库的合法数据（如定时任务）。

12~20分钟：解决方案2——空值缓存（Cache Null）

原理：即使数据库不存在该数据，也缓存空值（如“NULL”），避免重复穿透。
代码实现：

public Product getProductWithNullCache(String id) {  String key = "product:" + id;  Product product = redisTemplate.opsForValue().get(key);  if (product == null) {  product = productService.loadFromDB(id);  if (product == null) {  // 缓存空值，5分钟过期  redisTemplate.opsForValue().set(key, "NULL", 5, TimeUnit.MINUTES);  return null;  }  redisTemplate.opsForValue().set(key, product, 1, TimeUnit.HOURS);  } else if ("NULL".equals(product)) {  return null; // 直接返回空结果  }  return product;  
}

优化点：
- 空值过期时间不宜过长（避免存储大量无效Key）。
- 可结合布隆过滤器，减少空值缓存的数量。

20~25分钟：解决方案3——请求参数校验

原理：在业务层拦截非法参数（如非数字ID、越界值）。
代码实现（Spring Boot参数校验）：

public Product getProduct(@PathVariable String id) {  // 校验ID格式（仅允许数字）  if (!id.matches("\\d+")) {  throw new IllegalArgumentException("非法ID格式");  }  // 校验ID范围（如大于0）  long numericId = Long.parseLong(id);  if (numericId <= 0) {  throw new IllegalArgumentException("ID必须为正数");  }  // 正常查询逻辑...  
}

扩展：
- 使用Hibernate Validator实现注解式校验（如@Min(1)）。

25~28分钟：应急处理方案

限流降级（Guava RateLimiter）：

private RateLimiter rateLimiter = RateLimiter.create(100); // 每秒100个请求  public Product getProduct(String id) {  if (!rateLimiter.tryAcquire()) {  throw new RuntimeException("请求过于频繁，请稍后重试");  }  // 正常查询逻辑...  
}

异步加载（CompletableFuture）：

public Product getProductAsync(String id) {  String key = "product:" + id;  Product product = redisTemplate.opsForValue().get(key);  if (product == null) {  CompletableFuture.runAsync(() -> {  Product dbProduct = productService.loadFromDB(id);  if (dbProduct != null) {  redisTemplate.opsForValue().set(key, dbProduct, 1, TimeUnit.HOURS);  }  });  }  return product; // 可能返回空，但避免阻塞请求  
}

28~30分钟：总结与优化方向

核心原则：拦截非法请求、缓存空值、业务兜底。
高级优化：
- 结合Redis Module的RedisBloom扩展（生产级布隆过滤器）。
- 动态调整限流阈值（如根据数据库负载自动限流）。

练习与拓展

练习

实现一个布隆过滤器，拦截id<=0的非法请求。
修改空值缓存逻辑，动态设置随机过期时间（如5~15分钟）。

推荐拓展

学习RedisBloom模块的安装与使用。
研究分布式限流框架（如Sentinel）的实现原理。
探索缓存穿透与缓存击穿的综合防护方案。

【JAVA架构师成长之路】【Redis】第14集：Redis缓存穿透原理、规避、解决方案

30分钟自学教程：Redis缓存穿透原理与解决方案目标理解缓存穿透的成因及危害。掌握布隆过滤器、空值缓存等核心防御技术。能够通过代码实现请求拦截与缓存保护。学会限流降级、异步加载等应急方案。教程内容 0~2分钟：缓存穿透的定义与核心原因定义…...

编程日记 2025/8/27 3:44:42

mybatis报错org/apache/commons/lang3/tuple/Pair] with root cause

mybatis一对多查询配置resultMap映射报错org/apache/commons/lang3/tuple/Pair] with root cause 原因是mybatis依赖common-lang3这个包, 只需要添加common-lang3的依赖坐标即可: <dependency><groupId>org.apache.commons</groupId><artifactId>comm…...

编程日记 2025/8/20 7:22:18

supervisord管理Gunicorn进程，使用Nginx作为反向代理运行flask web项目

1. 安装 Gunicorn 在项目虚拟环境中安装 Gunicorn：2. 基本用法配置文件创建一个 Gunicorn 配置文件（如 gunicorn_config.py），方便管理复杂配置。示例 gunicorn_config.py： bind "0.0.0.0:8000" #…...

编程日记 2025/8/26 14:24:26

STM32之软件SPI

SPI传输更快，最大可达80MHz，而I2C最大只有3.4MHz。输入输出是分开的，可以同时输出输入。是同步全双工。仅支持一主多从。SS是从机选择线。每个从机一根。SPI无应答机制的设计。注意：所有设备需要共地，时钟线主机输出&…...

编程日记 2025/8/23 16:20:20

fastjson漏洞

fastjson漏洞 fastjson工作原理攻击原理补充例子 fastjson工作原理 fastjson的作用是将JAVA对象转换成对应的json表示形式，也可以反过来将json转化为对应的Java对象。fastjson使用AutoType功能进行反序列化，AutoType使用type标记字符的原始类型&#x…...

编程日记 2025/8/25 7:20:34

【YOLOv12改进trick】医学图像分割网络CMUNeXt引入YOLOv12中，增强全局上下文信息实现涨点，含创新点Python代码，方便发论文

🍋改进模块🍋：医学全卷积U型网络（CMUNeXtBlock） 🍋解决问题🍋：CMUNeXtBlock模块解决了在医学图像分割任务中，传统的卷积操作由于其局部性限制，难以有效提取全局上下文信息的问题。 🍋改进优势🍋：利用大卷积核和倒置瓶颈结构，提取全局上下文信息，同时保持卷…...

编程日记 2025/8/20 21:06:09

机器学习的半监督学习，弱监督学习，自监督学习

半监督学习、弱监督学习和自监督学习是机器学习中利用不同形式监督信号的三种方法，它们的核心区别在于标注数据的数量、质量以及监督信号的来源。以下是它们的详细对比： 1. 半监督学习（Semi-Supervised Learning） 核心特点&#x…...

编程日记 2025/8/22 4:00:13

K8S学习之基础十七：k8s的蓝绿部署

蓝绿部署概述蓝绿部署中，一共有两套系统，一套是正在提供服务的系统，一套是准备发布的系统。两套系统都是功能完善、正在运行的系统，只是版本和对外服务情况不同。开发新版本，要用新版本替换线上的旧版本&…...

编程日记 2025/8/26 13:59:02

【计算机网络】计算机网络的性能指标——时延、时延带宽积、往返时延、信道利用率

计算机网络的性能指标导读大家好，很高兴又和大家见面啦！！！ 在上一篇内容中我们介绍了计算机网络的三个性能指标——速率、带宽和吞吐量。用大白话来说就是：网速、最高网速和实时网速。相信大家看到这三个词应该就…...

编程日记 2025/8/23 4:09:11

单片机如何用C语言重写vfprintf

在单片机中，标准库函数 vfprintf 可能不可用或占用过多资源（如内存或代码空间），因此我们可以通过自定义实现一个轻量级的 vfprintf 函数，专门用于单片机的串口输出。以下是一个用 C 语言重写 vfprintf 的示例&#xff…...

编程日记 2025/8/25 0:47:31

1.4 单元测试与热部署

本次实战实现Spring Boot的单元测试与热部署功能。单元测试方面，通过JUnit和Mockito等工具，结合SpringBootTest注解，可以模拟真实环境对应用组件进行独立测试，验证逻辑正确性，提升代码质量。具体演示了HelloWorld01和H…...

编程日记 2025/8/26 12:18:26

使用免费IP数据库离线查询IP归属地

一、准备工作 1.下载免费IP数据库首先，访问 MaxMind官网（https://www.maxmind.com/en/home）如果你还没有MaxMind账号，可以通过此链接地址（https://www.maxmind.com/en/geolite2/signup）进行账号注册&…...

编程日记 2025/8/23 7:41:24

go语言数据类型

一.Go 语言有四大显著特点：高效性：编译与运行效率高。并发性：原生支持并发编程。简洁性：编程风格简洁直接，代码可读性与可维护性高。跨平台性：程序能在 Windows、Linux、Mac OS 等多系统运行。二.go的包:pa…...

编程日记 2025/8/21 18:25:25

操作系统 1.3-开机页面的产生

问题引入从打开电源开始.. 这神秘的黑色背后发生着什么?... 设计思路伟大的数学家图灵，设计了这样的一个模型： 首先我们计算机有一个控制器，他可以处理一系列提供给他的动作。我们将控制器动作，控制器状态，数据…...

编程日记 2025/8/23 15:30:33

单例模式：确保一个类只有一个实例

目录引言 1. 单例模式的核心思想 2. 单例模式的实现方式 2.1 饿汉式单例 2.2 懒汉式单例 2.3 线程安全的懒汉式单例 2.4 双重检查锁定（Double-Checked Locking） 2.5 静态内部类实现单例 2.6 枚举实现单例 3. 单例模式的使用场景 4. 单例模式…...

编程日记 2025/8/25 9:22:56

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_modules

定义在 objs\ngx_modules.c #include <ngx_config.h> #include <ngx_core.h>extern ngx_module_t ngx_core_module; extern ngx_module_t ngx_errlog_module; extern ngx_module_t ngx_conf_module; extern ngx_module_t ngx_openssl_module; extern ngx_modul…...

编程日记 2025/8/24 9:21:50

vue3中组合式~测试深入组件：事件与 $emit()—setup() 上下文对象ctx.emit

一、语法(props) 第一步：在组件模板表达式中，可以直接用$emit()方法触发自定义事件，  <button click"$emit(someEvent)">Click Me</button> 第二步父组件可以通过 v-on (缩写为 ) 来监听…...

编程日记 2025/8/26 9:50:01

uniapp小程序对接腾讯IM即时通讯无ui集成（1）

首先需要完成一些准备工作。 1.注册腾讯云账号腾讯云注册账号后搜索im即时通讯，新创建一个应用。 2.uniapp创建项目腾讯云无ui集成文档按照文档步骤下载完这两个包后打开项目。有下图这两个包就算完成了开始工作。 3.APP目录进行引入和集成 <script…...

编程日记 2025/8/24 22:00:39

【YOLOv12改进trick】StarBlock引入YOLOv12，创新涨点优化，含创新点Python代码，方便发论文

🍋改进模块🍋：StarBlock 🍋解决问题🍋：采用StarBlock将输入数据映射到一个极高维的非线性特征空间,生成丰富的特征表示，使得模型在处理复杂数据时更加有效。 🍋改进优势🍋：简单粗暴的星型乘法涨点却很明显 🍋适用场景🍋：目标检测、语义分割、自然语言处理…...

编程日记 2025/8/20 1:39:28

机器学习之强化学习

引言在人工智能的众多分支中，强化学习（Reinforcement Learning, RL） 因其独特的学习范式而备受关注。与依赖标注数据的监督学习或探索数据结构的无监督学习不同，强化学习的核心是智能体（Agent）通过与环境…...

编程日记 2025/8/26 21:57:25

天津大学02-深度解读DeepSeek：部署、使用、安全【文末附下载链接】

大模型风险与不当用例——价值观错位大模型与人类价值观、期望之间的不一致而导致的安全问题，包含：• 社会偏见（Social Bias）LLM在生成文本时强化对特定社会群体的刻板印象，例如将穆斯林与恐怖主义关联，或…...

编程日记 2025/8/22 19:10:14

C# OPC DA获取DCS数据（提前配置DCOM）

OPC DA配置操作手册配置完成后，访问远程ip，就能获取到服务 C#使用Interop.OPCAutomation采集OPC DA数据，支持订阅（数据变化）、单个读取、单个写入、断线重连...

编程日记 2025/8/16 10:16:13

ReAct论文阅读笔记总结

ReAct：Synergizing Reasoning and Acting in Language Models 背景最近的研究结果暗示了在自主系统中结合语言推理与交互决策的可能性。一方面，经过适当Prompt的大型语言模型（LLMs）已经展示了在算术、常识和符号推理任务中通…...

编程日记 2025/8/23 5:05:55

【计网】运输层

运输层 5.1 运输层概述5.2 运输层端口号、复用与分用5.3 UDP和TCP的区别5.4 TCP具体实现5.4.1 TCP的流量控制5.4.2 TCP的拥塞控制5.4.3 TCP超时重传时间的选择5.4.4 TCP可靠传输的实现5.4.5 TCP运输连接管理（一）TCP连接的建立（三报文握手&…...

编程日记 2025/8/21 1:40:12

计算机毕业设计SpringBoot+Vue.js多媒体素材库系统(源码+文档+PPT+讲解)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/8/26 19:30:29

MC9S12单片机的内存映射机制

地址空间这是个16位的单片机。CPU的寻址空间最大为2^1664K。这个64K是包括外设、RAM、EEPROM、和FLASH的。现在程序越来越大，64K的空间肯定是不够用的。因此，需要扩展。扩展方法就是：分页。把原来的64K空间，划分一块出来&a…...

编程日记 2025/8/21 17:02:46

鸿蒙HarmonyOS评论功能小demo

评论页面小demo 效果展示 1.拆解组件，分层搭建我们将整个评论页面拆解为三个组件，分别是头部导航，评论项，回复三个部分，然后统一在index界面导入 2.头部导航界面搭建 Preview Component struct HmNavBar {// 属性&a…...

编程日记 2025/8/22 23:42:17

数据仓库为什么要分层

数据仓库分层架构是数据仓库设计中的一个重要概念，其主要目的是为了更好地组织和管理数据，提高数据仓库的可维护性、可扩展性和性能。分层架构将数据仓库划分为多个层次，每个层次都有其特定的职责和功能。以下是数据仓库分层的主要原因和好处…...

编程日记 2025/8/22 11:03:23

【powerjob】 powerjobserver注册服务IP错误

1、问题：powerjobserver 4.3.6 的服务器上有多个网卡对应多个ip,示例 eth0 :IP1 ，docker0:IP2 和worker 进行通信时正确的应该时IP1 但是注册显示获取的确实IP2,导致 worker 通过ip2和server通信，网络不通，注册不上 2、解决方案 …...

编程日记 2025/8/25 17:16:12

JCRQ1河马算法+四模型对比！HO-CNN-GRU-Attention系列四模型多变量时序预测

JCRQ1河马算法四模型对比！HO-CNN-GRU-Attention系列四模型多变量时序预测目录 JCRQ1河马算法四模型对比！HO-CNN-GRU-Attention系列四模型多变量时序预测预测效果基本介绍程序设计参考资料预测效果基本介绍基于HO-CNN-GRU-Attention、CNN-GRU-Attent…...

编程日记 2025/8/21 5:43:55

智能硬件如何和应用层app连接?

现在比较方便的是一键配置方式，主要是使用蓝牙、smartconfig、ZigBee和声波配置。蓝牙配置：比如蓝牙耳机、蓝牙鼠标，只能支持点对点连接，且对设备和app距离要求严格。 ZigBee配置方式：无法直接接入网络，…...

编程日记 2025/8/21 2:54:07

深度学习系列78：使用langchain的api进行RAG

用起来很麻烦，看api的工夫都已经能自己写完代码了。但现在有些开源api用的是langchain的接口，还是了解一下。参考官方文档：https://www.langchain.com.cn/docs/how_to/ 1. LLM和langserve示例以openai接口为例，可以看到分为3步…...

编程日记 2025/8/24 1:35:02

海思Hi3516DV300交叉编译opencv

OpenCV是一个开源的跨平台计算机视觉库，支持C、Python等多种语言，适用于图像处理、目标检测、机器学习等任务。其核心由C编写，高效轻量，提供实时视觉处理功能，广泛应用于工业自动化、医疗影像等领域。 1 环境准备 1…...

编程日记 2025/8/23 13:33:44

责任链模式：优雅处理复杂流程的设计艺术

引言在软件设计中，我们经常会遇到需要按特定顺序处理请求的场景。例如，一个订单处理系统可能需要经过验证、付款、物流安排和客户通知等多个步骤。如果我们将这些步骤硬编码在一个方法中，代码将变得臃肿且难以维护。这时，责任链…...

编程日记 2025/8/23 23:59:41

【DeepSeek】5分钟快速实现本地化部署教程

一、快捷部署 （1）下载ds大模型安装助手，下载后直接点击快速安装即可。 https://file-cdn-deepseek.fanqiesoft.cn/deepseek/deepseek_28348_st.exe （2）打开软件，点击立即激活 （3）选…...

编程日记 2025/8/21 14:49:55

HTML前端手册

HTML前端手册记录前端框架在使用过程中遇到的各种问题和解决方案，供后续快速进行手册翻阅使用文章目录 HTML前端手册1-前端框架1-TypeScript框架2-CSS框架 2-前端Demo1-Html常用代码 2-知云接力3-Live2D平面动画 3-前端运维1-NPM版本管理 1-前端框架 1-TypeScrip…...

编程日记 2025/8/21 23:02:08

【uniapp】图片添加canvas水印

目录需求&背景实现地理位置添加水印 ios补充需求&背景需求：拍照后给图片添加水印, 水印包含经纬度、用户信息、公司logo等信息。效果图： 方案：使用canvas添加水印。具体实现：上传图片组件是项目里现有的&#xff…...

编程日记 2025/8/24 5:18:54

Java 大视界 -- Java 大数据在智能金融反欺诈中的技术实现与案例分析（114）

💖亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2025/8/23 11:29:25

机器学习数学基础：43.外生变量与内生变量

外生变量与内生变量：模型中的因果角色在因果模型（像结构方程模型、回归分析这类）里，外生变量和内生变量是用来区分变量来源和相互关系的重要概念。下面从定义、实例、差异以及应用场景四个方面来详细介绍： 一、定义…...

编程日记 2025/8/26 14:56:19

Bean 的生命周期主要包括以下阶段：

Bean 的生命周期主要包括以下阶段： 定义 ：在配置文件或注解中定义 Bean，包括其类、作用域等信息。实例化 ：Spring 容器根据定义创建 Bean 的实例。属性赋值 ：容器为 Bean 设置配置的属性值。初始化 ：…...

编程日记 2025/8/16 12:28:12

Unity游戏开发中的网格简化与LOD技术(Mesh Simplification LOD)

在Unity游戏开发中，网格简化（Mesh Simplification）和LOD（Level of Detail）技术是优化渲染性能的关键手段，尤其在处理复杂场景和高精度模型时至关重要。以下是一套系统的实现方案与优化策略： 一、…...

编程日记 2025/8/25 21:17:10

3.7[Q]CV

对于一个由cmake构建的项目，什么时候应该执行cmake指令？什么时候执行make指令？即，一个cmake构建的项目，各步骤的意义是什么？当我修改了部分代码后，重启项目该执行什么命令？ view,mod…...

编程日记 2025/8/21 5:02:38

发行思考：全球热销榜的频繁变动

几点杂感： 1、单机游戏销量与在线人数的衰退是剧烈的，有明显的周期性，而在线游戏则稳定很多。如去年的某明星游戏，最高200多万在线，如今在线人数是48名，3万多。而近期热门的是MH，在线人数8…...

编程日记 2025/8/23 21:01:47

Springboot全局LocalDateTime时间格式化配置

我们对字段的日期格式化时一般会用注解: JsonFormat(pattern "yyyy-MM-dd HH:mm:ss", timezone "GMT8")private Date createDate;但是每个字段都要写也太麻烦了不是我的全局化作风在application.yml中配置全局时间格式化只会对Date类型有用: jackson:d…...

编程日记 2025/8/23 12:33:05

Redis主从复制

目录点单问题启动多个redis服务器配置主从结构查看主从结构信息断开主从结构修改主从结构主从复制的拓扑结构主从复制的基本流程全量复制和部分复制全量复制的流程部分复制的流程实时复制的流程主从复制总结主从复制是基于分布式系统进行讨论的&am…...

编程日记 2025/8/22 22:43:11

玩转python：掌握Python数据结构之栈Stack

栈（Stack）是计算机科学中一种非常基础且重要的数据结构。它的特点是后进先出（LIFO，Last In First Out），就像我们生活中叠盘子一样，最后放上去的盘子总是最先被拿走。本文将用通俗易懂的语言和丰…...

编程日记 2025/8/23 20:39:40

电脑如何拦截端口号，实现阻断访问？

如果你弟弟喜欢玩游戏，你可以查询该应用占用的端口，结合以下方法即可阻断端口号，让弟弟好好学习，天天向上！ 拦截端口可以通过防火墙和路由器进行拦截 ，以下是常用方法： 方法 1：使用…...

编程日记 2025/8/26 19:40:46

DeepSeek 医疗大模型微调实战讨论版（第一部分）

DeepSeek医疗大模型微调实战指南第一部分 DeepSeek 作为一款具有独特优势的大模型，在医疗领域展现出了巨大的应用潜力。它采用了先进的混合专家架构（MoE），能够根据输入数据的特性选择性激活部分专家，避免了不必要的计算，极大地提高了计算效率和模型精度。这种架构使得 …...

编程日记 2025/8/21 14:48:14

Apache Httpd 多后缀解析

目录 1.原因 2.环境 3.复现 4.防御 1.Apache Httpd 多后缀解析原因 Apache HTTP Server 在处理文件请求时，通常会根据文件的后缀来确定如何处理该文件。例如，.php文件会被交给 PHP 解释器处理，而.html文件则直接作为静态文件返回。然而…...

编程日记 2025/8/24 2:11:09

2025年03月07日Github流行趋势

项目名称：ai-hedge-fund 项目地址url：https://github.com/virattt/ai-hedge-fund项目语言：Python历史star数：12788今日star数：975项目维护者：virattt, seungwonme, KittatamSaisaard, andorsk, arsaboo项目…...

编程日记 2025/8/19 5:43:17