什么是缓存击穿？如何避免之布隆过滤器
缓存击穿（Cache Penetration）是分布式系统和缓存使用中的一个常见问题，布隆过滤器在解决缓存击穿问题时非常有用。接下来我会介绍缓存击穿的概念以及布隆过滤器在解决该问题中的应用。
什么是缓存击穿？
缓存击穿是指当大量的客户端请求访问一个不存在的缓存数据时，这些请求会绕过缓存直接击穿到数据库，给数据库带来巨大压力，甚至可能导致服务瘫痪。这通常发生在以下几种情况下：
- 请求的键不存在于缓存中：比如用户在查询一个不存在的商品 ID、文章 ID 等。
- 缓存未命中：由于查询到的结果不存在，直接请求数据库，这种请求行为在高并发场景下，会对数据库产生非常大的压力。
缓存击穿的场景
- 假设你有一个大型电商网站，客户经常搜索商品。某些时候，一些用户会输入随机的 ID 进行商品搜索。如果这些 ID 是无效的，且对应的数据并不在数据库中，查询结果也不会被缓存。这些请求会不断地穿透缓存，直接访问数据库，导致数据库负载过高。
- 在这种情况下，大量查询无效键的请求绕过缓存，直接访问数据库，使得数据库变得不堪重负，甚至宕机。
布隆过滤器在解决缓存击穿中的应用
布隆过滤器可以有效地解决缓存击穿问题，原因是它可以快速判断一个键是否一定不存在，从而避免对数据库的无效查询。
布隆过滤器如何应用于缓存击穿？
-
初始化阶段：
- 在系统启动或初始化时，将所有数据库中的有效键（比如商品 ID）加载到布隆过滤器中。布隆过滤器中记录了所有有效键的信息。
-
请求阶段：
- 当客户端请求某个键时，首先使用布隆过滤器进行检查。
- 布隆过滤器判断：
- 如果布隆过滤器判断该键一定不存在（即返回
false），那么直接返回结果为 “无数据”。 - 如果布隆过滤器判断该键可能存在（即返回
true），则继续查询缓存。 - 如果缓存命中，返回缓存结果；如果缓存未命中，查询数据库。
- 如果布隆过滤器判断该键一定不存在（即返回
-
查询数据库：
- 如果布隆过滤器判断该键可能存在，且缓存也没有结果，最终的查询会走到数据库。
- 如果数据库也没有结果，通常可以将结果设置为一个“空对象”并加入缓存，以防止短时间内再度访问造成缓存击穿。
布隆过滤器解决缓存击穿的好处
-
减少数据库的访问：
- 布隆过滤器在大多数情况下可以直接判断无效的请求，从而不必查询数据库，这样可以减少对数据库的压力。
-
高效的存在性判断：
- 布隆过滤器使用位数组和多个哈希函数，可以在常数时间复杂度 O(k)（k 为哈希函数个数）内完成存在性判断，并且占用的空间非常小。
示例：布隆过滤器用于防止缓存击穿
以下是一个简单的示例，演示如何利用布隆过滤器来防止缓存击穿。
import java.util.BitSet;public class CacheWithBloomFilter {private static final int DEFAULT_SIZE = 1000; // 位数组大小private static final int[] SEEDS = new int[]{7, 11, 13, 31, 37, 61}; // 哈希函数种子private BitSet bits;private HashFunction[] hashFunctions;public CacheWithBloomFilter() {bits = new BitSet(DEFAULT_SIZE);hashFunctions = new HashFunction[SEEDS.length];for (int i = 0; i < SEEDS.length; i++) {hashFunctions[i] = new HashFunction(DEFAULT_SIZE, SEEDS[i]);}// 模拟初始化阶段，将数据库中有效的数据加载到布隆过滤器String[] existingKeys = {"product_1", "product_2", "product_3"};for (String key : existingKeys) {add(key);}}// 添加元素到布隆过滤器public void add(String value) {for (HashFunction f : hashFunctions) {bits.set(f.hash(value), true);}}// 查询元素是否存在public boolean mightContain(String value) {for (HashFunction f : hashFunctions) {if (!bits.get(f.hash(value))) {return false; // 如果有一个哈希值位置为 0，则说明一定不存在}}return true; // 所有位都为 1，则说明可能存在}// 模拟缓存查询public String getFromCache(String key) {// 在布隆过滤器中检查是否可能存在if (!mightContain(key)) {System.out.println("Key '" + key + "' is not in bloom filter, skipping cache and DB lookup.");return null; // 一定不存在}// 模拟缓存查询（这里假设缓存总是未命中）System.out.println("Key '" + key + "' might be in bloom filter, continue cache lookup...");return null; // 模拟缓存未命中}// 模拟数据库查询public String getFromDB(String key) {// 模拟数据库查询（这里假设部分键不存在）System.out.println("Querying database for key '" + key + "'...");if ("product_1".equals(key) || "product_2".equals(key) || "product_3".equals(key)) {return "Valid Product";}return null; // 数据库中不存在该键}public static void main(String[] args) {CacheWithBloomFilter cache = new CacheWithBloomFilter();// 查询不存在的键，布隆过滤器返回一定不存在cache.getFromCache("product_100"); // 布隆过滤器直接拒绝// 查询可能存在的键cache.getFromCache("product_1");cache.getFromDB("product_1"); // 继续查询数据库}// 内部静态类，定义哈希函数private static class HashFunction {private int cap;private int seed;public HashFunction(int cap, int seed) {this.cap = cap;this.seed = seed;}public int hash(String value) {int result = 0;for (int i = 0; i < value.length(); i++) {result = seed * result + value.charAt(i);}return (cap - 1) & result; // 返回在 [0, cap) 范围内}}
}
解释代码
-
布隆过滤器初始化：
- 将数据库中所有有效的键（例如
"product_1", "product_2", "product_3"）都添加到布隆过滤器中。
- 将数据库中所有有效的键（例如
-
查询流程：
- 当查询一个不存在的键
"product_100"时，布隆过滤器直接判断该键不存在，从而避免了数据库查询。 - 当查询一个可能存在的键
"product_1"时，布隆过滤器判断该键可能存在，于是继续进行缓存查询或者数据库查询。
- 当查询一个不存在的键
总结布隆过滤器在缓存击穿中的作用
- 快速判断无效键：布隆过滤器可以高效地判断某个键是否存在。如果布隆过滤器判定某个键一定不存在，那么请求不会再访问缓存和数据库，从而减少无效请求对系统的压力。
- 减少数据库压力：通过布隆过滤器，可以有效减少对数据库的无效访问，从而防止缓存击穿给数据库带来的高并发压力。
布隆过滤器的这种使用场景，在实际的大规模系统中非常常见，尤其是在需要减少数据库访问次数、保护数据库负载的系统中，如分布式缓存系统、API 限流、去重等场景。
相关文章：
什么是缓存击穿？如何避免之布隆过滤器
缓存击穿（Cache Penetration）是分布式系统和缓存使用中的一个常见问题，布隆过滤器在解决缓存击穿问题时非常有用。接下来我会介绍缓存击穿的概念以及布隆过滤器在解决该问题中的应用。 什么是缓存击穿？ 缓存击穿是指当大量的客户…...
React 第八节组件生命周期钩子-类式组件，函数式组件模拟生命周期用法
概述 React组件的生命周期可以分为三个主要阶段： 挂载阶段（Mounting）：组件被创建，插入到DOM 树的过程； 更新阶段（Updating）：是组件中 props 以及state 发生变化时&#…...
java虚拟机——如何排查jvm问题
在项目中排查JVM问题是一个系统性的过程，涉及到多个工具和方法。以下是一些常见的步骤和工具，可以帮助你有效地诊断和解决JVM相关的问题： 1. 监控和日志 日志分析 JVM日志：启用JVM的日志记录功能，查看垃圾收集日志、…...
Altium Designer PCB设计检查工具1
此工具最大的特点是不需要联网，完全使用本地的计算资源即可实现检查统计操作，可用于不能联网的应用场景中。此工具支持多种计算加速方法，支持调用CUDA显卡进行数据处理，此功能需要计算机安装Matlab 2016以上版本，并需要…...
统计词频
目标：统计词频 从文件1.txt ，读取内容，保存在一个字符串中统计字符串中，每个单词出现的频率对结果进行排序把最后的结果写入一个新的文件 import java.io.PrintWriter import scala.io.Source//知识点： //1.字符串&a…...
串，数组，广义表相关知识点
串 一.串的储存 1.基本概念 2.顺序储存 3.链式储存 二. 串的模式匹配算法 1.BF算法 将主串的第pos个字符和模式的第一个字符比较， 若相等，继续逐个比较后续字符； 若相等，继续逐个比较后续字符； 若不等，…...
Leetcode 131 Palindrome Partition
题意 把一个字符串分割成多个回文字符串的partition，返回所有的可能partion 链接 https://leetcode.com/problems/palindrome-partitioning/description/ 思考 这只是dfs套了一个回文问题 题解 dfs每次截取一段字符串，判断是否是回文 退出条件是遍…...
git使用文档手册
创建一个本地代码工作空间，比如这里使用test目录作为工作目录 针对仓库地址 http://192.168.31.125:9557/poxiaoai-crm/project-crm.git。 1. 安装 Git 确保您的系统已经安装了 Git。如果未安装，请根据操作系统访问 Git 官网 下载并安装。 验证安装 …...
开发需求总结19-vue 根据后端返回一年的数据，过滤出符合条件数据
需求描述： 定义时间分界点：每月26号8点，过了26号8点则过滤出data数组中符合条件数据下个月的数据，否则过滤出当月数据 1.假如现在是2024年11月14日，那么过滤出data数组中日期都是2024-11月的数据； 2.假如…...
android 安全sdk相关
前述 在网上有看到许多android安全sdk相关的内容，有重复的也有比较新鲜的内容，这里做一个整体的合集，以及后续又看到一些比较新的东西会一起放在这里。 android内sdk目前可以分为以下几个部分（有一些部分可能会存在一些重合&#…...
ChemBench—— 探索大语言模型在化学领域的新基准框架是否胜过化学专家
概述 大规模语言模型是一种机器学习模型，通过学习大量文本来生成文本。这些模型的能力正在迅速提高，现在已经可以通过美国国家医学考试。它们还可以与网络搜索和合成规划器等工具结合使用，自主设计化学反应和进行实验。 一些人认为这些模型…...
[SWPUCTF 2021 新生赛]Do_you_know_http
访问告诉我们要用WLLM 浏览器模式访问 import requestsurl http://node7.anna.nssctf.cn:23148/hello.php # 替换为题目提供的URL headers {User-Agent: WLLM } response requests.get(url, headersheaders) print(response.text)import requestsurl http://node7.anna.n…...
Flink--API 之 Source 使用解析
目录 一、Flink Data Sources 分类概览 （一）预定义 Source （二）自定义 Source 二、代码实战演示 （一）预定义 Source 示例 基于本地集合 基于本地文件 基于网络套接字（socketTextStream&…...
vscode可以编译通过c++项目，但头文件有红色波浪线的问题
1、打开 VSCode 的设置，可以通过快捷键 Ctrl Shift P 打开命令面板，然后搜索并选择 “C/C: Edit Configurations (JSON)” 命令，这将在 .vscode 文件夹中创建或修改 c_cpp_properties.json 文件 {"configurations": [{"name…...
CTF之密码学（培根密码）
培根密码，又名倍康尼密码（Bacons cipher），是由法兰西斯培根发明的一种隐写术，属于密码学领域的一种替换密码。以下是关于培根密码的详细介绍： 一、原理 培根密码本质上是一种二进制密码，但它没…...
)
摄像头原始数据读取——V4L2(mmap模式,V4L2_MEMORY_MMAP)
摄像头原始数据读取——V4L2(mmap模式,V4L2_MEMORY_MMAP) 内存映射模式，是将设备在内核态申请的用于存储视频数据的物理内存映射到用户空间，使得用户应用程序可以直接访问和操作设备数据物理内存，避免了数据的拷贝。因此采集速度较快&#x…...
Ubuntu20.04下安装Matlab2018
Ubuntu20.04下安装Matlab2018 首先需要下载三个文件 挂载第一个镜像文件 先进入到终端，在空白处点击在终端打开 然后输入以下两个命令： mkdir ~/matlab //用户主目录下新建文件夹 matlab sudo mount -o loop Matlab911R2021b_Lin64.iso ~/matlab //将…...
如何做好一份技术文档？
成长路上不孤单😊😊😊😊😊😊 【14后😊///C爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】 今日分享关于技术文档写作的相关内容！ 关…...
GitHub上如何创建文件夹及上传文件
GitHub上如何创建文件夹_github如何添加文件夹-CSDN博客 然后在对应的文件夹下上传文件即可 可以一个一个添加或一次性拖进去，但一次不能超过100个文件。...
GESP C++等级考试 二级真题（2024年9月）
若需要在线模拟考试，可进入题库中心，在线备考，检验掌握程度： https://www.hixinao.com/tidan/exam-157.html?time1732669362&sid172&index1...
Web 表单开发全解析：从基础到高级掌握 HTML 表单设计
文章目录 前言一、什么是 Web 表单？二、表单元素详解总结前言 在现代 Web 开发中，表单 是用户与后端服务交互的重要桥梁。无论是用户登录、注册、搜索，还是提交反馈，表单都无处不在。在本文中，我们将从基础入手，全面解析表单的核心知识点，并通过示例带你轻松掌握表单开…...
SpringBoot生成顺序规则编号-查询数据库方式实现
先说编号规则： 前缀yyyyMMdd5位序号（00001,00002.......） 首先说说思路： 首先是查询数据库中编号的最大值是多少----->没有数据直接生成一个新的从00001开始----->存在编号就直接截取编号的后5位----->序号1 为了可以…...
)
【大数据学习 | Spark-Core】RDD的五大特性(包含宽窄依赖)
分析一下rdd的特性和执行流程 A list of partitions 存在一系列的分区列表A function for computing each split 每个rdd上面都存在compute方法进行计算A list of dependencies on other RDDs 每个rdd上面都存在一系列的依赖关系Optionally, a Partitioner for key-value RDDs…...
docker离线安装linux部分问题整理
0:离线安装docker过程命令 echo $PATH tar -zxvf docker-26.1.4.tgz chmod 755 -R docker cp docker/* /usr/bin/ root 权限 vim /etc/systemd/system/docker.service --------- [Unit] DescriptionDocker Application Container Engine Documentationhttps://docs.do…...
字符串运算符和逻辑运算符)
shell(5)字符串运算符和逻辑运算符
声明！ 学习视频来自B站up主 泷羽sec 有兴趣的师傅可以关注一下，如涉及侵权马上删除文章，笔记只是方便各位师傅的学习和探讨，文章所提到的网站以及内容，只做学习交流，其他均与本人以及泷羽sec团队无关&#…...
容器和它的隔离机制
什么是容器和它的隔离机制？ 容器 是一种轻量化的虚拟化技术，它允许多个应用程序共享同一个操作系统（OS）内核，同时为每个应用程序提供自己的运行环境。容器通过利用 Linux 的内核功能（如 Namespaces 和 Cgr…...
【Flink-scala】DataStream编程模型之 窗口的划分-时间概念-窗口计算程序
DataStream编程模型之 窗口的划分-时间概念-窗口计算程序 1. 窗口的划分 1.1 窗口分为：基于时间的窗口 和 基于数量的窗口 基于时间的窗口：基于起始时间戳 和终止时间戳来决定窗口的大小 基于数量的窗口：根据固定的数量定义窗口 的大小 这…...
DVWA靶场通过——文件上传漏洞
File Upload漏洞 它允许攻击者通过上传恶意文件来执行任意代码、窃取数据、获取服务器权限，甚至完全控制服务器。为了防止文件上传漏洞，开发者需要对文件上传过程进行严格的验证和处理。 1. 文件上传漏洞概述 文件上传漏洞发生在Web应用程序允许用户通过…...
原子类、AtomicLong、AtomicReference、AtomicIntegerFieldUpdater、LongAdder
原子类 JDK提供的原子类，即Atomic*类有很多，大体可做如下分类： 形式类别举例Atomic*基本类型原子类AtomicInteger、AtomicLong、AtomicBooleanAtomic*Array数组类型原子类AtomicIntegerArray、AtomicLongArray、AtomicReferenceArrayAtomic…...
MySQL（8）【聚合函数 | group by分组查询】
阅读导航 引言一、聚合函数1. 简介2. 使用示例（1）COUNT() 函数（2）SUM() 函数（3）AVG() 函数（4）MAX() 函数（5）MIN() 函数 二、group by分组查询1. 基本语法2. 按…...
如何监控Elasticsearch集群状态？
大家好，我是锋哥。今天分享关于【如何监控Elasticsearch集群状态？】面试题。希望对大家有帮助； 如何监控Elasticsearch集群状态？ 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 监控 Elasticsearch 集群的状态对于确保…...
React第七节 组件三大属性之 refs 的用法注意事项
1、定义 React 中refs 是允许我们操作DOM 访问组件实例的一种方案。开发人员可以直接使用 refs 访问操作DOM，而不用自身的数据状态，这种方案在实际开发过程中是有必要的，但是不建议通篇使用refs操作DOM，如果是这样，那…...
全文单词统计
目标：统计词频 import scala.io.Source //知识点 //1.字符串.split("分隔符")：把字符串用指定的分隔符。拆分成多份，保存在数组中 object test1 {def main(args: Array[String]): Unit { //从文件1.txt中读入内容val contentSourc…...
：响应式当红实现signal的详细介绍：它擅长做什么、不能做什么？以及与vue、svelte、react等框架的响应式实现对比)
Angular v19 (二)：响应式当红实现signal的详细介绍：它擅长做什么、不能做什么？以及与vue、svelte、react等框架的响应式实现对比
本文紧接着Angular v19 新版本来啦，一起瞧瞧新特性吧！，主要针对它在v18引入了一项全新的响应式技术——Signal，这引起了开发者社区的广泛关注，最新的v19版本推出了更多的signal工具。Signal的加入旨在优化Angular的响应…...
【数据结构】二叉搜索树（二叉排序树）
🌟🌟作者主页：ephemerals__ 🌟🌟所属专栏：数据结构 目录 前言 一、什么是二叉搜索树 二、二叉搜索树的实现 节点 属性和接口的声明 插入 查找 删除 拷贝构造 析构 中序遍历 三、二叉搜索树的…...
文件的摘要算法（md5、sm3、sha256、crc）
为了校验文件在传输中保证完整性和准确性，因此需要发送方先对源文件产生一个校验码，并将该值传输给接收方，将附件通过ftph或http方式传输后，由接收方使用相同的算法对接收文件再获取一个新的校验码，将该值和发送方传的…...
Python实现人生重开模拟器
目录 人生重开模拟器介绍 代码实现 打印初始界面 设置初始属性 设置角色性别 设置角色出生点 针对每一岁，生成人生经历 完整代码 人生重开模拟器介绍 人生重开模拟器 是之前比较火的一个小游戏，我们这里使用 Python 实现一个简化版的 人生重开模…...
机器学习（二十五）：决策树算法以及决策树和神经网络的对比
一、决策树集合 单一决策树会对训练数据的变化很敏感。例子：输入十个数据，判断是否是猫。只替换其中一个数据，信息增益最高的分裂特征就发生了改变，决策树就发生了变化。 使用决策树集合可以使算法更加健壮。例子：使用…...
k8s运行运行pod报错超出文件描述符表限制
1.问题描述 运行pod超过文件描述符表 unable to allocate file descriptor table - out of memory/opt/COMMAND.sh: line 9: 2.查看设备的文件描述符限制 操作前一定要先查询这个值，2097152这个值即为我们可设置的最大值，超过这个值后将无法登录&am…...
非常简单实用的前后端分离项目-仓库管理系统（Springboot+Vue）part 2
七、创建前端项目 你下载了nodejs吗？从cn官网下载：http://nodejs.cn/download/，或者从一个国外org网站下载，选择自己想要的版本https://nodejs.org/download/release/，双击下载好的安装文件，选择安装路径安…...
开源 AI 智能名片 2 + 1 链动模式 S2B2C 商城小程序源码助力品牌共建：价值、策略与实践
摘要：在当今数字化商业环境下，品牌构建已演变为企业与消费者深度共建的过程。本文聚焦于“开源 AI 智能名片 2 1 链动模式 S2B2C 商城小程序源码”，探讨其如何融入品牌建设，通过剖析品牌价值构成，阐述该技术工具在助力…...
微信小程序中的WXSS与CSS的关系及使用技巧
微信小程序中的WXSS与CSS的关系及使用技巧 引言 在微信小程序的开发中，样式的设计与实现是构建用户友好界面的关键。微信小程序使用WXSS（WeiXin Style Sheets）作为其样式表语言，WXSS在语法上与CSS非常相似，但也有一些独特的特性。本文将深入探讨WXSS与CSS的关系，介绍WX…...
STM32的CAN波特率计算
公式： CAN波特率 APB总线频率 / （BRP分频器 1）/ (SWJ BS1 BS2) SWJ一般为1。 例如STM32F407的，CAN1和CAN2都在在APB1下，频率是42000000 如果想配置成1M波特率，则计算公式为：...
【LeetCode面试150】——57插入区间
博客昵称：沈小农学编程 作者简介：一名在读硕士，定期更新相关算法面试题，欢迎关注小弟！ PS：哈喽！各位CSDN的uu们，我是你的小弟沈小农，希望我的文章能帮助到你。欢迎大家在…...
活着就好20241128
早晨问候： 亲爱的朋友们，大家早上好！今天是2024年11月28日，第48周的第四天，也是十一月的第二十八天，农历甲辰[龙]年十月廿四。在这个即将步入月末、阳光依旧明媚的清晨，愿第一缕阳光轻轻洒落在…...
【kafka03】消息队列与微服务之Kafka 读写数据
Kafka 读写数据 参考文档 Apache Kafka 常见命令 kafka-topics.sh #消息的管理命令 kafka-console-producer.sh #生产者的模拟命令 kafka-console-consumer.sh #消费者的模拟命令 创建 Topic 创建topic名为 chen，partitions(分区)为3࿰…...
【Agorversev1.1数据转换】Agorverse高清地图转OpenStreetMap及SUMO路网
文章目录 Agorverse高清地图转OpenStreetMap及SUMO路网1. Agorverse osm转换说明2. 转换源码3. 处理效果4. SUMO-Carla联合仿真 Agorverse高清地图转OpenStreetMap及SUMO路网 1. Agorverse osm转换说明 根据作者的描述，其高清地图的osm文件与标准osm的区别在于以下…...
Vue 3 实现高性能拖拽指令的最佳实践
前言 在现代前端开发中，拖拽功能是增强用户体验的重要手段之一。本文将详细介绍如何在 Vue 3 中封装一个拖拽指令（v-draggable），并通过实战例子演示其实现过程。通过这篇教程，您将不仅掌握基础的拖拽功能，…...
AIGC--------AIGC在医疗健康领域的潜力
AIGC在医疗健康领域的潜力 引言 AIGC（Artificial Intelligence Generated Content，人工智能生成内容）是一种通过深度学习和自然语言处理（NLP）等技术生成内容的方式。近年来，AIGC在医疗健康领域展现出了极…...
Apache Calcite - calcite jdbc驱动使用场景
前言 在使用Calcite查询数据时通常会用到这些代码获取schema Connection connection DriverManager.getConnection("jdbc:calcite:", info); CalciteConnection calciteConnection connection.unwrap(CalciteConnection.class); SchemaPlus rootSchema calciteC…...