布隆过滤器的应用
- 布隆过滤器虽然看起来是一个“算法结构”，但在实际 Web 应用场景中用途非常广泛，尤其在 提升性能、节省资源、防御攻击 等方面非常有用。
缓存穿透保护（常见于 Redis）
📌 问题：
- 用户频繁请求一些数据库中根本不存在的资源，导致每次都要访问数据库，绕过缓存，造成数据库压力
✅ 用法：
- 在访问缓存前先用布隆过滤器判断 key 是否可能存在：
if !bloomFilter.MightContain(key) {return "Not Found" // 直接拒绝
}
value := redis.Get(key)
if value == nil {value = db.Query(key)if value != nil {redis.Set(key, value)}
}✅ 好处：
- 拦截大量无效请求
- 缓解缓存穿透问题
- 提升整体系统抗压能力
防止重复提交 / 重复注册
📌 场景：
- 表单重复提交
- 用户频繁尝试用同一个邮箱注册
✅ 用法：
- 用布隆过滤器预判该数据是否已存在：
if bloomFilter.MightContain(email) {return "Email already used or likely used"
}
✅ 优点：
- 在接口层拦截重复操作
- 避免数据库压力
用户黑名单拦截
📌 场景：
- 某些 IP 或 token 被封禁，需要快速判断是否命中黑名单。
✅ 用法：
- 系统启动时将黑名单加载进布隆过滤器：
if bloomFilter.MightContain(userIP) {return "Access Denied"
}
✅ 优点：
- 快速拒绝访问，无需查数据库
- 支持大规模用户数据
短链接服务去重 / 防止碰撞
📌 场景：
- 在生成短链接时，需要确保新的 key 没被使用过。
✅ 用法：
- 生成新 key 前，用布隆过滤器判断是否可能存在
if bloomFilter.MightContain(newShortCode) {regenerate()
}
搜索引擎爬虫去重（页面URL）
📌 场景：
- 需要避免爬虫反复访问同一页面。
✅ 用法：
- 每次爬虫访问新 URL 之前，用布隆过滤器做判断：
if !bloomFilter.MightContain(url) {bloomFilter.Add(url)crawl(url)
}
用 Go + Redis 快速实现布隆过滤器保护缓存
- 在实际生产中，通常布隆过滤器会用 Redis、Go、Python 或 C 实现，还可以和 Golang 的 Web 框架（如 Gin）结合：
示例（伪代码结构）：
func GetUserProfile(c *gin.Context) {userID := c.Query("id")// 快速拦截非法 IDif !bloomFilter.MightContain(userID) {c.JSON(404, gin.H{"msg": "user not found"})return}// 然后再查缓存 / DBdata := redis.Get("user:" + userID)if data == nil {data = db.QueryUser(userID)redis.Set("user:"+userID, data)}c.JSON(200, data)
}
相关文章：
布隆过滤器的应用
布隆过滤器虽然看起来是一个“算法结构”，但在实际 Web 应用场景中用途非常广泛，尤其在 提升性能、节省资源、防御攻击 等方面非常有用。 缓存穿透保护（常见于 Redis） 📌 问题： 用户频繁请求一些数据库中…...
云原生--基础篇-4--CNCF-1-云原生计算基金会（云原生生态发展和目标）
1、CNCF定义与背景 云原生计算基金会（Cloud Native Computing Foundation，CNCF）是由Linux基金会于2015年12月发起成立的非营利组织，旨在推动云原生技术的标准化、开源生态建设和行业协作。其核心目标是通过开源项目和社区协作&am…...
（16）VTK C++开发示例 --- 转换文件格式
文章目录 1. 概述2. CMake链接VTK3. main.cpp文件4. 演示效果 更多精彩内容👉内容导航 👈👉VTK开发 👈 1. 概述 此示例演示如何读取文件，然后将其写入不同类型的文件。 在此示例中，我们读取一个 vtp 文件并…...
离线-DataX
基本介绍 DataX 是阿里云 DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台，它是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源…...
深度学习-全连接神经网络-3
七、过拟合与欠拟合 在训练深层神经网络时，由于模型参数较多，在数据量不足时很容易过拟合。而正则化技术主要就是用于防止过拟合，提升模型的泛化能力(对新数据表现良好)和鲁棒性（对异常数据表现良好）。 1. 概念认知 …...
基于javaweb的SSM+Maven教材管理系统设计与实现(源码+文档+部署讲解）
技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容：免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论文…...
DCL介绍
一.dcl-介绍 一.案例 1.查询用户 USE mysql； select * from user； 2.权限控制...
mysql日常巡检
1.查看mysql服务是否异常 systemctl status mysql_3306 查看MySQL进程是否存在 ps -ef | grep mysql 2.连接异常检查 (1)查看是否异常连接 show processlist; #或 show full processlist; (2)查看当前失败连接数 show global status like aborted_connects; (3)查看试…...
Cursor这类编程Agent软件的模型架构与工作流程
开发｜界面｜引擎｜交付｜副驾——重写全栈法则：AI 原生的倍速造应用流 来自全栈程序员 nine 的探索与实践，持续迭代中。 欢迎评论私信交流。 最近在关注和输出一系列 AIGC 架构。 模型架构与工作流程 大语…...
记录：扩展欧几里得算法
本文遵循 CC BY-NC-ND 4.0 协议，作者： U•ェ•*U \texttt{U•ェ•*U} U•ェ•*U，转载请获得作者授权。 前置知识 裴蜀定理/贝祖定理：若 a , b a,b a,b 是整数，且 gcd ( a , b ) d \gcd(a,b)d gcd(a,b)d…...
学习笔记——《Java面向对象程序设计》-抽象和接口
参考教材： Java面向对象程序设计（第3版）微课视频版 清华大学出版社 抽象方法 抽象方法是使用abstract关键字修饰的成员方法，抽象方法在定义时不需要实现方法体。 抽象方法的定义格式如下： abstract void 方法名称…...
MySQL中根据binlog日志进行恢复
MySQL中根据binlog日志进行恢复 排查 MySQL 的 binlog 日志问题及根据 binlog 日志进行恢复的方法一、引言二、排查 MySQL 的 binlog 日志问题（一）确认 binlog 是否开启（二）查找 binlog 文件位置和文件名模式（三&#…...
数据库sql语句 中 GROUP BY 关键字详解及字段要求
GROUP BY 关键字详解及字段要求 GROUP BY 的核心作用 将查询结果按指定字段分组，常与聚合函数（如 COUNT, SUM, AVG 等）结合使用，对分组后的数据进行统计计算。 GROUP BY 后字段的要求 非聚合字段必须出现在 GROUP BY 子句中&…...
数据集 | 柑橘果目标检测数据集
文章目录 一、数据集概述1.1 数据标注实例1.2 数据集技术规格 二、样本类别详解2.1 树上柑橘样本2.2 树下柑橘样本 三、标注工具四、数据下载地址 一、数据集概述 在农业智能化领域，柑橘果园的自动化监测与管理一直面临着几个关键挑战： 果实定位准确性…...
Arduino示例代码讲解：Project 11 - Crystal Ball 水晶球
Arduino示例代码讲解：Project 11 - Crystal Ball 水晶球 Project 11 - Crystal Ball 水晶球程序功能概述功能：硬件要求：输出：代码结构全局变量`setup()` 函数`loop()` 函数读取倾斜开关状态：检测状态变化：保存状态：运行过程注意事项Project 11 - Crystal Ball 水晶球 /…...
Redis—为何持久化使用子进程
AOF重写以及bgsave的时候为什么采用fork子进程而不是子线程？ 进程间内存隔离 独立的内存空间：子进程拥有与主进程独立的内存空间，确保即使在重写过程中发生崩溃或错误，也不会影响主进程的运行和内存状态。 数据安全性ÿ…...
Vue3 + Vite + TS,使用 ExcelJS导出excel文档，生成水印，添加背景水印，dom转图片，插入图片，全部代码
Vue3 Vite TS,使用 ExcelJS导出excel文档，生成水印，添加背景水印，dom转图片，插入图片，全部代码 ExcelJS生成文档并导出导出表头其他函数 生成水印设置文档的背景水印dom 转图片插入图片全部代码 ExcelJS 读取&#…...
VulnHub-DarkHole_1靶机渗透教程
VulnHub-DarkHole_1靶机渗透教程 1.靶机部署 [Onepanda] Mik1ysomething 靶机下载：https://download.vulnhub.com/darkhole/DarkHole.zip 直接使用VMware打开就行 导入成功，打开虚拟机，到此虚拟机部署完成！ 注意：…...
Python设计模式：对象池
1. 什么是对象池设计模式？ 对象池设计模式是一种创建型设计模式，主要用于管理和复用对象，以提高性能和资源利用率。它通过维护一个对象的集合（池），来避免频繁地创建和销毁对象，从而减少内存分配…...
【上海大学数据库原理实验报告】MySQL数据库的C/S模式部署
实验目的 掌握Linux环境下MySQL数据库的安装、初始化和基本配置。通过配置MySQL的网络通信，熟悉数据库的远程访问机制及其安全性要求。 实验内容 在腾讯云上租借两台服务器，打开3306端口以允许MySQL远程访问。 图 1 租到的服务器可在控制台观察其状态…...
deepseek快速生成简历
目录 一、需求二、模板例子 三、生成简历四、其他说明 一、需求 现在我准备跳槽到一家公司，这家公司已经发布了招聘需求，现在你想跳槽到这家公司，我们可以利用deepseek快速生成符合这家公司的简历内容。 二、模板 我们要进行指令明确的结构…...
什么是机器视觉3D无序堆叠抓取
机器视觉3D无序堆叠抓取是一种结合三维视觉感知、人工智能算法和机器人控制的技术，旨在从杂乱无序堆叠的物体中识别、定位并抓取目标物体。该技术广泛应用于工业自动化（如物流分拣、装配制造）、仓储管理、食品加工等领域，解决了传统二维视觉或固定规则堆叠场景下的抓取难题…...
Shell脚本中的字符串截取和规则变化
文章目录 前言if通配符判断if判断多个条件规则变化字符串的两个示例改变中间段数字改变末尾段数字 总结 前言 科技的发展会带来习惯的改变，特别是对于我们这批敲代码的，之前还积累一些奇巧淫技，想着在必要的时候卖弄一下，自从生成…...
云账号安全事件应急响应指南：应对来自中国IP的异常访问
在当今数字化时代，云服务已成为企业IT基础设施的核心。然而，随之而来的安全挑战也日益突出。本文将详细介绍当发现云账号被来自中国的IP地址异常利用时，应如何快速有效地响应，以确保账户安全并最小化潜在风险。 1. 确认异常活动 首先，我们需要确认是否真的发生了安全事件…...
python番外
#作者：允砸儿 #日期：乙巳青蛇年 三月廿五 在开始数据库的分享之前笔者简单写以下关于python的番外。笔者这块可能写的不是很好csdn上面有很多大佬，笔者仅以自己的思维和想法与大家分享以下。 安装必看 笔者在这里贴一个网址https://www.…...
Jetson Orin NX 16G 配置GO1强化学习运行环境
这一次收到了Jrtson Orin NX, 可以进行部署了。上一次在nano上的失败经验 Jetson nano配置Docker和torch运行环境_jetson docker-CSDN博客 本次的目的是配置cuda-torch-python38环境离机运行策略。 Jetson Orin NX SUPER 1. 烧录镜像 参考链接在ubuntu系统中安装sdk manag…...
Embedding与向量数据库__0422
thinking：做一个项目 1，业务背景，价值 2，方法，工具 3，实践（现有的代码，改写的代码） cursor编程有个cursor settings ->privacy mode隐私模式，但是只要连上…...
正向代理和反向代理
正向代理和反向代理是两种在不同场景下使用的代理技术，它们有以下区别： 目标和作用 正向代理 目标 ：主要是为客户端服务，帮助客户端去访问外部网络资源。例如，企业内部网络中的员工可能需要访问互联网，但直…...
Android JNI开发中头文件引入的常见问题与解决方案，提示：file not found
Android JNI开发中头文件引入的常见问题与解决方案 问题场景（新手易犯错误） 假设你在开发一个JNI项目，想要实现一个线程安全的队列（SafeQueue），于是直接在cpp目录下创建了safe_queue.h文件，并开…...
三网通电玩城平台系统结构与源码工程详解（二）：Node.js 服务端核心逻辑实现
本篇文章将聚焦服务端游戏逻辑实现，以 Node.js Socket.io 作为主要通信与逻辑处理框架，展开用户登录验证、房间分配、子游戏调度与事件广播机制的剖析，并附上多个核心代码段。 一、服务端文件结构概览 /server/├── index.js …...
案例：Windows 作为客户端免密验证（公钥验证）
一、实验前提 1.服务器端为 Linux 系统，且能够正常运行相关命令和服务，如 systemctl、ssh 服务等。同时，客户端为 Windows 系统，且具备使用 SSH 客户端工具连接到 Linux 服务器的条件 2.Linux 服务器上已安装并配置好 SSH 服务&…...
leetcode 二分查找
704. Binary Search 代码： class Solution { public:int search(vector<int>& nums, int target) {int n nums.size();int left 0;int right n-1;int res -1;while(left < right){int mid (leftright)/2;if(nums[mid] target){res mid;break;}…...
C++：STL模板
STL模板分为函数模板和类模板。 我想交换两个数字，但是类型不同，例如我想交换整形a,b，和double类型的d1,d2。如果使用C语言来实现，那么需要像下面一样写两个swap函数，但是除了类型不同，其它都一样…...
NumPy入门：从数组基础到数学运算
目录 一、NumPy 数组基础 （一）创建数组 （二）数组索引 （三）数组切片 二、数组操作 （一）形状操作 （二）数组合并与分割 三、基本数学运算 （…...
文档管理 Document Management
以下是关于项目管理中 文档管理 的深度解析，结合高项（如软考高级信息系统项目管理师）教材内容，系统阐述文档管理的理论框架、核心流程及实战应用： 一、文档管理的基本概念 1. 定义 文档管理是对项目全生命周期中产生的各类文档进行规范化管理的过程，包括创建、存储、版…...
TCP三次握手与四次挥手面试回答版本
面试官：说一下TCP三次握手的过程 参考面试回答： 在第一次握手的时候、客户端会随机生成初始化序号、放到TCP报文头部的序号字段中、同时把SYN标志设置为1 这样就表示SYN报文（这里是请求报文）。客户端将报文放入 TCP 报文首部的序…...
Windows7升级Windows10，无法在此驱动器上安装Windows
一、现象描述 台式机工作站，从Windows7升级Windows10，采用MediaCreationTool_22H2制作U盘启动盘，安装系统遇到问题如下： 二、原因分析 是由于硬盘格式不是GPT硬盘，而Windows系统只能安装到GPT硬盘上，所以…...
【阿里云大模型高级工程师ACP习题集】2.2 扩展答疑机器人的知识范围
练习题 【单选题】在RAG应用的建立索引过程中，文本向量化的主要目的是（ ）。 A. 将文本转换为计算机能理解的数字形式，便于比较相似度 B. 对文本进行分类 C. 去除文本中的噪声数据 D. 提取文本中的关键词 【多选题】以下属于RAG应用中建立索引步骤的有（ ）。 A. 文档解析 B…...
Mininet--node.py源码解析
算法逻辑详解 1. 核心类结构 代码通过面向对象的方式定义了网络模拟中的各类节点，继承关系如下： Node ├── Host │ └── CPULimitedHost ├── Switch │ ├── UserSwitch │ ├── OVSSwitch │ ├── OVSBridge │ └── IVSS…...
龙虎榜——20250422
指数目前还是震荡为主，等待后续的选择方向 2025年4月22日龙虎榜行业方向分析 一、核心主线方向 化工（新材料产能优化） • 代表标的：红宝丽（环氧丙烷/锂电材料）、亚太实业（农药中间体ÿ…...
掌握 Altium Designer：轻松定制“交换器件”工具栏
在PCB设计过程中，快速交换器件（如电阻、电容、IC等）是提高效率的关键。Altium Designer提供了灵活的工具栏定制功能，让用户可以创建专属的"交换器件"工具栏，将常用操作集中管理，减少菜单切换时间…...
npm的基本使用安装所有包，安装删除指定版本的包，配置命名别名
npm的基本使用安装所有包，安装删除指定版本的包，配置命名别名 安装所有依赖指定版本安装/删除包给 npm 脚本配置“命令别名（自定义命令）” ✅ 一、安装所有包（恢复依赖） 如果项目中已经存在 package.json…...
transformer预测寿命
完整的Transformer剩余寿命预测代码体系。该代码已在锂电池和工业设备数据集验证，支持端到端训练和预测。 python import torch import numpy as np from torch import nn, optim from sklearn.preprocessing import MinMaxScaler from torch.utils.data import Da…...
如何将视频轻松转换为GIF动态图
在社交媒体和日常聊天中，GIF动态图因其体积小、循环播放的特点而广受欢迎。很多人希望将视频中的精彩片段制作成GIF图分享给朋友或用于内容创作。本文将详细介绍如何简单快速地将视频转换为GIF动态图，无需复杂软件，几步即可完成。 转换步骤 …...
一文详解Pytorch环境搭建：Mac电脑pip安装Pytorch开发环境
对于希望在本地环境中进行深度学习开发的开发者来说，配置PyTorch工具是至关重要的一步。。对于Mac用户而言，搭建PyTorch开发环境并不复杂，本文将详细介绍如何在Mac电脑上使用pip安装PyTorch开发环境，帮助开发者快速上手深度学习开…...
ios开发中xxx.debug.dylib not found
问题描述：error: Build input file cannot be found: /Users/zhoutao/Library/Developer/Xcode/DerivedData/XfLive-effvxneriinvzwexohdsevonmhsk/Build/Products/Debug-iphoneos/xFLive.app/xFLive.debug,dylib’, pid you forget to declare this file as an out…...
Linux嵌入式系统SQlite3数据库学习笔记
前言 SQlite3是一个轻量级、嵌入式的关系型数据库管理系统，其中具有的核心特点： 1：嵌入式数据库：无需独立服务器进程，数据库直接嵌入到应用程序中。 2：单文件存储：整个数据库存储为单个文件&…...
【教程】安装 iterm2 打造漂亮且高性能的 mac 终端
【教程】安装 iterm2 打造漂亮且高性能的 mac 终端_mac 安装iterm2-CSDN博客 安装myzh 参考文章：https://blog.csdn.net/qq_44741467/article/details/135727124 下载地址：GitCode - 全球开发者的开源社区,开源代码托管平台 1、下载到本地 2、进入下载的…...
C++IO流
CIO流 IO: 向设备输入数据和输出数据 C的IO流设备: 文件、控制台、特定的数据类型(stringstream) c中,必须通过特定的已经定义好的类, 来处理IO(输入输出) 读写文件：文件流 文件流: 对文件进行读写操作 头文件: <fstream> 类库: ifstream 对文件输入&am…...
Swoole-添加自定义路由实现控制器访问
swoole本身不支持路由功能，默认情况我们实现路由访问可能要这样 $path $request->server[request_uri]switch ($path){case /favicon.ico:$response->status(404);$response->end(Not Found);break;case /abc/def/gg:$response->end("/abc/def/gg…...