Redis-布隆过滤器
文章目录
- 布隆过滤器的特点:
- 实践布隆过滤器
- 应用
布隆过滤器的特点:
就可以把布隆过滤器理解为一个set集合，我们可以通过add往里面添加元素，通过contains来判断是否包含某个元素。
布隆过滤器是一个很长的二进制向量和一系列随机映射函数。 可以用来检索一个元素是否存在一个集合中，优点是空间效率和时间都比一般算法要好，缺点是存在一定的误判和删除困难。 因为 hash 冲突的存在，可能会有误判的概率。
应用场景包括下面:
布隆过滤器的特点:
结构图:
查询的时间复杂度是 O（N） n 是 hash 函数的数量。
如果某个位置为 0,可以一定判断不存在,但是某个位置不为 0 不能就肯定一定存在 mysql 中.
实践布隆过滤器
底层使用的位图数据结构。
import redis.clients.jedis.Jedis;
import java.nio.charset.StandardCharsets;
import java.util.BitSet;
import java.util.List;
import java.util.ArrayList;public class RedisBloomFilter {private static final String BLOOM_FILTER_KEY = "bloom_filter";private static final int BITMAP_SIZE = 1000000; // 位图大小private static final int[] HASH_SEEDS = {3, 5, 7, 11, 13, 17}; // 多个哈希函数的种子private Jedis jedis;private List<SimpleHash> hashFunctions;public RedisBloomFilter() {this.jedis = new Jedis("localhost", 6379);this.hashFunctions = new ArrayList<>();for (int seed : HASH_SEEDS) {hashFunctions.add(new SimpleHash(BITMAP_SIZE, seed));}}// 添加元素到布隆过滤器public void add(String value) {for (SimpleHash hashFunction : hashFunctions) {jedis.setbit(BLOOM_FILTER_KEY, hashFunction.hash(value), true);}}// 检查元素是否可能存在于布隆过滤器中public boolean mightContain(String value) {for (SimpleHash hashFunction : hashFunctions) {if (!jedis.getbit(BLOOM_FILTER_KEY, hashFunction.hash(value))) {return false;}}return true;}// 关闭连接public void close() {jedis.close();}// 简单哈希函数public static class SimpleHash {private int cap;private int seed;public SimpleHash(int cap, int seed) {this.cap = cap;this.seed = seed;}public int hash(String value) {int result = 0;byte[] bytes = value.getBytes(StandardCharsets.UTF_8);for (byte b : bytes) {result = seed * result + b;}// 让hash分布的均匀一谢return (cap - 1) & result;}}public static void main(String[] args) {RedisBloomFilter bloomFilter = new RedisBloomFilter();// 添加元素到布隆过滤器bloomFilter.add("user1");bloomFilter.add("user2");bloomFilter.add("user3");// 检查元素是否可能存在System.out.println("Does user1 exist? " + bloomFilter.mightContain("user1")); // 输出: trueSystem.out.println("Does user4 exist? " + bloomFilter.mightContain("user4")); // 输出: false// 关闭连接bloomFilter.close();}
}应用
IP 黑名单：
https://blog.csdn.net/m0_56079407/article/details/127046242
参考文章：
https://blog.csdn.net/qq_41125219/article/details/119982158
相关文章：
Redis-布隆过滤器
文章目录 布隆过滤器的特点:实践布隆过滤器应用 布隆过滤器的特点: 就可以把布隆过滤器理解为一个set集合，我们可以通过add往里面添加元素，通过contains来判断是否包含某个元素。 布隆过滤器是一个很长的二进制向量和一系列随机映射函数。 可以用来检索…...
OpenCV 图像旋转
在学习 OpenCV 和 Matplotlib 处理图像时，遇到了一些关于 cv2.imread()、cv2.getRotationMatrix2D()、plt.imshow() 的问题： import cv2 import numpy as np import matplotlib.pyplot as pltimg cv2.imread(img2.png, 1) # 读取彩色图像（…...
联想Y7000+RTX4060+i7+Ubuntu22.04运行DeepSeek开源多模态大模型Janus-Pro-1B+本地部署
直接上手搓了： conda create -n myenv python3.10 -ygit clone https://github.com/deepseek-ai/Janus.gitcd Januspip install -e .pip install webencodings beautifulsoup4 tinycss2pip install -e .[gradio]pip install pexpect>4.3python demo/app_januspr…...
在线知识库创建与维护提升企业效率与知识共享能力
内容概要 在当今数字化快速发展的背景下，在线知识库逐渐成为企业管理信息的重要工具。其核心在于将知识进行系统化、结构化的整理和存储，便于员工获取和分享。这不仅提高了信息的访问效率，还促进了团队之间的协作。在线知识库的建立可以有效…...
C语言指针专题二 -- 字符指针与字符串
目录 1. 字符指针与字符串的核心原理 字符串的本质 字符串的存储 字符指针的特性 字符指针的操作 2. 编程实例 3. 常见陷阱与注意事项 4. 总结 1. 字符指针与字符串的核心原理 字符串的本质 C语言中没有独立的字符串类型，字符串本质是 以\0（空…...
玄武计划--干中学，知行合一
作为开发者转型安全领域有一定优势，但需要系统学习网络安全知识。以下是针对你的情况（Java背景 + 快速入门）的实战导向学习路径，分为基础、工具、漏洞利用和进阶四个阶段： 一、基础准备（1-2周） 网络协议与渗透基础 重点协议：深入理解 TCP/IP、HTTP/HTTPS、DNS、SMTP，用…...
处理 .gitignore 未忽略文件夹问题
本地删除缓存 例如 .idea 文件夹被其他同事误提交，那么他本地执行以下代码 git rm -r --cached .idea对应本地再提交即可...
实验七 JSP内置对象II
实验七 JSP内置对象II 目的： 1、掌握JSP内置对象的使用。 2、理解JSP的作用域 3、掌握session，application对象的使用 实验要求： 1、完成实验题目 2、要求提交实验报告，将代码和实验结果页面截图放入报告中 实验过程：…...
【Leetcode 每日一题 - 补卡】219. 存在重复元素 II
问题背景 给你一个整数数组 n u m s nums nums 和一个整数 k k k，判断数组中是否存在两个 不同的索引 i i i 和 j j j，满足 n u m s [ i ] n u m s [ j ] nums[i] nums[j] nums[i]nums[j] 且 ∣ i − j ∣ < k |i - j| < k ∣i−j∣<…...
_flask删除数据自动更新)
Flask数据的增删改查(CRUD)_flask删除数据自动更新
查询年龄小于17的学生信息 Student.query.filter(Student.s_age < 17) students Student.query.filter(Student.s_age.__lt__(17))模糊查询，使用like，查询姓名中第二位为花的学生信息 like ‘_花%’,_代表必须有一个数据，%任何数据 st…...
web自动化——前端知识
<iframe> 是 HTML 中的一个元素，用于在当前网页中嵌入另一个网页或文档。它就像一个“窗口”，可以在页面中显示其他内容。 主要特点： 嵌入外部内容：可以在网页中嵌入其他网页、视频、地图等。独立上下文：嵌入的…...
计算机网络一点事（22）
地址解析协议ARP ARP：查询Mac地址 ARP表（ARP缓存）：记录映射关系，一个数据结构，定期更新ARP表 过程：请求分组，响应分组 动态主机配置协议DHCP 分配IP地址，配置默认网关…...
SG算法解析
Savitzky-Golay 滤波器的核心代码主要集中在计算投影矩阵B并使用这个矩阵对输入信号进行滤波。这部分核心代码包括计算B矩阵、处理边界效应和进行实际滤波操作。以下是对核心代码的一点解释： ① 计算 Savitzky-Golay 投影矩阵B B sgolay(order, framelen, weight…...
Ubuntu Server连接wifi
背景 家里服务器放在客厅太吵了, 准备挪到阳台, 所以买了TP wifi接收器, 因此需要配置wifi连接. 刚开始买了Tenda Ax300, 结果不支持服务器系统, 买前还是得和客服交流交流. 准备 驱动安装 对于windows系统来说, 这款接收器是免驱的, 但在linux上需要安装相应型号驱动 安装…...
Linux 4.19内核中的内存管理：x86_64架构下的实现与源码解析
在现代操作系统中，内存管理是核心功能之一，它直接影响系统的性能、稳定性和多任务处理能力。Linux 内核在 x86_64 架构下，通过复杂的机制实现了高效的内存管理，涵盖了虚拟内存、分页机制、内存分配、内存映射、内存保护、缓存管理等多个方面。本文将深入探讨这些机制，并结…...
L30.【LeetCode笔记】设计链表
1.题目 707. 设计链表 - 力扣（LeetCode） 你可以选择使用单链表或者双链表，设计并实现自己的链表。 单链表中的节点应该具备两个属性：val 和 next 。val 是当前节点的值，next 是指向下一个节点的指针/引用。 如果是双向…...
使用Pygame制作“Flappy Bird”游戏
1. 前言 Flappy Bird 是一款“点击上浮、松手下落”的横向卷轴游戏： 场景中持续出现上下成对的管道，玩家需要让小鸟在管道之间穿行；每穿过一对管道记 1 分；若小鸟碰到管道或掉到地面，则游戏结束；一旦上手…...
PHP中配置 variables_order详解
variables_order 是 PHP 配置文件 php.ini 中的一项配置指令，决定了 PHP 在处理请求时，哪些类型的变量将被注册到全局变量空间（如 $GLOBALS）中，以及这些变量的顺序。理解和正确配置 variables_order 对于开发和维护安全…...
Go学习：运算符总结
在 Go语言中，一元运算符拥有最高的优先级，二元运算符的运算方向均是从左至右。 下表列出了所有运算符以及它们的优先级，由上至下代表优先级由高到低：...
JS面相对象小案例：自定义安全数组
在JS中，数组不像其他语言（java、python）中那样安全，它具有动态性和弱类型性，切越界访问没有具体的报错，而是返回空，为提升数组的安全性，我们可以自行定义一个安全数组。 一、增加报…...
将markdown文件转为word文件
通义千问等大模型生成的回答多数是markdown类型的，需要将他们转为Word文件 一 pypandoc 介绍 1. 项目介绍 pypandoc 是一个用于 pandoc 的轻量级 Python 包装器。pandoc 是一个通用的文档转换工具，支持多种格式的文档转换，如 Markdown、HTM…...
Unet 改进：在encoder和decoder间加入TransformerBlock
目录 1. TransformerBlock 2. Unet 改进 3. 完整代码 Tips：融入模块后的网络经过测试，可以直接使用，设置好输入和输出的图片维度即可 1. TransformerBlock TransformerBlock是Transformer模型架构的基本组件，广泛应用于机器翻译、文本摘要和情感分析等自然语言处理任务…...
LeetCode题练习与总结：两个列表的最小索引总和--599
一、题目描述 假设 Andy 和 Doris 想在晚餐时选择一家餐厅，并且他们都有一个表示最喜爱餐厅的列表，每个餐厅的名字用字符串表示。 你需要帮助他们用最少的索引和找出他们共同喜爱的餐厅。 如果答案不止一个，则输出所有答案并且不考虑顺序。…...
IBM数据与人工智能系列 安装 IBM 编程助手
登录CPD环境 ${CPDM_OC_LOGIN} 安装编程助手 cpd-cli manage apply-olm \ --release${VERSION} \ --cpd_operator_ns${PROJECT_CPD_INST_OPERATORS} \ --componentswca cpd-cli manage apply-cr \ --componentswca \ --release${VERSION} \ --cpd_instance_ns${PROJECT_CPD…...
细说机器学习算法之ROC曲线用于模型评估
系列文章目录 第一章：Pyhton机器学习算法之KNN 第二章：Pyhton机器学习算法之K—Means 第三章：Pyhton机器学习算法之随机森林 第四章：Pyhton机器学习算法之线性回归 第五章：Pyhton机器学习算法之有监督学习与无监督…...
unity学习25：用 transform 进行旋转和移动，简单的太阳地球月亮模型，以及父子级关系
目录 备注内容 1游戏物体的父子级关系 1.1 父子物体 1.2 坐标关系 1.3 父子物体实际是用 每个gameobject的tranform来关联的 2 获取gameObject的静态数据 2.1 具体命令 2.2 具体代码 2.3 输出结果 3 获取gameObject 的方向 3.1 游戏里默认的3个方向 3.2 获取方向代…...
如何利用天赋实现最大化的价值输出
这种文章，以我现在的实力很难写出来。所以需要引用一些视频。 上92高校容易吗 如果基于天赋努力，非常容易。 如果不是这样，非常非常难。 高考失败人生完蛋？复读考上交大，进入社会才发现学历只是一张纸，98…...
使用 postman 测试思源笔记接口
思源笔记 API 权鉴 官方文档-中文：https://github.com/siyuan-note/siyuan/blob/master/API_zh_CN.md 权鉴相关介绍截图： 对应的xxx，在软件中查看 如上图：在每次发送 API 请求时，需要在 Header 中添加 以下键值对&a…...
代码随想录33
目录 leetcode738.单调递增的字符串 优化过的算法： 困难模式：968.监控二叉树 leetcode738.单调递增的字符串 当且仅当每个相邻位数上的数字 x 和 y 满足 x < y 时，我们称这个整数是单调递增的。 给定一个整数 n ，返回 小于…...
解决Oracle SQL语句性能问题（10.5）——常用Hint及语法（7）（其他Hint）
10.5.3. 常用hint 10.5.3.7. 其他Hint 1）cardinality：显式的指示优化器为SQL语句的某个行源指定势。该Hint具体语法如下所示。 SQL> select /*+ cardinality([@qb] [table] card ) */ ...; --注： 1）这里，第一个参数（@qb）为可选参数，指定查询语句块名；第二个参数…...
的基本组成)
FFmpeg(7.1版本)的基本组成
1. 前言 FFmpeg 是一个非常流行的开源项目，它提供了处理音频、视频以及其他多媒体内容的强大工具。FFmpeg 包含了大量的库，可以用来解码、编码、转码、处理和播放几乎所有类型的多媒体文件。它广泛用于视频和音频的录制、转换、流媒体传输等领域。 2. FFmpeg的组成 1. FFmp…...
Hypium+python鸿蒙原生自动化安装配置
Hypiumpython自动化搭建 文章目录 Python安装pip源配置HDC安装Hypium安装DevEco Testing Hypium插件安装及使用方法插件安装工程创建区域 Python安装 推荐从官网获取3.10版本，其他版本可能出现兼容性问题 Python下载地址 下载64/32bitwindows安装文件&am…...
文明的基因：在传承中破茧重生
敦煌莫高窟的壁画历经千年风雨，至今仍在向世界讲述着东方美学的密码。那些斑驳的壁画上，既有北魏时期的天竺梵音，也留存着盛唐气象的长安余韵。文明的基因从未停止生长，就像莫高窟的壁画师们在临摹前朝壁画时，总会在衣…...
因果推断与机器学习—用机器学习解决因果推断问题
Judea Pearl 将当前备受瞩目的机器学习研究戏谑地称为“仅限于曲线拟合”，然而，曲线拟合的实现绝非易事。机器学习模型在图像识别、语音识别、自然语言处理、蛋白质分子结构预测以及搜索推荐等多个领域均展现出显著的应用效果。 在因果推断任务中，在完成因果效应识别之后，需…...
笔试-二进制
应用题 将符合区间[l,r]内的十进制整数转换为二进制表示，请问不包含“101”的整数个数是多少？ 实现 l int(input("请输入下限l，其值大于等于1：")) r int(input("请输入上限r，其值大于等于l&#x…...
函数)
Day52：range()函数
在 Python 中，range() 是一个内置函数，用于生成一系列数字，通常用于循环结构中。它非常适合用于生成指定范围内的整数序列，并且支持步长控制，常用于 for 循环中。 今天我们将学习如何使用 range() 函数，并…...
数据结构:栈篇
ps: 本文所有图均为博主亲手所画,本文所有代码基于vs2022实现 系列文章目录 数据结构初探: 顺序表 数据结构初探:链表之单链表篇 数据结构初探:链表之双向链表篇 链表特别篇:链表经典算法问题 文章目录 系列文章目录前言一.栈的概念及其结构1.1概念1.2结构 二.准备工作1.Stack…...
药店药品销售管理系统的设计与实现
标题:药店药品销售管理系统的设计与实现 内容:1.摘要 摘要：本文介绍了药店药品销售管理系统的设计与实现。该系统旨在提高药店的运营效率和管理水平，通过信息化手段实现药品销售、库存管理、财务管理等功能。本文详细阐述了系统的需求分析、设计思路、技…...
【AI论文】VideoAuteur：迈向长叙事视频
摘要：近期的视频生成模型在制作持续数秒的高质量视频片段方面已展现出令人鼓舞的成果。然而，这些模型在生成能传达清晰且富有信息量的长序列时面临挑战，限制了它们支持连贯叙事的能力。在本文中，我们提出了一个大规模烹饪视频数据…...
pytorch基于FastText实现词嵌入
FastText 是 Facebook AI Research 提出的 改进版 Word2Vec，可以： ✅ 利用 n-grams 处理未登录词 比 Word2Vec 更快、更准确 适用于中文等形态丰富的语言 完整的 PyTorch FastText 代码（基于中文语料），包含࿱…...
PyTorch API 详细中文文档，基于PyTorch2.5
PyTorch API 详细中文文档 按模块分类，涵盖核心函数与用法示例 目录 张量操作 (Tensor Operations)数学运算 (Math Operations)自动求导 (Autograd)神经网络模块 (torch.nn)优化器 (torch.optim)数据加载与处理 (torch.utils.data)设备管理 (Device Management)模…...
leetcode 2300. 咒语和药水的成功对数
题目如下 数据范围 示例 注意到n和m的长度最长达到10的5次方所以时间复杂度为n方的必然超时。 因为题目要求我们返回每个位置的spell对应的有效对数所以我们只需要找到第一个有效的药水就行，这里可以先对potions排序随后使用二分查找把时间复杂度压到nlogn就不会…...
C# 实现 “Hello World” 教程
.NET学习资料 .NET学习资料 .NET学习资料 C# 作为一种广泛应用于.NET 开发的编程语言，以其简洁、高效和类型安全等特性，深受开发者喜爱。在踏入 C# 编程领域时，编写经典的 “Hello World” 程序是重要的起点，它能帮助我们快速熟…...
Elasticsearch——Elasticsearch性能优化实战
摘要 本文主要介绍了 Elasticsearch 性能优化的实战方法，从硬件配置优化、索引优化设置、查询方面优化、数据结构优化以及集群架构设计等五个方面进行了详细阐述，旨在帮助读者提升 Elasticsearch 的性能表现。 1. 硬件配置优化 升级硬件设备配置一直都…...
CentOS 7 搭建lsyncd实现文件实时同步 —— 筑梦之路
在 CentOS 7 上搭建 lsyncd（Live Syncing Daemon）以实现文件的实时同步，可以按照以下步骤进行操作。lsyncd 是一个基于 inotify 的轻量级实时同步工具，支持本地和远程同步。以下是详细的安装和配置步骤： 1. 系统准备 …...
pytorch实现变分自编码器
人工智能例子汇总：AI常见的算法和例子-CSDN博客 变分自编码器（Variational Autoencoder, VAE）是一种生成模型，属于深度学习中的无监督学习方法。它通过学习输入数据的潜在分布（Latent Distribution）&…...
【数据结构】初识链表
顺序表的优缺点 缺点： 中间/头部的插入删除，时间复杂度效率较低，为O(N) 空间不够的时候需要扩容。 如果是异地扩容，增容需要申请新空间，拷贝数据，释放旧空间，会有不小的消耗。 扩容可能会存在…...
【llm对话系统】大模型 Llama 源码分析之并行训练方案
1. 引言 训练大型语言模型 (LLM) 需要巨大的计算资源和内存。为了高效地训练这些模型，我们需要采用各种并行策略，将计算和数据分布到多个 GPU 或设备上。Llama 作为当前最流行的开源大模型之一，其训练代码中采用了多种并行技术。本文将深入 …...
)
S4 HANA税码科目确定(OB40)
本文主要介绍在S4 HANA OP中税码科目确定(OB40)相关设置。具体请参照如下内容： 税码科目确定(OB40) 在以上界面维护“Transaction Key”的记账码。 在以上界面进一步维护“Transaction Key”确定科目的规则。 Chart of Account:用于明确该规则适用于什么科目表。 …...
Mysql的主从复制及扩展功能
一、配置过程 1.配置master vim /etc/my.cnf [mysqld] datadir/data/mysql 指定数据库文件的存储位置 socket/data/mysql/mysql.sock symbolic-links0 log-binmysql-bin 启用二进制日志，用于记录数据库的更…...