当前位置：首页 > news >正文

分布式限流器框架 eval-rate-limiter

news 来源：原创 2025/9/16 19:16:03

分布式限流器框架 eval-rate-limiter

文章目录

- 分布式限流器框架 eval-rate-limiter
- 前言
- 设计
- - 流程图
- 核心方法
- - tryAcquire 获取通信证
  - 增加访问次数 incrementRequestCount
  - 生成分布式 key generateRateLimiterKey
- 测试
- - 测试代码
  - 结果
  - Redis 客户端

前言

基于 redis 实现的分布式限流器，实现如下效果

对每个应用节点进行限流
- 有需要的可以根据实际业务定制 rateLimiterKey 的生成规则，目前是针对 ip+port 进行限流
控制限流的速率->次数/分钟

源码已上传 github

https://github.com/huajiexiewenfeng/eval-rate-limiter

设计

流程图

请添加图片描述

时间窗口&最大条数可以配置
采用 redis 的过期时间+increment 来实现时间窗口和计数功能
synchronized 防止多线程获取 count 产生一致性问题
key 采用实例的 host+port 来实现各个实例控制自己的发送速率

核心方法

tryAcquire 获取通信证

获取当前的请求次数 currentCount
比较 currentCount 和 MaxCount 的大小
- 小于，那么 count++，返回 true，表示获取通行证成功
- 否则，返回 false，表示获取通信证失败

    /*** 尝试获取限流通行证** @return true表示允许通过，false表示被限流*/public synchronized boolean tryAcquire() {if (!properties.getEnable()) {return true;}try {int currentCount = getCurrentRequestCount();if (currentCount >= properties.getMaxCount()) {logger.warn("Rate limit exceeded - window: {} minutes, max: {}, current: {}",properties.getWindowMinutes(),properties.getMaxCount(),currentCount);return false;}incrementRequestCount();return true;} catch (Exception e) {logger.error("Failed to acquire rate limit token for key: {}", rateLimiterKey, e);// 在限流器异常时默认放行，保证系统可用性return true;}}

增加访问次数 incrementRequestCount

使用 redis increment 计数+1
第一次设置过期时间为时间窗口

    private void incrementRequestCount() {Long count = valueOperations.increment(rateLimiterKey, 1);if (count != null && count == 1) {// 首次设置时初始化过期时间redisTemplate.expire(rateLimiterKey, properties.getWindowMinutes(), TimeUnit.MINUTES);}}

生成分布式 key generateRateLimiterKey

    private String generateRateLimiterKey() {String port = environment.getProperty("server.port", "unknown");String host = getLocalHostAddress();return String.format("%s:%s:%s", RATE_LIMITER_KEY_PREFIX, host, port);}

测试

测试代码

@SpringBootApplication
@EnableEvalRateLimiter
@RestController
@RequestMapping("/demo1")
public class Demo1Application {@Autowiredprivate RateLimiter rateLimiter;public static void main(String[] args) {SpringApplication.run(Demo1Application.class, args);}@GetMapping("/test")public String test(@RequestParam(value = "count", defaultValue = "105") int count) {for (int i = 0; i < count; i++) {doTest(i);}return "hello";}private void doTest(int count) {System.out.println("当前请求次数：" + count + "，节点限流剩余次数：" + rateLimiter.getRemainingRequests());if (!rateLimiter.tryAcquire()) {// 5秒后再发送try {Thread.sleep(5000L);} catch (InterruptedException e) {e.printStackTrace();}doTest(count);}}}

application.properties 配置

spring.application.name=${APPLICATION_NAME:demo1}
server.port=${SERVER_PORT:8091}#redis
eval.rate.limiter.redis.database=${REDIS_DB_INDEX:2}
eval.rate.limiter.redis.host=${REDIS_HOST:127.0.0.1}
eval.rate.limiter.redis.port=${REDIS_PORT:6379}
eval.rate.limiter.redis.password=${REDIS_INFRA_PASSWORD:1234567a}
#1分钟
eval.rate.limiter.redis.windowMinutes=${EVAL_RATE_LIMITER_WINDOW_MINUTES:1}
#100次
eval.rate.limiter.redis.maxCount=${EVAL_RATE_LIMITER_MAX_COUNT:100}

结果

请添加图片描述

到 1 分钟时间之后，又重新计数

请添加图片描述

Redis 客户端

key：host+ip，限制每个机器+端口
value：每访问一次，value+1，value 到达100（配置）后，不在增加

请添加图片描述

分布式限流器框架 eval-rate-limiter

分布式限流器框架 eval-rate-limiter 文章目录分布式限流器框架 eval-rate-limiter前言设计流程图核心方法tryAcquire 获取通信证增加访问次数 incrementRequestCount生成分布式 key generateRateLimiterKey 测试测试代码结果Redis 客户端前言基于 redis 实现的分布式限流…...

编程日记 2025/9/16 19:16:03

使用Docker部署Java项目的完整指南

前言 Docker是一个轻量级的容器化平台，可将应用及其依赖打包成标准化单元，实现快速部署和环境隔离。本文以Spring Boot项目为例，演示如何通过Dockerfile部署Java应用。准备工作本地环境安装Docker Desktop（官网下载&#xff0…...

编程日记 2025/9/16 19:13:59

机器学习数据需求与应用分析

监督学习、无监督学习和强化学习作为机器学习的核心范式，对数据条件的需求存在显著差异。以下是具体分析： 一、监督学习的数据条件数据要求监督学习需要带标签（labeled）的数据集，即每个输入样本都有对应的目标输出&a…...

编程日记 2025/9/10 0:38:37

【机器学习算法】基于python商品销量数据分析大屏可视化预测系统（完整系统源码+数据库+开发笔记+详细启动教程）✅

目录一、项目背景二、技术思路三、算法介绍四、项目创新点五、开发技术介绍六、项目展示一、项目背景本项目基于Python技术栈构建了"商品销量数据分析与预测系统"，通过自动化爬取淘宝商品多维数据（价格、销量、评价、品类等&a…...

编程日记 2025/9/16 19:13:59

springboot集成springcloud vault读值示例

接上三篇 Vault---机密信息管理工具安装及常用示例 Vault机密管理工具集群配置示例 vault签发根证书、中间证书、ca证书流程记录项目里打算把所有密码都放到vault里管理，vault提供了springcloud vault用来在springboot里连接vault，启动加载vault里的值放…...

编程日记 2025/9/16 19:13:38

BERT 模型是什么

BERT 模型是什么？ BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的深度学习模型，由Google于2018年提出。它在自然语言处理领域取得了显著成就，成为众多NLP任务的基础。 …...

编程日记 2025/9/16 5:54:15

三元电池正极材料除杂工艺介绍

三元电池正极材料的除杂工艺对于提高电池性能、安全性和稳定性至关重要。以下是对三元电池正极材料除杂工艺的详细介绍： 物理除杂工艺磁选原理：利用磁场对磁性杂质的吸引作用实现分离。在三元电池正极材料生产中，常混入铁、钴、镍等磁性金…...

编程日记 2025/9/16 19:13:58

wx212基于ssm+vue+uniapp的科创微应用平台小程序

开发语言：Java框架：ssmuniappJDK版本：JDK1.8服务器：tomcat7数据库：mysql 5.7（一定要5.7版本）数据库工具：Navicat11开发软件：eclipse/myeclipse/ideaMaven包：M…...

编程日记 2025/9/16 19:13:38

Multi Agents Collaboration OS：数据与知识协同构建数据工作流自动化

1-背景传统数据系统与业务数字化的开发与维护面临诸多挑战：行业知识获取壁垒高、需求变化快导致开发周期长、系统复杂度高以及人力与资源投入成本巨大。同时，用户在使用过程中也常遇到痛点：手动录入数据繁琐低效、数据分散于各模块难以整合…...

编程日记 2025/9/15 9:53:08

elemenPlus中，如何去掉el-input中文本域 textarea自带的边框和角标

1、去掉角标 :deep(.el-textarea__inner) {resize: none !important; // 去除右下角图标 }2、去除边框，并自定义背景色 <el-inputref"textareaRef"v-model"tempContent":style"{--el-border-color: rgba(255,255,255,0.0),--el-input-…...

编程日记 2025/9/16 19:11:16

Excel 动态比较两列数据：实现灵活的数据验证

目录动态比较两列数据的需求动态公式的实现使用INDIRECT和ROW函数公式解释应用动态公式的优点快速添加一列公式的技巧使用快捷键Ctrl D使用VBA宏自动化使用“表格”功能自动填充实际应用场景数据验证动态报告数据清洗注意事项总结在数据处理和分析中，Excel 是…...

编程日记 2025/9/16 1:31:38

谷歌推出可免费使用的Firebase Studio：Gemini全栈AI开发利器

谷歌刚刚发布了Firebase Studio，这是其打造的一款沉浸式代码开发平台，旨在与Cursor、Lovable、Bolt和V0等工具竞争。如果你是一名网页开发者，可能只知道Firebase是谷歌的数据库工具。但现在，它已远不止于此。 Firebase已发展成一个完整的生态系统，如今能帮助你从头到尾…...

编程日记 2025/9/16 0:32:51

spark（二）

本节课接上节课继续对于RDD进行学习，首先是对于创建RDD的不同方式，接着学习了RDD的三种转换算子：Value类型、双Value类型、Key-Value类型，以及各个转换算子的不同使用方式。学习到如下的区别： map 与 mapPartitions…...

编程日记 2025/9/16 19:11:50

D:\ai\Fay>python main.py pygame 2.6.1 (SDL 2.28.4, Python 3.11.9) Hello from the pygame community. https://www.pygame.org/contribute.html [2025-04-11 00:10:16.7][系统] 注册命令... [2025-04-11 00:10:16.8][系统] restart 重启服务 [2025-04-11 00:10:16.8][…...

编程日记 2025/9/10 1:27:31

【Harmony】端云一体化(云函数)

一、云函数的概述 1、什么是云函数官方解释云函数是一项Serverless计算服务，提供FaaS（Function as a Service）能力，一方面云函数将开发测试的对象聚焦到函数级别，可以帮助您大幅简化应用开发与运维相关的事务&…...

编程日记 2025/9/16 3:22:52

利用大模型和聚类算法找出 Excel 文件中重复或相似度高的数据，并使用 FastAPI 进行封装的详细方案

以下是一个利用大模型和聚类算法找出 Excel 文件中重复或相似度高的数据，并使用 FastAPI 进行封装的详细方案：方案流程数据读取：从 Excel 文件中读取数据。文本向量化：使用大模型将文本数据转换为向量表示。聚类分析：运用聚类算法对向量进行分组，将相似度高的数据归为…...

编程日记 2025/9/16 0:52:15

通过远程桌面连接wsl2中安装的ubuntu24.04

要介绍的这种方式其实跟直接用wsl来执行命令差不多，是在终端去操作ubuntu。WSL2 默认只提供命令行界面，本文安装xrdp后通过windows远程桌面连接过去。 1、更新软件包列表 sudo apt update 确保你的软件包列表是最新的，否则可能找不到某些包…...

编程日记 2025/9/6 6:53:41

对接和使用国内稳定无水印的 Suno API

随着 AI 的应用日益广泛，各种 AI 程序已经融入我们的日常生活。从最早的写作，到医疗、教育，如今甚至扩展到了音乐领域。 Suno 是一个专注于高质量 AI 歌曲和音乐创作的平台。用户只需输入简单的文本提示词，便可以按照流派风格和歌…...

编程日记 2025/9/16 19:11:50

LeetCode算法题(Go语言实现)_38

我将按照您提供的文档结构为您整理二叉树最近公共祖先（LCA）问题的解决方案： 一、代码实现 type TreeNode struct {Val intLeft *TreeNodeRight *TreeNode }func lowestCommonAncestor(root, p, q *TreeNode) *TreeNode {if root nil ||…...

编程日记 2025/9/11 21:56:42

Linux学习笔记 1

1.发展史略...... 2.xshell的使用方法 2.1登录 ssh root公网地址输入密码，用 uname -r 指令来鉴定是否登录成功。之后就可以进行命令行操作了。 alt enter 全屏、退出设置多用户指令，新建用户 adduser 名字 passwd 密码销毁用户&#xf…...

编程日记 2025/9/16 1:57:43

微信小程序跳4

formatMillisecondsTime: function(milliseconds, formatStr) { // 创建一个新的Date对象，传入毫秒值 const date new Date(milliseconds); // 获取年月日时分秒，并确保它们都是两位数 const year date.getFullYear(); const month (date.getMonth() …...

编程日记 2025/9/10 21:13:06

STM32单片机入门学习——第31节: [10-1] I2C通信协议

写这个文章是用来学习的,记录一下我的学习过程。希望我能一直坚持下去,我只是一个小白,只是想好好学习,我知道这会很难，但我还是想去做！ 本文写于：2025.04.10 STM32开发板学习——第31节: [10-1] I2C通信协议前言开发板说明引用解答和科普一…...

编程日记 2025/9/8 18:46:32

OpenCV 图形API（24）图像滤波-----双边滤波函数bilateralFilter()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述应用双边滤波到图像。该函数对输入图像应用双边滤波，如 http://www.dai.ed.ac.uk/CVonline/LOCAL_COPIES/MANDUCHI1/Bilateral_Fil…...

编程日记 2025/9/9 5:01:41

【图像处理基石】什么是影调？并用python实现一个哈苏色彩影调

影调是摄影语言的核心，通过控制明暗、虚实与色彩，可精准传达创作意图。实际选择需结合主题情感、光线条件及画面结构，灵活运用高调、低调或冷暖色调，以强化视觉表现力。一、影调的定义影调指画面中明暗、虚实、色彩的层次与对比…...

编程日记 2025/9/16 19:13:40

融智学三大定律：打开人机协同智慧大门的钥匙

...

编程日记 2025/9/16 19:11:50

MySQL行列转换

创建一个sc表并插入数据方法一: select distinct uid, (select score from sc where s.uiduid and course语文)语文, (select score from sc where s.uiduid and course数学)数学, (select score from sc where s.uiduid and course英语)英语 from sc s; 方法二: select * fro…...

编程日记 2025/9/16 19:14:26

cookie和session哪个生成的时间早

Cookie 和 Session 的出现时间都可以追溯到 Web 开发的早期阶段，但它们的生成顺序在实际应用中通常是先生成 Session，然后通过 Cookie 来存储 Session ID。详细解释： Session 的生成过程 • 用户请求服务器： • 用户首次访问网…...

编程日记 2025/9/9 10:00:31

sh脚本删除指定后缀.txt的文件，保留6个月的数据

1、linux下脚本删除指定后缀.txt和.path的文件，保留6个月的数据： 下面代码内容： #!/bin/bash # 指定要删除文件的路径列表 paths("/data/fail")# 获取当前系统日期6个月之前的日期 six_months_ago$(date -d "-6 months"…...

编程日记 2025/9/14 1:31:55

嵌入式Linux按键监控模块详解：实现设备重启与长按检测

嵌入式Linux按键监控模块详解：实现设备重启与长按检测在嵌入式Linux设备开发中，物理按键仍然是用户与设备交互的重要方式。本文将分享一个轻量级但功能完整的按键监控模块，它可以精确识别按键的短按和长按事件，并执行对应操作如…...

编程日记 2025/9/13 3:52:21

[错误经验坑]关于UDP服务器和客户端通信使用的recvfrom的输出型参数len没有被初始化导致的问题

[错误经验坑]关于UDP服务器和客户端通信使用的recvfrom的输出型参数len没有被初始化导致的问题水墨不写bug 文章目录一、困惑：二、解答：（1）函数原型1. int sockfd2. void *buf3. size_t len4. int flags5. struct sockaddr *sr…...

编程日记 2025/8/31 19:53:32

KaiwuDB：面向AIoT场景的多模融合数据库，赋能企业数字化转型

引言在万物互联的AIoT时代，企业面临着海量时序数据处理、多模数据融合和实时分析等挑战。KaiwuDB应运而生，作为一款面向AIoT场景的分布式、多模融合、支持原生AI的数据库产品，为企业提供了一站式数据管理解决方案。产品概述 KaiwuDB是一…...

编程日记 2025/9/12 11:20:35

Web3 的云基础设施正在成型，Polkadot 2.0 用三项技术改写“上链成本”

在Web3基础设施内卷加剧的今天，“如何以更低成本、更大灵活性部署一条高性能应用链”正成为开发者们最关心的问题。而刚刚走出“技术慢热”误区的Polkadot，正在用一套名为 Polkadot 2.0 的架构升级方案，重新定义这一问题的解法。这套升级最…...

编程日记 2025/9/15 0:48:03

Elasticsearch 学习规划

Elasticsearch 学习规划明确学习目标与动机场景化需求分析 - **S**：掌握Elasticsearch架构体系，熟练使用Elasticsearch 进行数据分析,Elasticsearch结合java 项目落地案例 - **M**：搜索和Elasticsearch相关GitHub项目 - **A**：每…...

编程日记 2025/9/15 3:29:55

OpenHarmony如何编译安装系统应用（以settings设置为例）

开发环境 1.OpenHarmony 2.DevEco Studio 3 .Full Sdk 实现步骤 1.获取设置应用源码 https://gitee.com/openharmony/applications_settings/tree/OpenHarmony-v5.0.0-Release/ 2，使用 DevEco Studio 和 Full SDK对系统应用进行签名，默认工程是未配置签名的状态，所构建…...

编程日记 2025/9/16 4:53:30

手撕 STL 之—— list

目录引言 1, list_node类及其构造函数 2, list类的创建 3, list基本功能函数 3_1， 构造函数 3_2，push_back 3_3，push_front 3_4， pop_back 3_5，pop_front 4，迭代器 (重点) 4_1，如何设…...

编程日记 2025/9/9 3:35:13

Med-R1论文阅读理解

论文介绍这篇论文介绍了一个名为 Med-R1 的新方法，用于提升多模态视觉语言模型（VLM）在医学图像理解和推理任务中的泛化能力和可解释性。下面是对整篇论文的简洁总结： ⸻ 🧠 核心思想 • 当前医学 VLM 多依赖于监督…...

编程日记 2025/9/15 1:37:43

微服务相关

1.SpringCloud有哪些常用组件？分别是什么作用？ 注册中心：nacos 负载均衡：rabbion/LoadBalancer 网关：gateway 服务熔断：sential 服务调用：Feign 2.服务注册发现的基本流程是怎样的&#x…...

编程日记 2025/9/7 14:06:56

Linux vagrant 导入Centos到virtualbox

前言 vagrant 导入centos 虚拟机前提要求安装 virtualbox 和vagrant<vagrant-disksize> (Linux 方式 Windows 方式) 创建一键部署centos 虚拟机 /opt/vagrant 安装目录/opt/VirtualBox 安装目录/opt/centos8/Vagrantfile （可配置网络IP，内存…...

编程日记 2025/9/8 0:57:28

Spring Boot MongoDB 分页工具类封装 (新手指南)

Spring Boot MongoDB 分页工具类封装 (新手指南) 目录引言：为何需要分页工具类？工具类一：PaginationUtils - 简化 Pageable 创建设计目标代码实现 (PaginationUtils.java)如何使用 PaginationUtils 工具类二：PageResponse<…...

编程日记 2025/9/11 7:38:44

第七章指针

2024-04 2023-10 A 2023-04 2022-10 2022-04 2021-10 2021-04 2020-10 2020-04...

编程日记 2025/9/3 9:48:56

20年AB1解码java

P8706 [蓝桥杯 2020 省 AB1] 解码 - 洛谷详细代码如下： import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner innew Scanner(System.in); // 接收输入的字符串char [] c in.next().toCharArray(); // 接收还原的字符…...

编程日记 2025/9/10 17:22:07

《Java实战：密码加密算法实现与代码解析》

文章目录一、需求背景二、代码逐模块解析1. 主程序入口2. 密码输入模块3. 加密处理模块4. 结果拼接模块三、完整代码示例四、运行示例五、优化方向（下篇预告） 一、需求背景实现一个4位数字密码的简单加密系统，规则如下： 输入…...

编程日记 2025/9/12 6:01:15

AllData数据中台升级发布 | 支持K8S数据平台2.0版本

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 ✨杭州奥零数据科技官网&#xf…...

编程日记 2025/9/11 1:15:04

Jupyter notebook使用技巧

一、打开指定文件夹在快捷方式目标中，使用如下代码 anaconda3\python.exe anaconda3\cwp.py anaconda3 anaconda3\python.exe anaconda3\Scripts\jupyter-notebook-script.py --notebook-dirD:\code\python...

编程日记 2025/9/15 3:18:00

6.3es新特性web worker

Web Worker 是 HTML5 提供的多线程技术，允许在浏览器后台创建独立线程执行 JavaScript 代码，解决主线程因耗时任务导致的界面卡顿问题。核心特性线程隔离：Worker 线程无法直接操作 DOM 或访问 window 对象通信机制：通过 pos…...

编程日记 2025/9/16 1:31:40

基于 OpenHarmony 5.0 的星闪轻量型设备应用开发——Ch3 设备驱动开发

写在前面：本篇是系列文章《基于 OpenHarmony 5.0 的星闪轻量型设备应用开发》的第 3 章。本篇从 GPIO、PWM、I2C、UART 以及 ADC 等方面对基于 OpenHarmony 5.0 的 WS63 设备驱动开发进行了详细的介绍。本篇的篇幅较长，建议先收藏再阅读。 3.1 OpenHarmo…...

编程日记 2025/9/15 1:37:49

iphone各个机型尺寸

以下是苹果（Apple）历代 iPhone 机型的屏幕尺寸、分辨率及其他关键参数汇总（截至 2023年10月，数据基于官方发布信息）： 一、标准屏 iPhone（非Pro系列） 机型屏幕尺寸（英寸…...

编程日记 2025/9/5 17:36:42

OfficePlus去掉PDF文件右键菜单里的PDF转换

今天在吾爱破解论坛看到一个求助帖，说是OfficePlus，安装后，PDF文件的右键菜单里多了PDF转换，想去掉，不知道怎么弄。底下的回复基本都是百度复制或者AI搜索出的答案，大致就是找注册表里CLASSID下的菜单栏相关…...

编程日记 2025/9/12 12:59:16

Linux驱动开发进阶（七）- DRM驱动程序设计

文章目录 1、前言2、DRAM(KMS、GEM)2.1、KMS2.2、GEM 3、DRM3.1、驱动结构体3.2、设备结构体3.3、DRM驱动注册3.4、DRM模式设置3.4.1、plane初始化3.4.2、crtc初始化3.4.3、encoder初始化3.4.4、connect初始化 4、示例说明5、DRM Simple Display框架6、DRM热插拔7、DRM中的plan…...

编程日记 2025/8/30 13:50:27

Parasoft C++Test软件单元测试_条件宏和断言宏使用方法的详细介绍

系列文章目录 Parasoft C++Test软件静态分析：操作指南（编码规范、质量度量）、常见问题及处理 Parasoft C++Test软件单元测试：操作指南、实例讲解、常见问题及处理 Parasoft C++Test软件集成测试：操作指南、实例讲解、常见问题及处理进阶扩展：自动生成静态分析文档、自动…...

编程日记 2025/9/12 12:09:40

分布式限流器框架 eval-rate-limiter

文章目录

前言

设计

流程图

核心方法

tryAcquire 获取通信证

增加访问次数 incrementRequestCount

生成分布式 key generateRateLimiterKey

测试

测试代码

结果

Redis 客户端

相关文章：