当前位置: 首页 > news >正文

高并发架构设计之限流

一、引言

再强大的系统,也怕流量短事件内集中爆发,就像银行怕挤兑一样,所以,高并发另一个必不可少的模块就是限流。限流是一种通过控制请求的速率或数量来保护系统免受过载的技术。流控的精髓是限制单位时间内的请求量,最大程度保障系统的可靠性及可用性。

二、限流算法

限流是在高并发环境下,为了保护系统的稳定性和可用性而引入的一种策略。通过限制并发请求的数量或频率,可以防止系统被过多的请求压垮或耗尽资源。

常见的流控算法包括:固定窗口、滑动窗口、漏桶、令牌桶、滑动日志等算法。

2.1 固定窗口算法(计数器)

固定窗口限流算法(Fixed Window Rate Limiting Algorithm)是一种最简单的限流算法,其原理是在固定时间窗口(单位时间)内限制请求的数量。

原理

固定窗口是最简单的流控算法。即,给定时间窗口,维护一个计数器用于统计访问次数,并实现以下规则:

  1. 如果访问次数小于阈值,则允许访问,访问次数+1;
  2. 如果访问次数超出阈值,则限制访问,访问次数不增;
  3. 如果超过了时间窗口,计数器清零,并重置清零后的首次成功访问时间为当前时间。

适用场景

  • 保护后端服务免受大流量冲击,避免服务崩溃;
  • 对 API 调用进行限制,保证公平使用;
  • 防止恶意用户对服务进行洪水攻击;

实现方式

public class FixedWindowRateLimiter {private static int counter = 0;  // 统计请求数private static long lastAcquireTime = 0L;private static final long windowUnit = 1000L; // 假设固定时间窗口是1000msprivate static final int threshold = 10; // 窗口阀值是10public synchronized boolean tryAcquire() {long currentTime = System.currentTimeMillis();  // 获取系统当前时间if (currentTime - lastAcquireTime > windowUnit) {  // 检查是否在时间窗口内counter = 0;  // 计数器清零lastAcquireTime = currentTime;  // 开启新的时间窗口}if (counter < threshold) {  // 小于阀值counter++;  // 计数器加1return true;  // 获取请求成功}return false;  // 超过阀值,无法获取请求}
}

使用了一个静态的counter变量来记录请求数量,lastAcquireTime变量记录上一次获取请求的时间戳。windowUnit表示固定时间窗口的长度,threshold则表示在时间窗口内的请求数阀值。

tryAcquire()方法使用了synchronized关键字来实现线程安全,在方法中进行以下操作:

  • 获取当前系统时间 currentTime。
  • 检查当前时间是否距离上一次获取请求的时间超过了时间窗口长度 windowUnit。如果超过了时间窗口,则将计数器 counter 清零,并更新 lastAcquireTime 为当前时间,表示进入新的时间窗口。
  • 如果计数器 counter 小于阀值 threshold,则将计数器加1,并返回true表示获取请求成功。
  • 如果计数器已经达到或超过阀值,则返回false表示无法获取请求。

优劣分析

优点

  • 固定窗口算法非常简单,易于实现和理解。
  • 性能高

缺点

  • 存在明显的临界问题
  • eg:比如: 假设限流阀值为5个请求,单位时间窗口是1s,如果我们在单位时间内的前0.8-1s1-1.2s,分别并发5个请求。虽然都没有超过阀值,但是如果算0.8-1.2s内的,则并发数高达10,已经超过单位时间1s不超过5阀值的定义了。

 2.2 滑动窗口算法

为了解决临界突变问题,可以引入滑动窗口。即:把大的时间窗口拆分成若干粒度更细的子窗口,每个子窗口独立统计,按子窗口时间滑动,统一限流。当滑动窗口的格子周期划分的越多,那么滑动窗口的滚动就越平滑,限流的统计就会越精确。

原理

将单位时间周期分为n个小周期,分别记录每个小周期内接口的访问次数,并且根据时间滑动删除过期的小周期。它可以解决固定窗口临界值的问题。

假设单位时间还是1s,滑动窗口算法把它划分为5个小周期,也就是滑动窗口(单位时间)被划分为5个小格子。每格表示0.2s。每过0.2s,时间窗口就会往右滑动一格。然后呢,每个小周期,都有自己独立的计数器,如果请求是0.83s到达的,0.8~1.0s对应的计数器就会加1

假设我们1s内的限流阀值还是5个请求,0.8~1.0s内(比如0.9s的时候)来了5个请求,落在黄色格子里。

时间过了1.0s这个点之后,又来5个请求,落在紫色格子里。如果是固定窗口算法,是不会被限流的,但是滑动窗口的话,每过一个小周期,它会右移一个小格。过了1.0s这个点后,会右移一小格,当前的单位时间段是0.2~1.2s,这个区域的请求已经超过限定的5了,已触发限流啦,实际上,紫色格子的请求都被拒绝。

实现方式

import java.util.LinkedList;
import java.util.Queue;
public class SlidingWindowRateLimiter {private Queue<Long> timestamps; // 存储请求的时间戳队列private int windowSize; // 窗口大小,即时间窗口内允许的请求数量private long windowDuration; // 窗口持续时间,单位:毫秒public SlidingWindowRateLimiter(int windowSize, long windowDuration) {this.windowSize = windowSize;this.windowDuration = windowDuration;this.timestamps = new LinkedList<>();}public synchronized boolean tryAcquire() {long currentTime = System.currentTimeMillis(); // 获取当前时间戳// 删除超过窗口持续时间的时间戳while (!timestamps.isEmpty() && currentTime - timestamps.peek() > windowDuration) {timestamps.poll();}if (timestamps.size() < windowSize) { // 判断当前窗口内请求数是否小于窗口大小timestamps.offer(currentTime); // 将当前时间戳加入队列return true; // 获取请求成功}return false; // 超过窗口大小,无法获取请求}
}

代码解读

在以上代码中,使用了一个Queue(队列)来存储请求的时间戳。构造函数中传入窗口大小 windowSize 和窗口持续时间 windowDuration。tryAcquire()方法使用了synchronized关键字来实现线程安全,在方法中进行以下操作:

  • 获取当前系统时间戳 currentTime。
  • 从队列中删除超过窗口持续时间的时间戳,确保队列中只保留窗口内的时间戳。
  • 判断当前窗口内请求数是否小于窗口大小 windowSize。

如果小于窗口大小,将当前时间戳加入队列,并返回true表示获取请求成功。如果已经达到或超过窗口大小,表示请求数已满,返回false表示无法获取请求。

使用这个滑动窗口限流算法,可以限制在一定时间窗口内的请求频率,超过窗口大小的请求会被限制。您可以根据实际需求和业务场景进行调整和使用。

适用场景

同固定窗口的场景,且对流量限制要求较高的场景,需要更好地应对突发流量

优劣分析

优势

  • 简单易懂
  • 精度高(通过调整时间窗口的大小来实现不同的限流效果)
  • 可扩展性强(可以非常容易地与其他限流算法结合使用)

劣势

  • 突发流量无法处理(无法应对短时间内的大量请求,但是一旦到达限流后,请求都会直接暴力被拒绝。这样我们会损失一部分请求,这其实对于产品来说,并不太友好),需要合理调整时间窗口大小。

2.3 漏桶算法

基于(出口)流速来做流控。在网络通信中常用于流量整形,可以很好地解决平滑度问题。

特点

  • 可以以任意速率流入水滴到漏桶(流入请求)
  • 漏桶具有固定容量,出水速率是固定常量(流出请求)
  • 如果流入水滴超出了桶的容量,则流入的水滴溢出(新请求被拒绝)

原理

思想:将数据包看作是水滴,漏桶看作是一个固定容量的水桶,数据包像水滴一样从桶的顶部流入桶中,并通过桶底的一个小孔以一定的速度流出,从而限制了数据包的流量

工作原理:对于每个到来的数据包,都将其加入到漏桶中,并检查漏桶中当前的水量是否超过了漏桶的容量。如果超过了容量,就将多余的数据包丢弃。如果漏桶中还有水,就以一定的速率从桶底输出数据包,保证输出的速率不超过预设的速率,从而达到限流的目的。

代码实现

public class LeakyBucketRateLimiter {private long capacity; // 漏桶容量,即最大允许的请求数量private long rate; // 漏水速率,即每秒允许通过的请求数量private long water; // 漏桶当前水量private long lastTime; // 上一次请求通过的时间戳public LeakyBucketRateLimiter(long capacity, long rate) {this.capacity = capacity;this.rate = rate;this.water = 0;this.lastTime = System.currentTimeMillis();}public synchronized boolean tryAcquire() {long now = System.currentTimeMillis();long elapsedTime = now - lastTime;// 计算漏桶中的水量water = Math.max(0, water - elapsedTime * rate / 1000);if (water < capacity) { // 判断漏桶中的水量是否小于容量water++; // 漏桶中的水量加1lastTime = now; // 更新上一次请求通过的时间戳return true; // 获取请求成功}return false; // 漏桶已满,无法获取请求}
}

代码解读

在以上代码中,capacity表示漏桶的容量,即最大允许的请求数量;rate表示漏水速率,即每秒允许通过的请求数量。water表示漏桶中当前的水量,lastTime表示上一次请求通过的时间戳。tryAcquire()方法使用了synchronized关键字来实现线程安全,在方法中进行以下操作:

  1. 获取当前系统时间戳 now。
  2. 计算从上一次请求通过到当前的时间间隔 elapsedTime。
  3. 根据漏水速率和时间间隔,计算漏桶中的水量。
  4. 判断漏桶中的水量是否小于容量。

如果小于容量,漏桶中的水量加1,更新上一次请求通过的时间戳,并返回true表示获取请求成功。如果已经达到或超过容量,漏桶已满,返回false表示无法获取请求。

适用场景

一般用于保护第三方的系统,比如自身的系统需要调用第三方的接口,为了保护第三方的系统不被自身的调用打垮,便可以通过漏斗算法进行限流,保证自身的流量平稳的打到第三方的接口上。

优劣分析

优势

  • 可以平滑限制请求的处理速度,避免瞬间请求过多导致系统崩溃或者雪崩。
  • 可以控制请求的处理速度,使得系统可以适应不同的流量需求,避免过载或者过度闲置。
  • 可以通过调整桶的大小和漏出速率来满足不同的限流需求,可以灵活地适应不同的场景。

劣势

  • 需要对请求进行缓存,会增加服务器的内存消耗。
  • 对于流量波动比较大的场景,需要较为灵活的参数配置才能达到较好的效果。
  • 但是面对突发流量的时候,漏桶算法还是循规蹈矩地处理请求,这不是我们想看到的啦。流量变突发时,我们肯定希望系统尽量快点处理请求,提升用户体验嘛。

2.4 令牌桶算法

基于(入口)流速来做流控的一种限流算法。

原理

该算法维护一个固定容量的令牌桶,每秒钟会向令牌桶中放入一定数量的令牌。当有请求到来时,如果令牌桶中有足够的令牌,则请求被允许通过并从令牌桶中消耗一个令牌,否则请求被拒绝。

 实现方式

import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.ScheduledThreadPoolExecutor;import java.util.concurrent.TimeUnit;
public class TokenBucketRateLimiter {private long capacity; // 令牌桶容量,即最大允许的请求数量private long rate; // 令牌产生速率,即每秒产生的令牌数量private long tokens; // 当前令牌数量private ScheduledExecutorService scheduler; // 调度器public TokenBucketRateLimiter(long capacity, long rate) {this.capacity = capacity;this.rate = rate;this.tokens = capacity;this.scheduler = new ScheduledThreadPoolExecutor(1);scheduleRefill(); // 启动令牌补充任务}private void scheduleRefill() {scheduler.scheduleAtFixedRate(() -> {synchronized (this) {tokens = Math.min(capacity, tokens + rate); // 补充令牌,但不超过容量}}, 1, 1, TimeUnit.SECONDS); // 每秒产生一次令牌}public synchronized boolean tryAcquire() {if (tokens > 0) { // 判断令牌数量是否大于0tokens--; // 消耗一个令牌return true; // 获取请求成功}return false; // 令牌不足,无法获取请求}
}

代码解读

capacity表示令牌桶的容量,即最大允许的请求数量;rate表示令牌产生速率,即每秒产生的令牌数量。tokens表示当前令牌数量,scheduler是用于调度令牌补充任务的线程池。在构造方法中,初始化令牌桶的容量和当前令牌数量,并启动令牌补充任务scheduleRefill()。

scheduleRefill()方法使用调度器定期执行令牌补充任务,每秒补充一次令牌。在补充任务中,通过加锁的方式更新令牌数量,确保线程安全。补充的令牌数量为当前令牌数量加上产生速率,但不超过令牌桶的容量。

tryAcquire()方法使用synchronized关键字来实现线程安全,在方法中进行以下操作:

1.判断令牌数量是否大于0。

  • 如果令牌数量大于0,表示令牌足够,消耗一个令牌,并返回true表示获取请求成功。
  • 如果令牌数量为0,表示令牌不足,返回false表示无法获取请求。

GuavaRateLimiter限流组件,就是基于令牌桶算法实现的。

适用场景

一般用于保护自身的系统,对调用者进行限流,保护自身的系统不被突发的流量打垮。如果自身的系统实际的处理能力强于配置的流量限制时,可以允许一定程度的流量突发,使得实际的处理速率高于配置的速率,充分利用系统资源。

优劣分析

优势

  • 稳定性高:令牌桶算法可以控制请求的处理速度,可以使系统的负载变得稳定。
  • 精度高:令牌桶算法可以根据实际情况动态调整生成令牌的速率,可以实现较高精度的限流。
  • 弹性好:令牌桶算法可以处理突发流量,可以在短时间内提供更多的处理能力,以处理突发流量。

劣势

  • 实现复杂:相对于固定窗口算法等其他限流算法,令牌桶算法的实现较为复杂。对短时请求难以处理:在短时间内有大量请求到来时,可能会导致令牌桶中的令牌被快速消耗完,从而限流。这种情况下,可以考虑使用漏桶算法。
  • 时间精度要求高:令牌桶算法需要在固定的时间间隔内生成令牌,因此要求时间精度较高,如果系统时间不准确,可能会导致限流效果不理想。

2.5 滑动日志算法(比较冷门)

滑动日志限速算法需要记录请求的时间戳,通常使用有序集合来存储,我们可以在单个有序集合中跟踪用户在一个时间段内所有的请求。

原理

滑动日志算法可以用于实现限流功能,即控制系统在单位时间内处理请求的数量,以保护系统免受过载的影响。以下是滑动日志算法用于限流的原理:

  1. 划分时间窗口:将时间划分为固定的时间窗口,例如每秒、每分钟或每小时等。
  2. 维护滑动窗口:使用一个滑动窗口来记录每个时间窗口内的请求次数。这个滑动窗口可以是一个固定长度的队列或数组。
  3. 请求计数:当一个请求到达时,将其计数加一并放入当前时间窗口中。
  4. 滑动:随着时间的流逝,滑动窗口会根据当前时间窗口的长度,移除最旧的请求计数,并将新的请求计数添加到最新的时间窗口中。
  5. 限流判断:在每个时间窗口结束时,统计滑动窗口中的请求计数总和,并与预设的阈值进行比较。如果总请求数超过阈值,则触发限流处理。
  6. 限流处理:一旦触发限流,可以采取不同的处理策略,如拒绝请求、延迟处理、返回错误信息等。具体的限流策略可以根据实际情况进行选择。

通过滑动日志算法进行限流,可以实现对单位时间内的请求进行精确控制。它基于实时统计的方式,能够动态地适应请求流量的变化,并且在内存使用上比较高效。同时,通过调整时间窗口的长度和阈值的设置,可以灵活地控制限流的精度和灵敏度。

import java.util.LinkedList;
import java.util.List;
public class SlidingLogRateLimiter {private int requests; // 请求总数private List<Long> timestamps; // 存储请求的时间戳列表private long windowDuration; // 窗口持续时间,单位:毫秒private int threshold; // 窗口内的请求数阀值public SlidingLogRateLimiter(int threshold, long windowDuration) {this.requests = 0;this.timestamps = new LinkedList<>();this.windowDuration = windowDuration;this.threshold = threshold;    }public synchronized boolean tryAcquire() {long currentTime = System.currentTimeMillis(); // 获取当前时间戳// 删除超过窗口持续时间的时间戳while (!timestamps.isEmpty() && currentTime - timestamps.get(0) > windowDuration) {timestamps.remove(0);requests--;}if (requests < threshold) { // 判断当前窗口内请求数是否小于阀值timestamps.add(currentTime); // 将当前时间戳添加到列表requests++; // 请求总数增加return true; // 获取请求成功}return false; // 超过阀值,无法获取请求}
}

代码解读:

在以上代码中,requests表示请求总数,timestamps用于存储请求的时间戳列表,windowDuration表示窗口持续时间,threshold表示窗口内的请求数阀值。

在构造函数中传入窗口内的请求数阀值和窗口持续时间。

tryAcquire()方法使用了synchronized关键字来实现线程安全,在方法中进行以下操作:

  1. 获取当前系统时间戳 currentTime。
  2. 删除超过窗口持续时间的时间戳,同时更新请求总数。
  3. 判断当前窗口内请求数是否小于阀值。

如果小于阀值,将当前时间戳添加到列表,请求总数增加,并返回true表示获取请求成功。如果已经达到或超过阀值,表示请求数已满,返回false表示无法获取请求。

使用这个滑动日志限流算法,可以限制在一定时间窗口内的请求频率,超过阀值的请求会被限制。您可以根据实际需求和业务场景进行调整和使用。

适用场景

优势

  • 滑动日志能够避免突发流量,实现较为精准的限流;
  • 更加灵活,能够支持更加复杂的限流策略 如多级限流,每分钟不超过100次,每小时不超过300次,每天不超过1000次,我们只需要保存最近24小时所有的请求日志即可实现。

劣势

  • 占用存储空间要高于其他限流算法。

三、常用工具

3.1 RateLimiter(单机)

基于令牌桶算法实现的一个多线程限流器,它可以将请求均匀的进行处理,当然他并不是一个分布式限流器,只是对单机进行限流。它可以应用在定时拉取接口数。通过aop、filter、Interceptor 等都可以达到限流效果。

用法

以下是一个基本的 RateLimiter 用法示例:

import com.google.common.util.concurrent.RateLimiter;
public class RateLimiterDemo {public static void main(String[] args) {// 创建一个每秒允许2个请求的RateLimiterRateLimiter rateLimiter = RateLimiter.create(2.0);while (true) {// 请求RateLimiter一个令牌rateLimiter.acquire();// 执行操作doSomeLimitedOperation();}}private static void doSomeLimitedOperation() {// 模拟一些操作System.out.println("Operation executed at: " + System.currentTimeMillis());}
}

在这个例子中,RateLimiter.create(2.0) 创建了一个每秒钟只允许2个操作的限速器。rateLimiter.acquire() 方法会阻塞当前线程直到获取到许可,确保调用 doSomeLimitedOperation() 操作的频率不会超过限制。

RateLimiter 还提供了其他的方法,例如tryAcquire(),它会尝试获取许可而不会阻塞,立即返回获取成功或失败的结果。还可以设置等待时间上限,比如 tryAcquire(long timeout, TimeUnit unit) 可以设置最大等待时间。

Guava的RateLimiter非常灵活,它支持平滑突发限制(SmoothBursty)和平滑预热限制(SmoothWarmingUp)等多种模式,可以根据特定的应用场景来选择合适的限流策略。

3.2 sentinel(单机或者分布式)

Sentinel是阿里巴巴开源的一款面向分布式系统的流量控制和熔断降级组件。它提供了实时的流量控制、熔断降级、系统负载保护和实时监控等功能,可以帮助开发者保护系统的稳定性和可靠性。

单机模式

  • DefaultController:是一个非常典型的滑动窗口计数器算法实现,将当前统计的qps和请求进来的qps进行求和,小于限流值则通过,大于则计算一个等待时间,稍后再试;
  • ThrottlingController:是漏斗算法的实现,实现思路已经在源码片段中加了备注;
  • WarmUpController:实现参考了Guava的带预热的RateLimiter,区别是Guava侧重于请求间隔,类似前面提到的令牌桶,而Sentinel更关注于请求数,和令牌桶算法有点类似;
  • WarmUpRateLimiterController:低水位使用预热算法,高水位使用滑动窗口计数器算法排队。

集群模式

Sentinel 集群限流服务端有两种启动方式:

  • 嵌入模式(Embedded)适合应用级别的限流,部署简单,但对应用性能有影响
  • 独立模式(Alone)适合全局限流,需要独立部署

用法

Sentinel的用法主要包括以下几个方面:

(1)引入依赖:在项目中引入Sentinel的相关依赖,可以使用Maven或Gradle进行依赖管理。例如,在Maven项目的pom.xml文件中添加以下依赖:

<dependency><groupId>com.alibaba.csp</groupId><artifactId>sentinel-core</artifactId><version>1.8.2</version>
</dependency>

(2)配置规则:根据实际需求,配置Sentinel的流量控制规则、熔断降级规则等。可以通过编程方式或配置文件方式进行规则的配置。例如,可以在启动类中使用注解方式配置流量控制规则:

@SentinelResource(value = "demo", blockHandler = "handleBlock")
public String demo() {// ...
}

(3)启动Agent:在应用启动时,启动Sentinel的Agent,开启对系统的流量控制和熔断降级功能的保护。可以通过命令行启动Agent,或者在代码中进行启动。例如,在Spring Boot的启动类中添加如下代码:

public static void main(String[] args) {System.setProperty("csp.sentinel.dashboard.server", "localhost:8080"); // 设置控制台地址System.setProperty("project.name", "your-project-name"); // 设置应用名称com.alibaba.csp.sentinel.init.InitExecutor.doInit();SpringApplication.run(YourApplication.class, args);
}

(4)监控和管理:使用Sentinel的控制台进行实时监控、配置管理等操作。可以通过浏览器访问Sentinel的控制台界面,查看系统的运行情况和流量控制情况。通过控制台,可以对规则进行动态修改,查看监控数据和告警信息。

3.3 Nginx(分布式)

Nginx从网关这一层面考虑,可以作为最前置的网关,抵挡大部分的网络流量,因此使用Nginx进行限流也是一个很好的选择,在Nginx中,也提供了常用的基于限流相关的策略配置。

用法

Nginx 提供了两种限流方法:一种是控制速率,另一种是控制并发连接数。

控制速率

我们需要使用 limit_req_zone 用来限制单位时间内的请求数,即速率限制,因为Nginx的限流统计是基于毫秒的,我们设置的速度是 2r/s,转换一下就是500毫秒内单个IP只允许通过1个请求,从501ms开始才允许通过第2个请求。

控制速率优化版

上面的速率控制虽然很精准但是在生产环境未免太苛刻了,实际情况下我们应该控制一个IP单位总时间内的总访问次数,而不是像上面那样精确到毫秒,我们可以使用 burst 关键字开启此设置。

burst=4意思是每个IP最多允许4个突发请求

控制并发数

利用 limit_conn_zone 和 limit_conn 两个指令即可控制并发数

其中 limit_conn perip 10 表示限制单个 IP 同时最多能持有 10 个连接;limit_conn perserver 100 表示 server 同时能处理并发连接的总数为 100 个。

注意:只有当 request header 被后端处理后,这个连接才进行计数。

四、小结

算法简介核心思想优点

缺点

开源工具/中间件适用业务场景
固定窗口限流在固定的时间窗口内计数请求,达到阈值则限流。将时间分割成固定大小的窗口,每个窗口内独立计数。实现简单,性能较好。可能会有时间窗口切换时的突发流量。Nginx、Apache、RateLimiter (Guava)

需要简单限流,对流量突增不敏感的场景。

eg:

电商平台在每日定时秒杀活动开始时,用于防止瞬时高流量冲垮系统。

滑动窗口限流在滑动的时间窗口内计数请求,达到阈值则限流。将时间分割为多个小窗口,统计近期内的总请求数。平滑请求,避免固定窗口算法中的突发流量。实现比固定窗口复杂,消耗资源较多。Redis、Sentinel

对流量平滑性有较高要求的场景。



eg:

社交媒体平台的消息发送功能,用于平滑处理高峰期的消息发送请求,避免服务短暂的超负荷。

令牌桶限流以恒定速率向桶中添加令牌,请求消耗令牌,无令牌时限流。以一定速率生成令牌,请求必须拥有令牌才能执行。允许一定程度的突发流量,平滑处理请求。对突发流量的容忍可能导致短时间内资源过载。

Guava、Nginx、Apache、

Sentinel

对突发流量有一定要求,且需要一定程度的平滑处理的场景。



eg:

视频流媒体服务,允许用户在网络状况良好时快速缓冲视频,同时在网络拥堵时平滑地降低请求速率。

漏桶算法漏桶以固定速率出水,请求以任意速率流入桶内,桶满则溢出(限流)。以恒定的速率处理请求,超过该速率的请求被限制。输出流量稳定,能够限制流量的最大速率。无法应对突发流量,可能导致请求等待时间过长。Apache、Nginx

适用于需要严格控制处理速率,对请求响应时间要求不高的场景。



eg:

API网关对外提供服务的接口,需要确保后端服务的调用速率不超过其最大处理能力,防止服务崩溃

滑动日志限流使用滑动时间窗口记录请求日志,通过日志来判断是否超出速率限制。记录最近一段时间内的请求日志,实时判断请求是否超限。能够更细粒度地控制请求速率,比固定窗口更公平。实现复杂,存储和计算请求日志成本较高。-

对实时性要求高,且需要精确控制请求速率的高级限流场景。



eg:

高频交易系统,需要根据实时交易数据精确控制交易请求速率,防止因超负荷而影响整体市场的稳定性。

相关文章:

高并发架构设计之限流

一、引言 再强大的系统&#xff0c;也怕流量短事件内集中爆发&#xff0c;就像银行怕挤兑一样&#xff0c;所以&#xff0c;高并发另一个必不可少的模块就是限流。限流是一种通过控制请求的速率或数量来保护系统免受过载的技术。流控的精髓是限制单位时间内的请求量&#xff0…...

PostgreSQL中通过查询数据插入到表的几种方法( SELECT INTO和INSERT INTO ... SELECT)

使用 SELECT INTO 创建新表 在PostgreSQL中,SELECT INTO语法有两种主要用途:创建新表和将查询结果存储到变量中(在PL/pgSQL函数或存储过程中)。以下是详细介绍: 1. 创建新表并复制数据(类似SQL标准) SELECT * INTO new_table FROM existing_table WHERE condition;说…...

大语言模型 16 - Manus 超强智能体 Prompt分析 原理分析 包含工具列表分析

写在前面 Manus 是由中国初创公司 Monica.im 于 2025 年 3 月推出的全球首款通用型 AI 智能体&#xff08;AI Agent&#xff09;&#xff0c;旨在实现“知行合一”&#xff0c;即不仅具备强大的语言理解和推理能力&#xff0c;还能自主执行复杂任务&#xff0c;直接交付完整成…...

Windows逆向工程提升之IMAGE_FILE_HEADER

公开视频 -> 链接点击跳转公开课程博客首页 -> ​​​链接点击跳转博客主页 目录 IMAGE_FILE_HEADER 介绍 IMAGE_FILE_HEADER 结构 核心字段解析 Machine&#xff08;目标平台架构&#xff09; NumberOfSections&#xff08;节数目&#xff09; TimeDateStamp&…...

基于Matlab建立不同信道模型

在MATLAB中建立不同的信道模型是无线通信系统仿真的重要组成部分。信道模型用于模拟信号在传输过程中受到的各种影响&#xff0c;如衰减、多径效应、噪声等。以下是一些常见的信道模型及其在MATLAB中的实现方法&#xff1a; 1. 理想信道模型 理想信道假设信号在传输过程中不受…...

苍穹外卖05 Redis常用命令在Java中操作Redis_Spring Data Redis使用方式店铺营业状态设置

2-8 Redis常用命令 02 02-Redis入门 ctrlc :快捷结束进程 配置密码&#xff1a; 以后再启动客户端的时候就需要进行密码的配置了。使用-a 在图形化界面中创建链接&#xff1a; 启动成功了。 03 03-Redis常用数据类型 04 04-Redis常用命令_字符串操作命令 05 05-Redis常用命令…...

JS 应用安全案例泄漏云配置接口调试代码逻辑框架漏洞自检

在 Javascript 中也存在变量和函数&#xff0c;当存在可控变量及函数调用即可参数漏洞。 JS 开发应用和 PHP &#xff0c; JAVA 等区别在于即没源代码&#xff0c;也可通过浏览器查看源代码。 获取 URL &#xff0c;获取 JS 敏感信息&#xff0c;获取代码传参等&…...

嵌入式八股,空闲任务

空闲任务是FreeRTOS内核创建的一个默认任务&#xff0c;其优先级是系统中最低的。它在系统初始化时自动创建&#xff0c;并且始终处于就绪状态。当系统中没有任何其他任务可以运行时&#xff0c;调度器会选择空闲任务运行。 一句话总结&#xff0c;为了让系统不重启&#xff0…...

wd软件安装

* wd软件安装 * 磁盘读取数据的基本原理 * 分区软件使用 * 磁盘格式化/挂载的方式任务背景某天接到短信报警提示&#xff0c;显示某主机的根分区空间使用率超过85%&#xff0c;该主机用于影评&#xff08;MySQL&#xff09;和报表数据库&#xff08;Oracle&#xff09;。经查看…...

Redis数据库-消息队列

一、消息队列介绍 二、基于List结构模拟消息队列 总结&#xff1a; 三、基于PubSub实现消息队列 (1)PubSub介绍 PubSub是publish与subscribe两个单词的缩写&#xff0c;见明知意&#xff0c;PubSub就是发布与订阅的意思。 可以到Redis官网查看通配符的书写规则&#xff1a; …...

使用脚本备份和还原Windows环境变量

使用脚本备份和还原Windows环境变量 你是否遇到过这样的场景?为什么环境变量如此脆弱?全量备份及还原全量备份系统环境变量全量恢复系统环境变量PATH变量份及还原备份PATH变量精准还原PATH变量环境变量实时刷新器必看注意事项Windows环境变量误删别抓狂!用好 脚本 免重启「时…...

卫星互联网:构建全球无缝通信网络的未来

随着全球数字化进程的加速&#xff0c;人们对通信网络的需求越来越高。传统的地面通信网络虽然在城市和发达地区表现良好&#xff0c;但在偏远地区、海洋和空中等场景中仍存在覆盖不足的问题。卫星互联网作为一种新兴的通信技术&#xff0c;正在逐渐成为解决全球通信覆盖问题的…...

VS2022离线安装包

这是VS2022离线安装包下载链接 ▶ 夸克网盘 下载解压后&#xff0c;双击vs_setup.exe即可安装...

PDF 文档结构化工具对比:Marker 与 MinerU

模型训练数据-MinerU一款Pdf转Markdown软件 https://codeyuan.blog.csdn.net/article/details/144315141 在当前大模型&#xff08;LLM&#xff09;和自然语言处理&#xff08;NLP&#xff09;应用快速发展的背景下&#xff0c;如何高效地将 PDF 等非结构化文档转换为结构化数…...

【优秀三方库研读】在 quill 开源库 LogMarcos.h 中知识点汇总及讲解

以下是LogMarcos.h中的主要知识点汇总及详细讲解: 大纲目录 编译时日志级别过滤预处理宏与条件编译可变参数处理技巧格式化字符串生成日志宏的分发机制线程本地存储(TLS)零成本抽象设计动态日志级别支持结构化日志标签日志频率限制机制1. 编译时日志级别过滤 核心宏:QUILL…...

第14天-Matplotlib实现数据可视化

一、Matplotlib简介 Matplotlib是Python最基础的数据可视化库,提供类似MATLAB的绘图接口,支持2D/3D图形绘制。其核心特点: 丰富的图表类型(折线图/柱状图/饼图/散点图等) 高度可定制化(颜色/字体/刻度/标注) 矢量图输出(PDF/SVG)支持 与Jupyter无缝集成 二、环境准备…...

快速刷机Android10+Root

说明&#xff1a;仅供学习使用&#xff0c;请勿用于非法用途&#xff0c;若有侵权&#xff0c;请联系博主删除 作者&#xff1a;zhu6201976 一、下载android10源码 1.确认手机可刷机范围 比如我的Piexel3机型&#xff0c;支持刷android9-android12 Android源码。 https://de…...

文章相似度对比

from transformers import AutoTokenizer, AutoModel import torch import torch.nn.functional as F # 加载中文句向量模型&#xff08;BGE&#xff09; model_name "BAAI/bge-large-zh-v1.5" tokenizer AutoTokenizer.from_pretrained(model_name) model AutoM…...

认知计算:迈向人类级智能的 AI 新范式

一、认知计算&#xff1a;定义与核心技术架构 1.1 超越传统 AI 的 “类人智能” 新维度 认知计算的本质是构建具备感知、推理、学习和交互能力的智能系统&#xff0c;其核心特征包括&#xff1a; 多模态理解&#xff1a;处理文本、图像、语音等非结构化数据&#xff08;如分…...

数据被泄露了怎么办?

数据泄露是严重的网络安全事件&#xff0c;需立即采取行动以降低风险。以下是关键应对步骤&#xff1a; 1. 确认泄露范围 核实泄露内容&#xff1a;确定泄露的是密码、财务信息、身份证号还是其他敏感数据。 评估来源&#xff1a;检查是个人设备被入侵、某平台漏洞&#xff0c…...

从 CANopen到 PROFINET:网关助力物流中心实现复杂的自动化升级

使用 CANopen PLC 扩展改造物流中心的传送带 倍讯科技profinet转CANopen网关BX-601-EIP将新的 PROFINET PLC 系统与旧的基于 CANopen 的传送带连接起来&#xff0c;简化了物流中心的自动化升级。 新建还是升级&#xff1f;这些问题通常出现在复杂的内部物流设施中&#xff0c;…...

关于收集 Android Telephony 网络信息的设计思考2

需求: 目标1: Android Telephony data(数据模块)侧收集多源(ServiceStateTracker/ImsService/其他)网络状态信息。目标2: 收集的数据需统一上报/存储到外部App的Provider。字段分散,不方便只在ServiceStateTracker中收集和插入。多触发点/多场景,需要统一插入。一、架构…...

android RecyclerView列表DiffCallback说明

一 代码 private class DiffCallback : DiffUtil.ItemCallback<xxxVolumeInfo>() {override fun areItemsTheSame(oldItem: xxxVolumeInfo,newItem: xxxVolumeInfo): Boolean {return oldItem.uuid newItem.uuid}override fun areContentsTheSame(oldItem: xxxVolumeIn…...

Day123 | 灵神 | 二叉树 | 找树左下角的值

Day123 | 灵神 | 二叉树 | 找树左下角的值 513.找树左下角的值 513. 找树左下角的值 - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; 初学者可以看灵神视频二叉树的层序遍历【基础算法精讲 13】_哔哩哔哩_bilibili 我的思路就是在每层的循环前加个判断&#xf…...

流式优先架构:彻底改变实时数据处理

近年来&#xff0c;随着现代组织的数据环境日趋复杂且高速流动&#xff0c;传统数据库系统已难以满足实时分析、物联网应用以及即时决策的需求。围绕批处理和静态数据模型设计的 RDBMS&#xff08;关系型数据库管理系统&#xff09;在架构层面缺乏实时处理能力&#xff0c;而流…...

5月21日星期三今日早报简报微语报早读

5月21日星期三&#xff0c;农历四月廿四&#xff0c;早报#微语早读。 1、中国首次当选联合国教科文组织1970年《公约》缔约国大会主席国&#xff1b; 2、上海普陀&#xff1a;探索1岁以下托育服务的保育内容、人员配备等关键要素&#xff1b; 3、浙江&#xff1a;将智能家居…...

一文详解并查集:从基础原理到高级应用

一文详解并查集:从基础原理到高级应用 前言一、基本概念1.1 定义与作用1.2 直观理解 二、并查集的基本实现2.1 数据结构定义2.2 查找操作实现2.3 合并操作实现 三、经典优化策略3.1 路径压缩&#xff08;Path Compression&#xff09;3.2 按秩合并&#xff08;Union by Rank&am…...

二叉树的半线性

二叉树的半线性结构体现在以下方面&#xff1a; 非线性拓扑与线性次序的结合 二叉树的节点通过父子关系形成分叉结构&#xff08;非线性&#xff09;&#xff0c;但通过遍历规则&#xff08;如先序、中序、后序、层次遍历&#xff09;可将其映射为线性序列。例如&#xff1a;…...

深入浅出理解时间复杂度和空间复杂度

目录 一、基本概念 时间复杂度 空间复杂度 二、常见复杂度分类 时间复杂度常见情况 空间复杂度常见情况 三、如何分析复杂度 时间复杂度分析步骤 空间复杂度分析步骤 四、复杂度对比图表 时间复杂度增长趋势 常见算法复杂度汇总 五、实际应用中的注意事项 一、基本…...

【Java基础笔记vlog】Java中常见的几种数组排序算法汇总详解

Java中常见的几种排序算法&#xff1a; 冒泡排序&#xff08;Bubble Sort&#xff09;选择排序&#xff08;Selection Sort&#xff09;插入排序&#xff08;Insertion Sort&#xff09;希尔排序&#xff08;Shell Sort&#xff09;归并排序&#xff08;Merge Sort&#xff09…...

flink 提交流程

flink 提交流程 基础架构并行度算子链任务槽 基础架构 上图是普通的 standalone 架构&#xff0c;就是独立模式&#xff0c;会话模式部署&#xff0c;客户端在接受 job 时&#xff0c;会生成逻辑流图&#xff0c;这里只是按照业务生成对应的执行图&#xff0c;到了 JobManager …...

使用Pandoc实现Markdown和Word文档的双向转换

前言 Word文档是老牌的文档工具&#xff0c;Markdown是新兴的势力。Csdn发文章就是支持Markdown文件的导入&#xff0c;而并不支持Word文件的导入。相反的&#xff0c;今日头天发文章就是支持Word文件的导入&#xff0c;而不支持Markdown文件的导入。 所以&#xff0c;这两种…...

【Python零基础入门系列】第3篇:什么是 Python 的变量、数据类型和输入输出?

欢迎来到【Python 零基础入门系列】第3篇! 前两篇我们已经学会了如何安装 Python 使用编程工具 IDE,并写出了人生第一个程序 print("Hello, world!"),是不是有点成就感了?今天我们就继续深入一点点,来聊聊编程的“灵魂三问”: 什么是变量?什么是数据类型?如…...

破解充电安全难题:智能终端的多重防护体系构建

随着智能终端的普及&#xff0c;充电安全问题日益凸显。从电池过热到短路起火&#xff0c;充电过程中的安全隐患不仅威胁用户的生命财产安全&#xff0c;也制约了行业的发展。如何构建一套高效、可靠的多重防护体系&#xff0c;成为破解充电安全难题的关键。通过技术创新和系统…...

无人机桥梁巡检

无人机桥梁巡检 防护墙巡查 路面巡查 主梁巡查 桥墩路基巡查 支座巡查 周边环境检查...

Android Binder线程池饥饿与TransactionException:从零到企业级解决方案(含实战代码+调试技巧)

简介 在Android系统中,Binder作为进程间通信(IPC)的核心机制,承载着大量跨进程调用任务。然而,当Binder线程池资源耗尽时,可能导致严重的线程饥饿问题,最终引发TransactionException异常,甚至导致应用崩溃或系统卡顿。本文将从零开始,系统讲解Binder线程池的工作原理…...

138. Copy List with Random Pointer

目录 题目描述 方法一、使用哈希表 方法二、不使用哈希表 题目描述 问题的关键是&#xff0c;random指针指向的是原链表的结点&#xff0c;这个原链表的结点对应哪一个新链表的结点呢&#xff1f;有两种办法。一是用哈希表。另一种是复制原链表的每一个结点&#xff0c;并将…...

Java面试问题基础篇

面向对象 面向对象编程&#xff1a;拿东西过来做对应的事情 特征&#xff1a; 封装&#xff1a;对象代表什么&#xff0c;就要封装对应的数据&#xff0c;并提供数据对应的行为 继承&#xff1a;Java中提供一个关键字extends&#xff0c;用这个关键字可以让一个类和另一个类…...

ILRuntime中实现OSA

什么是ILRuntime? ILRuntime项⽬为基于C#的平台(例如Unity)提供了⼀个 纯 C# 实现 , 快速 、 ⽅便 且 可靠 的IL 运⾏时,使得能够在不⽀持JIT的硬件环境(如iOS)能够实现代码的热更新。具体可以学习: http://http s://ourpalm.github.io/ILRuntime/public/v1/guide/ind…...

总结一个编程的学习方式~

目录 学习开发 一切从简 代码风格 学习工具 总结 学习开发 一切从简 在学习写代码的时候&#xff0c;一定要快速的写起来&#xff0c;不要在开发工具上浪费太多的时间。比如说萌新学习C/C&#xff0c;上来直接使用Visual Studio 2019开始把代码写起来&#xff0c;不要追…...

ABC 353

目录 C. Sigma Problem D. Another Sigma Problem C. Sigma Problem 容斥。所有都先不取模&#xff0c;每个数出现 n - 1次&#xff0c;先算出不取模的答案。 接下来找出哪些对之和超出了 1e8&#xff0c;统计这样的对的个数&#xff0c;再拿之前的答案减掉 个数 * 1e8 只需要…...

【免杀】C2免杀技术(八)APC注入

本文主要写点自己的理解&#xff0c;如有问题&#xff0c;请诸位指出&#xff01; 概念和流程 “APC注入”&#xff08;APC Injection&#xff09;是免杀与恶意代码注入技术中的一种典型方法&#xff0c;主要用于在目标进程中远程执行代码&#xff0c;常见于后门、远控、植入型…...

集星云推“碰一碰源码”开发思路解析

在当今数字化营销的浪潮中&#xff0c;集星云推的“碰一碰发视频”工具脱颖而出&#xff0c;为实体商家带来了全新的发展机遇。 AI 视频生成引擎&#xff1a; 集星云推的“碰一碰发视频”工具&#xff0c;在AI视频生成方面下足了功夫。它精心挑选合适的AI视频生成算法&#xf…...

容器网络中的 veth pair 技术详解

什么是 veth pair&#xff1f; 在 Linux 容器网络中&#xff0c;veth pair&#xff08;Virtual Ethernet Pair&#xff09;是一种虚拟网络设备&#xff0c;用于在不同的网络命名空间&#xff08;Network Namespace&#xff09;之间建立通信。它本质上是一对虚拟网卡&#xff0…...

PCB 横截面几何形状

PCB 横截面几何形状描述了 PCB 堆叠中介电基板、走线和参考平面的细节。然后,它们彼此之间的物理关系可用于预测相应走线的特性阻抗。只有三个通用的横截面几何,每个几何内部都有变化。他们是: 共面 微带线 带状线 共面: 共面几何,有时也称为共面波导 (CPW),是夹在两个…...

面向高温工业场景的EtherCAT/CANopen协议转换系统设计与应用

在金属冶炼行业&#xff0c;高效稳定的通信系统是保障生产流程顺畅、提升生产效率的关键。从矿石预处理、高温熔炼&#xff0c;到精炼成型&#xff0c;各个环节的设备紧密协作&#xff0c;而JH-ECT009疆鸿智能EtherCAT转CANopen协议网关&#xff0c;作为连接不同通信协议设备的…...

Redis语法大全

一、String&#xff08;字符串&#xff09; 特点&#xff1a;单键值存储&#xff0c;值可为字符串、数字&#xff0c;支持原子操作。 常用命令 SET 语法&#xff1a;SET key value [EX seconds] [PX milliseconds] [NX|XX]说明&#xff1a;设置键值对&#xff0c;可指定过期时…...

【项目管理】项目管理中的”三边、六拍、四没和只谈“

三边、六拍、四没和只谈总结 中国特色项目管理的“三边、六拍、四没和只谈”,你知道多少? “三边”是指:边计划、边实施、边修改 “六拍”是指:拍脑袋、拍肩膀、拍胸口、拍桌子、拍屁股、拍大腿 "四没"是指:没问题、没关系、没办法、没资源 “只谈”是指:项目初…...

Python训练Day30

模块和库的导入 知识点 回顾 &#xff1a; 导入官方库的三种手段导入自定义库/模块的方式导入库/模块的核心逻辑&#xff1a;找到根目录&#xff08;python解释器的目录和终端的目录不一致&#xff09; 1.1标准导入&#xff1a;导入整个库 # 方式1&#xff1a;导入整个模块 imp…...

面试相关的知识点

1 vllm 1.1常用概念 1 vllm&#xff1a;是一种大模型推理的框架&#xff0c;使用了张量并行原理&#xff0c;把大型矩阵分割成低秩矩阵&#xff0c;分散到不同的GPU上运行。 2 模型推理与训练&#xff1a;模型训练是指利用pytorch进行对大模型进行预训练。 模型推理是指用训…...