当前位置：首页 > news >正文

React编程高级主题：背压（Backpressure）处理

news 来源：原创 2025/9/3 9:36:00

在这里插入图片描述

文章目录

- **5.1 背压（Backpressure）概述**
- **5.1.1 缓冲（Buffer）**
- - **1. 基本概念**
  - **2. 缓冲的实现方式**
  - **3. 适用场景**
  - **4. 潜在问题**
- **5.1.2 丢弃（Drop）**
- - **1. 基本概念**
  - **2. 丢弃的实现方式**
  - **3. 适用场景**
  - **4. 潜在问题**
- **5.1.3 动态调整（Dynamic Pull）**
- - **1. 基本概念**
  - **2. 动态调整的实现方式**
  - **3. 适用场景**
  - **4. 潜在问题**
- **5.2 背压策略对比**
- **5.3 总结**
- **背压（Backpressure）的原理**
- - **1. 基本概念**
  - **2. 背压的核心原理**
  - - **(1) Push 模式（传统方式，无背压）**
    - **(2) Pull 模式（背压实现方式）**
  - **3. 背压的底层实现**
  - - **(1) 响应式流规范（Reactive Streams）**
    - **(2) 背压信号传递**
  - **4. 背压策略的数学建模**
  - - **(1) 漏桶算法（Leaky Bucket）**
    - **(2) 令牌桶算法（Token Bucket）**
  - **5. 背压在主流框架中的实现**
  - **6. 背压的适用场景与挑战**
  - - **✅ 适用场景**
    - **⚠️ 挑战**
  - **7. 总结**

5.1 背压（Backpressure）概述

在响应式编程（Reactive Programming）中，数据流（Data Stream）通常是异步、非阻塞的，生产者和消费者之间的处理速度可能存在不匹配的情况。如果生产者（Publisher）的发送速度远高于消费者（Subscriber）的处理能力，就会导致数据积压，最终可能引发内存溢出（OOM）或系统崩溃。

背压（Backpressure） 是一种流量控制机制，用于协调生产者和消费者的速率，确保系统在高负载下仍能稳定运行。常见的背压策略包括：

缓冲（Buffer）
丢弃（Drop）
动态调整（Dynamic Pull）

接下来，我们将深入探讨这些策略的原理、实现方式及适用场景。

在这里插入图片描述

5.1.1 缓冲（Buffer）

1. 基本概念

缓冲（Buffer）是最常见的背压策略，其核心思想是在生产者与消费者之间建立一个缓冲区，临时存储来不及处理的数据，等待消费者逐步消费。

2. 缓冲的实现方式

在响应式编程框架（如 RxJava、Project Reactor、Akka Streams）中，缓冲通常通过以下方式实现：

固定大小缓冲区（Fixed-Size Buffer）
设定一个固定容量的缓冲区，当缓冲区满时，生产者会被阻塞（Backpressure.BUFFER），或触发溢出策略（如丢弃、报错）。

示例（RxJava）：
```
Flowable.range(1, 1000).onBackpressureBuffer(100) // 缓冲区大小=100.subscribe(System.out::println);
```
动态调整缓冲区（Dynamic Buffer）
缓冲区大小可以动态调整，例如基于系统负载自动扩容/缩容。

3. 适用场景

✅ 适用：

消费者处理速度偶尔低于生产者（短期峰值负载）。
允许一定的延迟，但数据不能丢失（如日志收集、消息队列）。

❌ 不适用：

长期高负载场景，缓冲区可能无限增长，导致OOM。
低延迟要求的实时系统（如高频交易）。

4. 潜在问题

内存泄漏：如果缓冲区无限增长，可能导致OOM。
延迟增加：数据在缓冲区中积压，导致处理延迟变高。

在这里插入图片描述

5.1.2 丢弃（Drop）

1. 基本概念

丢弃（Drop）策略的核心是当消费者无法及时处理数据时，直接丢弃部分数据，以避免系统崩溃。丢弃策略可以细分为：

丢弃最新数据（Drop Latest）：丢弃新到达的数据，保留旧数据。
丢弃最旧数据（Drop Oldest）：丢弃最早未处理的数据，保留新数据。

2. 丢弃的实现方式

示例（Project Reactor）：

Flux.range(1, 1000).onBackpressureDrop(item -> System.out.println("Dropped: " + item)).subscribe(System.out::println);

当消费者来不及处理时，新数据会被丢弃，并触发回调。

3. 适用场景

✅ 适用：

数据可丢失（如实时传感器数据、股票行情）。
高吞吐量但允许部分数据缺失（如日志采样）。

❌ 不适用：

数据必须完整（如金融交易、数据库同步）。

4. 潜在问题

数据丢失：可能影响业务逻辑的完整性。
不确定性：丢弃策略可能导致某些关键数据缺失。

在这里插入图片描述

5.1.3 动态调整（Dynamic Pull）

1. 基本概念

动态调整（Dynamic Pull）是一种基于请求的背压策略，消费者主动向生产者请求数据量（Pull-Based），而不是被动接收（Push-Based）。这种方式能更精准地控制流量。

2. 动态调整的实现方式

示例（Reactive Streams 标准）：

Publisher<Integer> publisher = subscriber -> {subscriber.onSubscribe(new Subscription() {int count = 0;@Overridepublic void request(long n) {for (int i = 0; i < n; i++) {if (count < 1000) {subscriber.onNext(count++);} else {subscriber.onComplete();}}}@Overridepublic void cancel() {}});
};publisher.subscribe(new Subscriber<>() {@Overridepublic void onSubscribe(Subscription s) {s.request(10); // 初始请求10个数据}@Overridepublic void onNext(Integer item) {System.out.println(item);// 动态调整请求量if (item % 50 == 0) {((Subscription) s).request(20); // 增加请求量}}@Overridepublic void onError(Throwable t) {}@Overridepublic void onComplete() {}
});

3. 适用场景

✅ 适用：

需要精确控制数据流的场景（如文件下载、数据库查询分页）。
消费者处理能力动态变化（如自适应批处理）。

❌ 不适用：

超低延迟场景（Pull模式可能引入额外开销）。

4. 潜在问题

实现复杂度高：需要手动管理请求量。
可能引入延迟：Pull模式相比Push模式可能稍慢。

在这里插入图片描述

5.2 背压策略对比

策略	数据完整性	内存占用	适用场景
缓冲（Buffer）	✅ 完整	⚠️ 可能OOM	短期峰值负载
丢弃（Drop）	❌ 可能丢失	✅ 低	允许数据丢失
动态调整（Pull）	✅ 完整	✅ 可控	精确流量控制

5.3 总结

背压（Backpressure）是响应式编程中至关重要的流量控制机制，不同的策略适用于不同的业务场景：

缓冲（Buffer）：适用于短期峰值，但需警惕OOM。
丢弃（Drop）：适用于可容忍数据丢失的高吞吐场景。
动态调整（Pull）：适用于需要精确控制的场景，如分页查询。

在实际开发中，应根据业务需求、数据重要性、系统资源选择合适的背压策略，以确保系统的稳定性和高性能。

背压（Backpressure）的原理

1. 基本概念

背压（Backpressure）是响应式编程（Reactive Programming）中的一种流量控制机制，用于解决生产者（Publisher）和消费者（Subscriber）之间的速率不匹配问题。

问题背景：
- 在异步数据流中，生产者可能以极快的速度发射数据（如每秒百万级事件）。
- 如果消费者处理速度较慢（如数据库写入、网络I/O受限），未处理的数据会堆积，最终导致：
  - 内存溢出（OOM）（如果无限缓冲）
  - 系统崩溃（如果无限制接收）
  - 高延迟（数据积压）
核心目标：
- 让生产者适应消费者的处理能力，避免数据积压。
- 类似于TCP滑动窗口或水管流量控制，确保系统稳定运行。

在这里插入图片描述

2. 背压的核心原理

背压的核心在于消费者主动控制数据流速，而非生产者无节制地推送数据。其实现方式可分为两种模式：

(1) Push 模式（传统方式，无背压）

生产者主导：数据由生产者主动推送（如 Observable 不断发射数据）。
问题：如果消费者处理不过来，数据会堆积，最终崩溃。

示例：

// RxJava（无背压，可能OOM）
Observable.range(1, 1_000_000).subscribe(item -> slowProcess(item)); // 消费者处理慢

(2) Pull 模式（背压实现方式）

消费者主导：消费者按需请求数据（如 Subscriber.request(n)）。
关键机制：
- 消费者通过 Subscription 向生产者声明需求数量（Demand）。
- 生产者仅发送消费者请求的数据量。

示例：

// Reactive Streams（支持背压）
publisher.subscribe(new Subscriber<>() {@Overridepublic void onSubscribe(Subscription s) {s.request(10); // 首次请求10个数据}@Overridepublic void onNext(Integer item) {slowProcess(item);if (needMore()) {s.request(5); // 处理完后再请求5个}}
});

在这里插入图片描述

3. 背压的底层实现

(1) 响应式流规范（Reactive Streams）

背压的标准化实现基于 Reactive Streams（Java 9+ 内置），其核心接口：

Publisher<T>：数据生产者（如 Flux、Flowable）。
Subscriber<T>：数据消费者。
Subscription：协调生产者和消费者的契约（关键背压控制点）。

工作流程：

消费者订阅生产者（Publisher.subscribe(Subscriber)）。
生产者返回 Subscription 对象。
消费者通过 subscription.request(n) 请求数据。
生产者按需发送数据（不超过 n 个）。

(2) 背压信号传递

消费者 → 生产者：通过 request(n) 传递需求。
生产者 → 消费者：通过 onNext() 发送数据，或 onComplete()/onError() 终止流。

4. 背压策略的数学建模

背压的本质是生产者与消费者之间的速率协调，可以用队列模型或控制理论分析：

(1) 漏桶算法（Leaky Bucket）

缓冲区：像一个有漏洞的水桶，数据以固定速率流出（消费者处理）。
溢出策略：当桶满时，新数据被丢弃/拒绝。

公式：

缓冲区大小 = 生产者速率 - 消费者速率
如果缓冲区 > 容量 → 触发背压策略（丢弃/阻塞）

在这里插入图片描述

(2) 令牌桶算法（Token Bucket）

令牌：消费者定期生成令牌，生产者需获取令牌才能发送数据。
动态调整：令牌生成速率可随系统负载变化。

5. 背压在主流框架中的实现

框架	背压支持	关键类/接口
RxJava	`Flowable`（支持） / `Observable`（不支持）	`BackpressureStrategy`
Reactor	默认支持（基于 Reactive Streams）	`Flux`, `Mono`, `BaseSubscriber`
Akka Streams	自动背压（基于 Actor 模型）	`Source`, `Sink`, `Flow`
Kafka	消费者主动拉取（Pull-Based）	`Consumer.poll()`

6. 背压的适用场景与挑战

✅ 适用场景

高吞吐数据流（如日志收集、传感器数据）。
资源受限系统（如嵌入式设备、移动端）。
实时计算（如流处理引擎：Flink、Spark Streaming）。

⚠️ 挑战

实现复杂度：需手动管理 request(n)（如分页查询）。
延迟权衡：Pull 模式可能比 Push 模式延迟更高。
策略选择：错误的背压策略可能导致数据丢失或OOM。

在这里插入图片描述

7. 总结

背压的本质是通过消费者驱动的拉取模式（Pull-Based），让数据流的速度适应最慢的环节。其核心原理包括：

需求驱动（request(n)）。
动态协调（缓冲区、丢弃、速率限制）。
标准化协议（Reactive Streams）。

正确使用背压可以显著提升系统的稳定性和可伸缩性，但需根据业务场景选择合适的策略（缓冲/丢弃/动态拉取）。

React编程高级主题：背压（Backpressure）处理

文章目录 **5.1 背压（Backpressure）概述****5.1.1 缓冲（Buffer）****1. 基本概念****2. 缓冲的实现方式****3. 适用场景****4. 潜在问题** **5.1.2 丢弃（Drop）****1. 基本概念****2. 丢弃的实现方式****3. 适…...

编程日记 2025/9/3 9:36:00

Spring IoCDI

IoC容器前⾯我们提到IoC控制反转， 就是将对象的控制权交给Spring的IOC容器 ，由IOC容器创建及管理对象。也就是bean的存储. 在类上⾯添加 RestController 和 Controller 注解, 就是把这个对象交给Spring管理 , Spring 框架启动时就会加载该类. 把对象…...

编程日记 2025/8/30 3:21:14

COBOL语言的数据库交互

COBOL语言的数据库交互引言随着信息技术的不断发展，数据库管理系统（DBMS）已经成为现代应用程序中不可或缺的组成部分。在众多编程语言中，COBOL（Common Business-Oriented Language）以其在商业应用中的稳…...

编程日记 2025/9/2 16:44:04

【C++11（中）】—— 我与C++的不解之缘（三十一）

一、可变参数模版基本语法： C11支持可变参数模版，简单来说就是支持可变数量参数的函数模版或者类模版； 可变数目的参数被称为参数包，存在两种参数包：模版参数包(表示0个或者多个模版参数)，函数参数包(表示…...

编程日记 2025/9/2 16:53:14

文件或目录损坏且无法读取：数据恢复的实战指南

在数字化时代，数据的重要性不言而喻。然而，在日常使用电脑、移动硬盘、U盘等存储设备时，我们难免会遇到“文件或目录损坏且无法读取”的提示。这一提示如同晴天霹雳，让无数用户心急如焚，尤其是当这些文件中存储着重要的…...

编程日记 2025/8/26 4:27:14

python爬虫：小程序逆向实战教程

根据我之前发表的文章，我们进行延伸实战https://blog.csdn.net/weixin_64809364/article/details/146981598?spm1001.2014.3001.5501 1. 想要爬取什么小程序，我们进行搜索 2. 找到我们vx小程序的文件地址，我们就可以进行破解破解步骤强看…...

编程日记 2025/9/3 1:32:40

第二十节课：python实例五：身体质量指数BMI计算

python实例五：身体质量指数BMI计算一、问题分析 BMI计算公式： BMI 体重(kg) / 身高(m)^2国际与国内标准对比分类国际标准国内标准偏瘦<18.5<18.5正常18.5-2518.5-24偏胖25-3024-28肥胖≥30≥28 二、实现要点输入处理 # 同时接收身高体重…...

编程日记 2025/9/3 9:35:58

八、重学C++—动态多态（运行期）

上一章节： 七、重学C—静态多态（编译期）-CSDN博客https://blog.csdn.net/weixin_36323170/article/details/146999362?spm1001.2014.3001.5502 本章节代码： cpp/dynamicPolymorphic.cpp CuiQingCheng/cppstudy - 码云 - 开源中…...

编程日记 2025/8/31 1:55:03

思维链 Chain-of-Thought（COT）

思维链 Chain-of-Thought（COT）：思维链的启蒙 3. 思维链 Chain-of-Thought（COT）存在问题？2. 思维链 Chain-of-Thought（COT）是思路是什么？1. 什么是思维链 Chain-of-Thoug…...

编程日记 2025/8/28 9:55:45

React框架的Fiber架构

以下是关于 Fiber 架构的系统梳理：一、Fiber 架构的出现背景 React 15 及之前的问题同步递归渲染：虚拟DOM的diff过程不可中断，导致主线程长时间阻塞。掉帧问题：复杂组件树渲染时，用户交互无法及时响应。无法实现增量渲染：无法拆分任务优先级，无法利用浏览器空闲时间。…...

编程日记 2025/8/30 0:58:39

PCI与PCIe接口的通信架构是主从模式吗？

PCI（Peripheral Component Interconnect）总线在通信架构上本质是主从模式，但其具体实现和角色分配在不同版本（如传统PCI与PCI Express）中存在差异。以下是详细分析： 传统PCI总线的主从模式 (1) 基本架构主…...

编程日记 2025/8/29 13:18:23

【2011】【论文笔记】THz保护文化遗产——

前言类型太赫兹 + 文化保护太赫兹 + 文化保护太赫兹+文化保护期刊 I E E E T R A N S A C T I O N S O N T E R A H E R...

编程日记 2025/8/26 6:03:36

状态机思想编程练习

状态机实现LED流水灯本次实验，我们将利用状态机的思想来进行Verilog编程实现一个LED流水灯，并通过Modelsim来进行模拟仿真，再到DE2-115开发板上进行验证。首先进行主要代码的编写。 module led (input sys_clk,input sys_…...

编程日记 2025/8/31 12:56:51

三部门新政力推智能家居居然智家数智化转型迎利好东风

2025年3月，工业和信息化部、教育部、市场监管总局联合印发《轻工业数字化转型实施方案》，明确提出重点培育智能家居、智能穿戴、智能骑行、智慧养老等消费端场景，深化人工智能技术在家电、家具等领域的应用，推动产业链供应链智能化…...

编程日记 2025/8/26 6:03:33

CCF GESP C++编程七级认证真题 2025年3月

C 七级 2025 年 03 月题号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 答案 B A B C B B B A D D A C B B D 一、单选题第 1 题下列哪个选项是C中的关键字？ A. function B. class C. method D. object 第 2 题下面代码输出的是（） int main()…...

编程日记 2025/8/29 7:08:59

【MySQL】navicat16 result字段识别不了

在mysql里面使用result字段打印出来为空之后换了个字段命名使用outcome 成功能打印出来了。。不知道是不是版本的问题...

编程日记 2025/8/26 6:03:29

【教学类-102-02】自制剪纸图案（留白边、沿线剪）02——Python+PS自动化添加虚线边框

背景需求： 01版本实现了对透明背景png图案边界线的扩展，黑线实线描边【教学类-102-01】自制剪纸图案（留白边、沿线剪）01-CSDN博客文章浏览阅读974次，点赞15次，收藏7次。【教学类-102-01】自制剪纸图案（留白边、沿线剪）01https://blog.csdn.net/reasonsummer/article…...

编程日记 2025/8/28 11:41:03

CExercise_05_1函数_1.1素数(要对键盘录入的数据做参数校验)

题目： 编写函数实现以下功能： 键盘录入一个正整数，请判断它是否是一个素数，然后控制台输出对应的结果。要对键盘录入的数据做参数校验，素数是一个大于1的自然数，它仅能被1和自身整除。关键点分析&#xf…...

编程日记 2025/8/30 0:58:41

运算放大器（五）电压比较器

比较器在最常用的简单集成电路中排名第二，仅次于排名第一的运算放大器。电压比较器是一种用来比较输入信号电压与参考电压大小，并将比较结果以高电平或低电平形式输出的一种信号处理电路，广泛应用于各种非正弦波的产生和变换电路中&#xf…...

编程日记 2025/8/31 15:29:03

蓝桥杯_PCF8591

目录一前言二引言三 PCF8591介绍 （1）I2C通信 （2）原理图中的8591 四代码层面 （1）根据题目所给的示范代码，实现ADC 1 为什么需要返回值，同时返回值是unsigned char&#x…...

编程日记 2025/9/1 8:57:46

Windows修改hosts文件让向日癸软件联网

Windows修改hosts文件让向日癸软件联网前言一、查看向日葵软件使用的网址及IP1.清除dns记录2.打开向日葵软件并将dns记录导出txt 二、修改Windows服务器的hosts文件1.winx选择Windows PowerShell(管理员)2.在Windows PowerShell中输入如下内容：3.在hosts文件最后添…...

编程日记 2025/8/30 12:07:14

[MySQL初阶]MySQL数据类型

MySQL数据类型 1. 数据类型分类2. 数值类型2.1 tinyint类型2.2 bit类型2.3 float类型2.4 decimal类型3. 字符串类型3.1 char3.2 varchar3.3 日期和时间类型3.4 enum和set1. 数据类型分类数据库中的类型决定了在存储位置中，占据的空间大小以及如何识别的问题。 2. 数值类型 2…...

编程日记 2025/9/3 9:07:29

JS用ES6和ES5分别实现：8字节长整数和字节数组的互转

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/8/27 13:26:18

【学Rust写CAD】29 Alpha256结构体（alpha256.rs）

源码 #[derive(Clone, Copy)] pub struct Alpha256(u32);impl Alpha256{#[inline]pub fn from(alpha:u32)->Alpha256{Alpha256(alpha1)}// Calculates 256 - (value * alpha256) / 255 in range [0,256],// for [0,255] value and [0,256] alpha256.#[inline]fn alpha_mul_…...

编程日记 2025/9/1 3:18:38

文章目录

5.1 背压（Backpressure）概述

5.1.1 缓冲（Buffer）

1. 基本概念

2. 缓冲的实现方式

3. 适用场景

4. 潜在问题

5.1.2 丢弃（Drop）

1. 基本概念

2. 丢弃的实现方式

3. 适用场景

4. 潜在问题

5.1.3 动态调整（Dynamic Pull）

1. 基本概念

2. 动态调整的实现方式

3. 适用场景

4. 潜在问题

5.2 背压策略对比

5.3 总结

背压（Backpressure）的原理

1. 基本概念

2. 背压的核心原理

(1) Push 模式（传统方式，无背压）

(2) Pull 模式（背压实现方式）

3. 背压的底层实现

(1) 响应式流规范（Reactive Streams）

(2) 背压信号传递

4. 背压策略的数学建模

(1) 漏桶算法（Leaky Bucket）

(2) 令牌桶算法（Token Bucket）

5. 背压在主流框架中的实现

6. 背压的适用场景与挑战

✅ 适用场景

⚠️ 挑战

7. 总结

相关文章：