当前位置： 首页 > news >正文

Flink反压问题解析

news 来源：原创 2025/6/21 15:29:05

一、什么是反压（Backpressure）？

反压（Backpressure） 是流处理系统中的一种流量控制机制。当下游算子处理速度低于上游数据生产速度时，系统会向上游传递压力信号，迫使上游降低数据发送速率，避免数据堆积和系统崩溃。
Flink 通过动态反压机制实现这一过程，但其副作用是可能导致作业延迟增加、吞吐量下降甚至任务失败。

二、反压的核心原理与Flink实现

1. Flink 网络栈与反压机制

  • 基于信用值的流量控制：
    每个子任务（Subtask）根据接收端的处理能力动态分配“信用值”（Credit），发送端按信用值发送数据。接收端处理完数据后，通过反馈机制更新信用值。
  • 反压传播路径：
    下游处理能力不足 → 接收端信用值为0 → 发送端暂停发送 → 反压逐级传递至 Source 端。

2. 反压的直观表现

  • Metrics 指标：outPoolUsage（输出缓冲区使用率）接近1.0。
  • Flink Web UI：红色反压警告（High BackPressure Time）。
  • 系统现象：Checkpoint 超时、Kafka Lag 堆积、TaskManager CPU 飙升。

三、典型反压场景与实战案例

场景描述：电商实时订单分析系统

数据流：Kafka（订单数据） → Flink（实时统计每分钟GMV） → MySQL（结果存储）
现象：

  • Flink Web UI 显示 FlatMap 算子出现反压（High BackPressure）。
  • 下游 MySQL 写入延迟增加，Kafka Consumer Lag 持续增长。
  • TaskManager 的 CPU 使用率高达90%。

原因分析与诊断步骤

1. 定位反压源头
  • Step 1：通过 Flink Web UI 的 BackPressure 页面，识别出 FlatMap 算子出现反压。
  • Step 2：检查 FlatMap 的并行度与输入数据分布，发现其并行度为2，而上游 Kafka Topic 分区数为16，导致数据倾斜。
2. 根因分析
  • 数据倾斜：上游 Kafka 分区数据分布不均，部分 FlatMap 实例处理的数据量远高于其他实例。
  • 外部系统瓶颈：MySQL 写入速度慢（未使用批量写入），导致 Sink 算子成为瓶颈。
  • 资源不足：TaskManager 内存配置过低，频繁触发 GC。

四、解决方案与优化实践

1. 数据倾斜治理

KeyBy 优化
// 原始代码：直接按 user_id 分组，导致热点
DataStream<Order> orders = ...;

相关文章：

Flink反压问题解析

一、什么是反压（Backpressure）？ 反压（Backpressure） 是流处理系统中的一种流量控制机制。当下游算子处理速度低于上游数据生产速度时，系统会向上游传递压力信号，迫使上游降低数据发送速率，避免数据堆积和系统崩溃。 Flink 通过动态反压机制实现这一过程，但其副作用是…...

编程日记 2025/6/21 15:29:05

C语言中结构体的字节对齐的应用

一、字节对齐的基本原理 计算机的内存访问通常以固定大小的块&#xff08;如 4 字节、8 字节&#xff09;为单位。若数据的内存地址是块大小的整数倍&#xff0c;称为 自然对齐。例如&#xff1a; int&#xff08;4 字节&#xff09;的地址应为 4 的倍数。 double&#xff08…...

编程日记 2025/6/21 14:57:28

大规模数据同步后数据总条数对不上的系统性解决方案：从字段映射到全链路一致性保障

一、引言 在数据同步&#xff08;如系统重构、分库分表、多源整合&#xff09;场景中&#xff0c;“本地数据一致&#xff0c;生产环境条数对不上”是典型痛点。问题常源于并发处理失控、数据库性能瓶颈、字段映射错误、缓存脏数据等多维度缺陷。本文结合实战经验&#xff0c;…...

编程日记 2025/5/30 1:40:06

美团Java后端二面面经！

场景题是面试的大头&#xff0c;建议好好准备 Q. [美团]如何设计一个外卖订单的并发扣减库存系统&#xff1f; Q.[美团]为啥初始标记和重新标记需要STW&#xff1f; Q.[美团]骑手位置实时更新&#xff0c;如何保证高并发写入&#xff1f; Q.[美团]订单表数据量过大导致查询…...

编程日记 2025/5/29 18:51:03

35-疫苗预约管理系统(微服务)

技术&#xff1a; RuoYi框架 后端: SpringBootMySQLspringCloudnacosRedis 前端: vue3 环境&#xff1a; Idea mysql maven jdk1.8 用户端功能 1.首页:展示疫苗接种须知标语、快速预约模块 2.疫苗列表:展示可接种的疫苗 3.预约接种: 用户可进行疫苗预约接种 修改预约时间 …...

编程日记 2025/6/2 8:50:04

Ext JS模拟后端数据之SimManager

Ext.ux.ajax.SimManager 是 Ext JS 框架中用于拦截 Ajax 请求并返回模拟数据的核心工具，适用于前后端分离开发、原型验证或独立测试场景。它通过配置灵活的规则和模拟处理器（Simlet），帮助开发者在不依赖真实后端的情况下完成前端功能开发。 simlets 是simulated servers的…...

编程日记 2025/5/31 2:41:04

BT169-ASEMI无人机专用功率器件BT169

编辑&#xff1a;ll BT169-ASEMI无人机专用功率器件BT169 型号&#xff1a;BT169 品牌&#xff1a;ASEMI 封装&#xff1a;SOT-23 批号&#xff1a;最新 引脚数量&#xff1a;3 特性&#xff1a;单向可控硅 工作温度&#xff1a;-40℃~150℃ BT169单向可控硅&#xff…...

编程日记 2025/6/4 16:14:52

4月26日星期六今日早报简报微语报早读

4月26日星期六&#xff0c;农历三月廿九&#xff0c;早报#微语早读。 1、广州多条BRT相关线路将停运&#xff0c;全市BRT客运量较高峰时大幅下降&#xff1b; 2、国务院批复&#xff1a;同意在海南全岛等15地设立跨境电商综合试验区&#xff1b; 3、我国首次实现地月距离尺度…...

编程日记 2025/5/29 10:08:49

如何将 sNp 文件导入并绘制到 AEDT （HFSS）

导入 sNp 文件 打开您的项目&#xff0c;右键单击 “Result” 绘制结果 导入后&#xff0c;用户可以选择它进行打印。请参阅下面的示例。要点&#xff1a;确保从 Solution 中选择它。...

编程日记 2025/5/27 1:12:23

Shell脚本-for循环应用案例

在Shell脚本编程中&#xff0c;for循环是一种强大的工具&#xff0c;用于处理重复性任务。无论是批量处理文件、遍历目录内容还是简单的计数任务&#xff0c;for循环都能提供简洁而有效的解决方案。本文将通过几个实际的应用案例来展示如何使用for循环解决具体的编程问题。 案…...

编程日记 2025/5/25 19:31:52

MATLAB基础应用精讲-【基础知识篇】发布和共享 MATLAB 代码

目录 MATLAB发布代码---生成文档pdf 分节符对发布文件的分节 实时脚本 Matlab workspace与m脚本数据共享 发布和共享 MATLAB 代码 在实时编辑器中创建和共享实时脚本 发布 MATLAB 代码文件 (.m) 添加帮助和创建文档 发布 MATLAB 代码文件 (.m) 可创建包括您的代码、注释…...

编程日记 2025/6/20 5:13:58

Shell脚本-while循环语法结构

在Shell脚本编程中&#xff0c;while循环是一种重要的流程控制语句&#xff0c;它允许我们重复执行一段代码&#xff0c;直到指定的条件不再满足为止。与for循环不同&#xff0c;while循环通常用于条件驱动的迭代&#xff0c;而不是基于列表或范围的迭代。本文将详细介绍Shell脚…...

编程日记 2025/6/21 6:47:55

Java基础第四章、面向对象

一、成员变量 示例&#xff1a; 二、JVM内存模型 类变量就是静态变量 三、构造方法 默认构造方法、定义的构造方法(不含参数、含参数) 构造方法重载&#xff1a; this关键字 this关键字应用&#xff1a;对构造方法进行复用&#xff0c;必须放在第一行 四、面向对象的三大特征 1…...

编程日记 2025/5/31 16:23:11

【基础IO上】复习C语言文件接口 | 学习系统文件接口 | 认识文件描述符 | Linux系统下，一切皆文件 | 重定向原理

1.关于文件的预备知识 1.1 文件的宏观理解 广义上理解&#xff0c;键盘、显示器等都是文件&#xff0c;因为我们说过“Linux下&#xff0c;一切皆文件”&#xff0c;当然我们现在对于这句话的理解是片面的&#xff1b;狭义上理解&#xff0c;文件在磁盘上&#xff0c;磁盘是一…...

编程日记 2025/5/30 13:05:58

linux离线部署open-metadata

OpenMetadata 环境及离线资源关闭防火墙禁止防火墙关闭 SELinux 创建用户安装JDK安装mysql安装Elasticsearch安装open-metadata 环境及离线资源 系统&#xff1a;CentOS Linux release 7.9.2009 (Core) JDK&#xff1a;17 Mysql&#xff1a; 8.0 OpenMetadata&#xff1a;1.6.…...

编程日记 2025/5/29 7:56:17

Exposure Adjusted Incidence Rate (EAIR) 暴露调整发病率：精准量化疾病风险

1. 核心概念 1.1 传统发病率的局限性 1.1.1 公式与定义 传统发病率公式为新发病例数除以总人口数乘以观察时间。例如在某社区观察1年，有10例新发病例，总人口1000人，发病率即为10/10001=0.01。 此公式假设所有个体暴露时间和风险相同，但实际中个体差异大，如部分人暴露时间…...

编程日记 2025/6/21 8:55:13

信令与流程分析

WebRTC是h5支持的重要特征之一&#xff0c;有了它&#xff0c;不再需要借助音视频相关的客户端&#xff0c;直接通过浏览器的Web页面就可以实现音视频聊天功能。 WebRTC项目是开源的&#xff0c;我们可以借助WebRTC&#xff0c;构建自己的音视频聊缇娜功能。无论是前端JS的Web…...

编程日记 2025/6/4 10:51:18

声音分离人声和配乐base，vocals，drums -从头设计数字生命第6课， demucs——仙盟创梦IDE

demucs -n htdemucs --two-stemsvocals 未来之窗.mp3 demucs -n htdemucs --shifts5 之.mp3demucs -n htdemucs --shifts5 -o wlzcoutspl 未来之窗.mp3 伴奏提取人声分离技术具有多方面的重大意义&#xff0c;主要体现在以下几个领域&#xff1a; 音乐创作与制作 创作便利…...

编程日记 2025/5/29 7:56:04

Chrmo手动同步数据

地址栏输入 chrome://sync-internals分别点击这2个按钮即可触发手动同步...

编程日记 2025/5/12 23:05:24

【Dify系列教程重置精品版】第1课 相关概念介绍

文章目录 一、Dify是什么二、Dify有什么用三、如何玩转Dify？从螺丝刀到机甲战士的进阶指南官方网站:https://dify.ai github地址:https://github.com/langgenius/dify 一、Dify是什么 Dify（D​​efine + ​​I​​mplement + ​​F​​or ​​Y​​ou）。这是一款开源的大…...

编程日记 2025/6/4 8:17:24

【HTTP通信：生活中的邮局之旅】

HTTP通信&#xff1a;生活中的邮局之旅 HTTP通信就像是现代社会的邮政系统&#xff0c;让信息能够在互联网的城市间穿梭。下面我将用邮局比喻和图表来解释这个过程&#xff0c;以及它在现代应用中的重要性。 HTTP通信的旅程图解 #mermaid-svg-gC3zCsPpsFcq3sy3 {font-family:…...

编程日记 2025/5/30 10:41:06

Operating System 实验二 内存管理实验

目录 实验目标： 实验设备： 实验内容： （1）验证FIFO和Stack LRU页面置换算法 【代码（注释率不低于30%）】 【实验过程（截图）】 【结论】 （2）分别用FIFO和Stack LRU页置换算法，自己设定一个页面引用序列，绘制页错误次数和可用页帧总数的曲线并对比（可用Excel绘…...

编程日记 2025/6/20 6:31:07

深入解析YOLO v1：实时目标检测的开山之作

目录 YOLO v1 算法详解​ ​1. 核心思想​ ​2. 算法优势​ ​3. 网络结构&#xff08;Unified Detection&#xff09;​​ ​4. 关键创新​ ​5. 结构示意图&#xff08;Fig1&#xff09;​ Confidence Score 的计算​ 类别概率与 Bounding Box 的关系​ 后处理&…...

编程日记 2025/6/1 2:24:39

windows作业job介绍

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、作业job是什么&#xff1f;二、使用步骤1.代码示例 总结 前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; winapi网站&#xff1a; h…...

编程日记 2025/5/27 17:32:12

POLARIS土壤相关数据集

POLARIS相关数据集属于杜克大学&#xff08;Duke University&#xff09;土木与环境工程系&#xff08;CEE&#xff09;的水文学研究团队。该团队有三个总体主题&#xff1a;1&#xff09; 改善地球系统模型中地表异质性的表示&#xff0c;2&#xff09; 利用环境数据来描述在陆…...

编程日记 2025/6/21 11:59:39

【Harmony OS】组件

目录 组件概述 组件常用属性 系统内置组件 Text TextArea 多行文本输入框组件 TextInput 文本输入框 Button Image 图片组件&#xff0c;支持本地图片和网络图片 Radio 单选框 Checkbox 复选框 Blank 空白填充组件 Divider 分隔符 PatternLock 图案密码锁组件 Prog…...

编程日记 2025/6/2 7:19:22

找出字符串中第一个匹配项的下标

题目&#xff1a;28. 找出字符串中第一个匹配项的下标 给你两个字符串 haystack 和 needle&#xff0c;请你在 haystack 字符串中找出 needle 字符串的第一个匹配项的下标&#xff08;下标从 0 开始&#xff09;。如果 needle 不是 haystack 的一部分&#xff0c;则返回 -1。 …...

编程日记 2025/6/1 2:19:40

专家系统的知识获取、检测与组织管理——基于《人工智能原理与方法》的深度解析

前文我们已经了解了专家系统的基本概念和一般结构&#xff0c;系统中有专业的知识才是专家系统的关键&#xff0c;接下来对专家系统中的知识是如何获取、检测、组织和管理的进行探讨。 1.专家系统的基本概念&#xff1a;专家系统的基本概念解析——基于《人工智能原理与方法》…...

编程日记 2025/6/1 8:02:15

BUUCTF-[GWCTF 2019]re3

[GWCTF 2019]re3 查壳&#xff0c;64位无壳 然后进去发现主函数也比较简单&#xff0c;主要是一个长度校验&#xff0c;然后有一个mprotect函数&#xff0c;说明应该又是Smc&#xff0c;然后我们用脚本还原sub_402219函数处的代码 import idc addr0x00402219 size224 for …...

编程日记 2025/6/4 0:26:49

基准指数选股策略思路

一种基于Python和聚宽平台的量化交易策略&#xff0c;主要包含以下内容&#xff1a; 1. 导入必要的库 - 导入jqdata和jqfactor库用于数据获取和因子计算。 - 导入numpy和pandas库用于数据处理。 2. 初始化函数 - 设置基准指数为沪深300指数。 - 配置交易参数&#xff0c;如使用…...

编程日记 2025/6/1 13:40:52

【阿里云大模型高级工程师ACP习题集】2.5 优化RAG应用提升问答准确度（⭐️⭐️⭐️ 重点章节！！！）

习题集 【单选题】在RAG应用的文档解析与切片阶段，若遇到文档类型不统一，部分格式的文档不支持解析的问题，以下哪种解决方式不可行？（ ） A. 开发对应格式的解析器 B. 转换文档格式 C. 直接忽略该类型文档 D. 改进现有解析器以支持更多格式 【多选题】在选择向量数据库时，…...

编程日记 2025/5/28 19:42:28

【torch\huggingface默认下载路径修改】.cache/torch/ 或 .cache/huggingface

问题 服务器的硬盘空间是有限的&#xff0c;系统上的固态硬盘空间又比较小&#xff0c;在跑深度学习模型的时候经常有默认下载权重的操作&#xff0c;不管是torch或者huggingface&#xff0c;如果不加管理&#xff0c;所有的权重都放在home/user/.cache 里面&#xff0c;迟早会…...

编程日记 2025/6/4 3:55:01

SpringBoot 常用注解大全

SpringBoot 常用注解大全 一、核心注解 1. 启动类注解 SpringBootApplication&#xff1a;组合注解&#xff0c;包含以下三个注解 Configuration&#xff1a;标记该类为配置类EnableAutoConfiguration&#xff1a;启用自动配置ComponentScan&#xff1a;组件扫描 2. 配置相…...

编程日记 2025/6/4 9:50:25

【器件专题1——IGBT第2讲】IGBT 基本工作原理：从结构到特性，一文解析 “电力电子心脏” 的核心机制

IGBT&#xff08;绝缘栅双极型晶体管&#xff0c;Insulated Gate Bipolar Transistor&#xff09;作为现代电力电子领域的核心器件&#xff0c;其工作原理融合了 MOSFET 的高效控制优势与 BJT 的大功率处理能力。本文从物理结构、导通 / 关断机制、核心特性等维度&#xff0c;深…...

编程日记 2025/6/2 17:20:08

再谈String

1、字符串常量池 1.1 创建对象的思考 下面是两种创建字符串对象的代码 public static void main1(String[] args) {String s1 "hello";String s2 "hello";System.out.println(s1 s2);//trueString s3 new String("hello");String s4 new …...

编程日记 2025/6/3 13:25:42

语音合成之五语音合成中的“一对多”问题主流模型解决方案分析

语音合成中的“一对多”问题主流模型解决方案分析 引言“一对多”指的是什么&#xff1f;优秀开源模型的方法CosyvoiceSparkTTSLlaSA TTSVITS 引言 TTS系统旨在模仿人类的自然语音&#xff0c;但其核心面临着一个固有的挑战&#xff0c;即“一对多”问题 。这意味着对于给定的…...

编程日记 2025/6/20 15:34:30

嵌入式：Linux系统应用程序（APP）启动参数及其规则详解

在 systemd 的服务单元文件中&#xff0c;[Service] 部分用于定义服务的启动、停止、重启等操作&#xff0c;以及服务的运行环境和参数。以下是 [Service] 部分常见参数及其规则的详细介绍&#xff1a; 服务类型相关参数 **Type** **作用**&#xff1a;指定服务的启动类型&…...

编程日记 2025/5/30 1:28:10

25%甘油（灭菌）保存菌液以及10%甘油（普通）保存蛋白的原理及操作-实验操作系列-010

01 甘油保菌实验原理 1. 渗透压调节 甘油作为渗透压调节剂&#xff0c;能显著降低水的结冰温度&#xff0c;防止低温环境中细菌细胞内冰晶的形成。冰晶会破坏细胞膜&#xff0c;从而损伤细胞的完整性。甘油能够减少冰晶的生成&#xff0c;维持细胞结构的稳定&#xff0c;保护…...

编程日记 2025/5/28 23:15:57

影楼精修-手部青筋祛除算法解析

注意&#xff1a;本文样例图片为了避免侵权&#xff0c;均使用AIGC生成&#xff1b; 手部青筋祛除科普 手部青筋祛除是影楼精修中一个非常精细的工作&#xff0c;需要较高的修图技巧&#xff0c;目前市面上很少有自动化的青筋祛除功能的&#xff0c;而像素蛋糕目测是第一个做到…...

编程日记 2025/5/31 10:55:24

【时时三省】Python 语言----函数

山不在高，有仙则名。水不在深，有龙则灵。 ----CSDN 时时三省 1，函数概念 为了实现某种功能而组织的语句集合 定义格式: def 函数名([参数])函数体def add_num(a,b):c = a + bprint(c)add_num(11, 22) def 是定义函数的关键字。定义函数时，需要注意以下问题： 1，不需要说…...

编程日记 2025/5/30 1:28:08

蜜罐管理和数据收集服务器：Modern Honey Network (MHN)

一、Modern Honey Network (MHN)介绍 Modern Honey Network (MHN) 是一个集中化的蜜罐管理和数据收集服务器。它旨在简化蜜罐的部署和管理&#xff0c;并提供一个简洁的 Web 界面来查看捕获的数据。 1、主要功能: 集中化管理: 通过一个中心服务器管理多个蜜罐传感器。快速部…...

编程日记 2025/6/1 10:51:17

关于hbaseRegion和hbaseRowKey的一些处理

我遇到了什么问题&#xff1f; 我的habse一共有三台服务器&#xff0c;其中一台忙的要死&#xff0c;另外两台吃瓜看戏&#xff0c;我的业务都在其中一个服务器上&#xff0c;导致数据的读写瓶颈。 先说一下hbase的概况&#xff0c;有一个整体了解&#xff0c;我们再讲原因。…...

编程日记 2025/5/28 17:19:13

exec和spawn

前言 需求&#xff1a;做一个electron应用&#xff0c;用node打开exe软件&#xff0c;打开后返回成功与否&#xff0c;打开的软件不会随electron应用的关闭而关闭 exec exec 第一个参数为要运行的command命令&#xff0c;参数以空格分隔。 child_process.exec(command[, opti…...

编程日记 2025/6/20 6:31:07

【C到Java的深度跃迁：从指针到对象，从过程到生态】第四模块·Java特性专精 —— 第十三章 异常处理：超越C错误码的文明时代

一、错误处理的范式革命 1.1 C错误处理的黑暗时代 C语言通过返回值传递错误状态&#xff0c;存在系统性缺陷&#xff1a; 典型错误处理模式&#xff1a; FILE* open_file(const char* path) { FILE* f fopen(path, "r"); if (!f) { return NULL; // 错误信息…...

编程日记 2025/5/30 5:06:03

AD相同网络的铜皮和导线连接不上

出现这样的情况是不是很烦恼&#xff0c;明明是相同的网络连接不上&#xff1f;&#xff1f;&#xff1f;&#xff1f;&#xff1f; 直接修改铜皮属性&#xff08;选择所有相同这个选项&#xff09; 这样就可以连接上了...

编程日记 2025/5/15 16:49:50

驱动开发硬核特训 · Day 21（下篇）： 深入剖析 PCA9450 驱动如何接入 regulator 子系统

&#x1f4d8; 一、设备树视角&#xff1a;PCA9450 是如何声明的&#xff1f; 设备树中定义了 PCA9450 芯片通过 I2C 总线挂载&#xff0c;并描述了多个 regulator 通道&#xff1a; &i2c1 {pmic25 {compatible "nxp,pca9450c";reg <0x25>;regulators …...

编程日记 2025/6/4 9:58:11

消息队列mq在Mlivus Cloud向量数据库中的关键配置与最佳实践

作为《向量数据库指南》的作者和大禹智库高级研究员，我在30多年的向量数据库实战中深刻认识到：消息队列（MQ）作为现代向量数据库架构的"神经系统"，其配置优化直接决定了系统的吞吐量、稳定性和扩展性。本文将基于Mlivus Cloud这一领先的向量数据库平台，深入剖析…...

编程日记 2025/6/2 22:04:06

常见网络安全攻击类型深度剖析（四）：跨站脚本攻击（XSS）——分类、漏洞利用与前端安全防护

常见网络安全攻击类型深度剖析&#xff08;四&#xff09;&#xff1a;跨站脚本攻击&#xff08;XSS&#xff09;——分类、漏洞利用与前端安全防护 在Web应用安全中&#xff0c;跨站脚本攻击&#xff08;Cross-Site Scripting, XSS&#xff09;是攻击者利用浏览器漏洞&#x…...

编程日记 2025/5/31 1:24:31

临床试验中安全性估计策略与应用

1. 安全性估计概述 1.1 安全性估计的定义与重要性 1.1.1 安全性估计的定义 安全性估计旨在准确评估药物或干预措施的安全性特征，涵盖不良事件的发生率、严重程度及与治疗的因果关系等关键要素。 依据 ICH E9(R1) 指南，需明确定义目标人群、伴发事件处理方式及分析策略，为药…...

编程日记 2025/6/20 5:01:17

2025年GPLT团体程序设计天梯赛L1-L2

目录 1.珍惜生命 2.偷感好重 3.高温补贴 4.零头就抹了吧 5.这是字符串题 6.这不是字符串题 7.大幂数​编辑 8.现代战争​编辑 9.算式拆解 10.三点共线 11.胖达的山头 12.被n整除的n位数 1.珍惜生命 【解析】直接输出即可 #include<bits/stdc.h> using namespace…...

编程日记 2025/6/3 7:05:10