当前位置：首页 > news >正文

Flink的时间问题

news 来源：原创 2025/7/27 21:11:50

Apache Flink 中的 时间语义（Time Semantics） 是流处理的核心概念之一。Flink 支持多种时间类型，用于控制窗口计算、事件排序和状态管理等操作。

🕒 一、Flink 时间分类

类型	名称	描述
`Processing Time`	处理时间	每个算子基于本地系统时钟处理数据的时间
`Event Time`	事件时间	数据自带的时间戳，通常表示事件发生的真实时间
`Ingestion Time`	摄入时间	数据进入 Flink Source 的时间（已逐渐被 Event Time 取代）

⚠️ 二、各类时间可能出现的问题及解决办法

1. `Processing Time`

❗问题：

不可重复：不同次运行结果可能不一致
无法应对延迟或乱序数据
对故障恢复不友好

✅ 解决办法：

适用于对实时性要求高但容忍误差的场景
不适合需要精确统计或一致性保障的场景
使用 .assignTimestampsAndWatermarks(WatermarkStrategy.noWatermarks()) 禁用事件时间机制

DataStream<Event> stream = env.addSource(...);
stream.assignTimestampsAndWatermarks(WatermarkStrategy.noWatermarks());

2. `Event Time`

❗问题：

需要为每条事件打上时间戳（timestamp）
乱序事件可能导致窗口计算不完整
需要设置水印（Watermark）来控制窗口触发时机

✅ 解决办法：

(1) 提取事件时间戳（Timestamp）

DataStream<Event> withTimestamps = stream.assignTimestampsAndWatermarks(WatermarkStrategy.<Event>forBoundedOutOfOrderness(Duration.ofSeconds(5)).withTimestampAssigner((event, timestamp) -> event.getTimestamp()));

(2) 设置水印策略（Watermark Strategy）

WatermarkStrategy<Event> strategy = WatermarkStrategy.<Event>forBoundedOutOfOrderness(Duration.ofSeconds(5)) // 允许最多5秒乱序.withTimestampAssigner((event, recordTimestamp) -> event.getTimestamp());DataStream<Event> watermarkedStream = stream.assignTimestampsAndWatermarks(strategy);

(3) 常见水印策略：

策略	描述
`forMonotonousTimestamps()`	严格有序事件时间（无乱序）
`forBoundedOutOfOrderness(Duration maxOutOfOrderness)`	有界乱序，允许一定延迟
`noWatermarks()`	不使用水印，退化为 Processing Time 行为
自定义水印生成器	实现 `WatermarkGenerator` 接口自定义逻辑

3. `Ingestion Time`

❗问题：

时间戳由 Source 算子统一打标，不能反映原始事件时间
已被官方建议弃用，推荐使用 Event Time 替代

✅ 解决办法：

不推荐使用，除非你的数据源没有自带时间戳，且你不需要考虑乱序
默认情况下，在开启 event time 的时候会自动使用 Ingestion Time 作为后备方案

env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime); // 已废弃

🔧 三、常见问题与解决方案汇总表

问题描述	原因	解决办法
窗口迟迟不触发	水印未及时推进	检查水印生成逻辑、调整最大乱序时间
结果不一致	使用了 Processing Time	改为 Event Time 并设置水印
数据延迟导致丢失	未容许乱序	使用 `forBoundedOutOfOrderness()` 设置延迟容忍度
状态占用过高	窗口未及时清理	设置允许的最大事件延迟 `.allowedLateness()` 或注册定时器清除
窗口提前关闭	水印推进过快	调整水印生成策略或使用 Side Output 输出迟到数据

🛠 四、高级技巧：如何处理迟到数据？

✅ 使用 Side Output 输出迟到数据：

OutputTag<Event> lateTag = new OutputTag<>("late-events", TypeInformation.of(Event.class));SingleOutputStreamOperator<Event> windowedStream = watermarkedStream.keyBy(keySelector).window(TumblingEventTimeWindows.of(Time.seconds(10))).allowedLateness(Time.minutes(1)) // 容许最多1分钟迟到.sideOutputLateData(lateTag) // 将超过 allowedLateness 的数据输出到侧边流.process(new ProcessWindowFunction<Event, Result, Key, TimeWindow>() {public void process(...) { ... }});DataStream<Event> lateStream = windowedStream.getSideOutput(lateTag);
lateStream.print("Late Data");

📌 五、总结建议

场景	推荐时间类型	是否推荐
实时监控（容忍误差）	Processing Time	✅
精确统计、结果一致性要求高	Event Time	✅✅✅
数据源无时间戳	Ingestion Time	⚠️ 不推荐长期使用
乱序数据处理	Event Time + Bounded Watermark	✅✅✅
数据延迟容忍	Event Time + allowedLateness + Side Output	✅✅✅

Flink的时间问题

Apache Flink 中的时间语义（Time Semantics） 是流处理的核心概念之一。Flink 支持多种时间类型，用于控制窗口计算、事件排序和状态管理等操作。 🕒 一、Flink 时间分类类型名称描述Processing Time处理时间每个算子基于本地系统…...

编程日记 2025/7/27 21:11:50

3：OpenCV—视频播放

播放来自文件或相机的视频在本教程中，我将向您展示如何使用OpenCV从文件或相机/网络摄像头捕获和播放视频。尽管OpenCV没有针对视频处理进行优化，但它提供了一个简单的API来播放视频。在我们的OpenCV程序中，我们所要做的就是从视频文件或相…...

编程日记 2025/7/20 20:28:10

AI工程新技术追踪探讨

文章目录一、核心差异维度对比二、GitHub对AI工程师的独特价值三、需要警惕的陷阱四、推荐追踪策略五、与传统开发的平衡建议以下内容整理来自 deepseek 作为AI工程师，追踪GitHub开源项目对技术成长和职业发展的影响比传统应用开发工程师更为显著，…...

编程日记 2025/7/27 19:46:43

C++：函数模板

所谓函数模板就是定义一个通用的函数，不指定具体的参数，用一个虚拟参数代替； 当函数调用时，会根据实参判断具体的类型。注意：不要使用默认参数；可以重载但尽量不要重载。 #include<iostream> usi…...

编程日记 2025/7/17 13:14:52

一款适配国内的视频软件，畅享大屏与局域网播放

软件介绍今天要给大家安利一款超强视频播放软件——MXPlayer。它的解码实力堪称一绝，市面上不管是常见的 MP4、MKV 格式，还是对播放设备要求极高的超高清 4K、HDR 视频，甚至那些鲜为人知的冷门格式，它统统都能流畅播放&#xff…...

编程日记 2025/7/23 13:12:54

SONiC系统之高速数据遥测High Frequency Telemetry

SONiC系统之高速数据遥测High Frequency Telemetry 数据遥测这篇文章介绍了SONiC系统支持Telemetry的软件架构以及gNMI接口中Telemetry Streaming功能Dial-in和Dial-out两者模式的区别。正如该文指出的那样，该结构面临扩展性问题，当AI训练、推理等大型…...

编程日记 2025/7/22 5:26:18

【Java ee初阶】jvm（3）

一、双亲委派机制（类加载机制中，最经常考到的问题） 类加载的第一个环节中，根据类的全限定类名（包名类名）找到对应的.class文件的过程。 JVM中进行类加载的操作，需要以来内部的模块“类加载器”…...

编程日记 2025/7/22 14:05:38

C++ for QWidget：connect（连接）

语法： QObject::connect(发射信号的对象,发射的信号,接收信号的对象,接收后执行的命令) #include "mainwindow.h" #include "ui_mainwindow.h"MainWindow::MainWindow(QWidget *parent): QMainWindow(parent), ui(new Ui::MainWindow) {ui-&g…...

编程日记 2025/7/27 21:06:45

uni-app学习笔记七-vue3事件处理

本文主要用于记录vue3中的点击事件和change事件点击事件：v-on:click,可简写为click change事件，用于监听值发生改变的的事件处理：change 示例代码： <template><view class"box" click"onClick"…...

编程日记 2025/7/22 13:35:20

【C++进阶篇】C++容器完全指南：掌握set和map的使用，提升编码效率

C容器的实践与应用：轻松掌握set、map与multimap的区别与用法一. 序列式容器与关联式容器1.1 序列式容器 (Sequential Containers)1.2 关联式容器 (Associative Containers) 二. set系列使用2.1 set的构造和迭代器2.2 set的增删查2.2.1 插入2.2.2 查找2.2.3 删除 2.…...

编程日记 2025/7/25 22:43:50

吴恩达机器学习（1）——机器学习算法分类

1、机器学习算法 1、监督学习在实际应用中最为常见的快速进度结果 2、非监督学习 2、监督学习（Supervised Learning） 2.1、回归算法 [!note] 监督学习是指学习从 x -> y 或者从输入到输出映射的算法监督学习的关键特征是你给学习算法提供学习…...

编程日记 2025/7/22 22:31:01

我的创作纪念日——512天

2023 年 12 月 19 日，我撰写了第 1 篇记录型博客《数据结构课程设计——报数问题》，这是我记录一段实践经验的开始。回望那时的自己，还很稚嫩，刚刚迈入计算机的大门不久，一切都显得新鲜而充满挑战。今天是我成为创作者…...

编程日记 2025/7/25 23:02:06

SpringBoot快速上手

1.Maven Maven是项目管理工具，通过pom.xml文件来获取jar包，而不用手动去添加jar包引入依赖之后需要刷新maven，以下这两个地方都可以中央仓库 ： Central Repository: Maven Repository: Central 2.Spring Boot 2.1创建项目…...

编程日记 2025/7/21 5:15:11

自动化：批量文件重命名

自动化：批量文件重命名 1、前言 2、效果图 3、源码一、前言今天来分享一款好玩的自动化脚：批量文件重命名有时候呢，你的文件被下载下来文件名都是乱七八糟毫无规律，但是当时你下载的时候没办法重名或者你又不想另存为重新重…...

编程日记 2025/7/27 21:07:23

低延迟与高性能的技术优势解析：SmartPlayer VS VLC Media Player

在实时视频流的应用中，RTSP（Real-Time Streaming Protocol）播放器扮演着至关重要的角色，尤其是在视频监控、远程医疗、直播等高实时性需求的场景中。随着行业需求的不断升级，对播放器的低延迟、稳定性、兼容性等方面的…...

编程日记 2025/7/27 21:06:11

java中的Servlet2.x详解

一、Servlet 2.x 版本演进与核心特性 Servlet 2.x 是 Java Web 开发中承上启下的重要版本系列，主要包括 Servlet 2.4 和 Servlet 2.5 两个子版本。以下是其核心特性与改进： Servlet 2.4（2003年发布） XML Schema 支持：…...

编程日记 2025/7/23 18:23:54

大模型deepseek如何助力数据安全管理

敏感数据识别与处理精准定位敏感信息 ：运用多模态识别引擎技术，快速扫描上传文件与输入内容，精准识别身份证号、银行卡号、商业合同关键信息等各类敏感数据，并支持金融、医疗等行业定制化规则库，满足不同行业的特殊需…...

编程日记 2025/7/21 6:04:23

设备树你添加电源键示例。 / {gpio-keys {compatible = "gpio-keys";#address-cells = <1>;#size-cells = <0>;button@1 {label = "Power Button";linux,code = <KEY_POWER>; // 按键编码，定义在include/uapi/linux/input-event-code…...

编程日记 2025/7/27 4:40:32

Vibe Coding：编程中的氛围与效率的艺术

引言在软件开发的世界里，我们常常关注语言特性、框架选择和算法效率，却较少讨论一个同样重要的因素——编程时的"氛围"（vibe）。Vibe Coding是一种关注开发者心理状态、工作环境和整体"感觉"的编程方法论。它…...

编程日记 2025/7/23 0:51:55

算法岗实习八股整理——深度学习篇（不断更新中）

目录激活函数特征典型例子sigmod函数tanh函数补充：零中心化输出优势非线性特性如何提升神经网络表现激活函数特征非线性：激活函数满足非线性时，才不会被单层网络替代，神经网络才有意义可微性：优化器大多数是用梯…...

编程日记 2025/7/23 1:22:19

Java IO及Netty框架学习小结

Netty netty官网: Netty 什么是Netty？ Netty 是一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。Netty 是一个 NIO 客户端服务器框架，可以快速轻松地开发网络应用程序（例如协议服务器和客…...

编程日记 2025/7/17 18:53:12

理想AI Talk第二季-重点信息总结

一、TL；DR 理想为什么要做自己的基模：座舱家庭等特殊VLM场景，deepseek/openai没有解决理想的基模参数量：服务端-300B，VLencoder-32B/3.6B，日常工作使用-300B，VLA-4B为什么自动驾驶可以达成&…...

编程日记 2025/7/27 7:33:45

软件架构之-论软件系统架构评估以及应用

论软件系统架构评估以及应用摘要正文摘要 2023年2月，本人所在集团公司承接了长三角地区某省渔船图纸电子化审查系统项目开发，该项目旨在为长三角地区渔船建造设计院，以及渔船图纸审查机构提供一个便捷化的服务平台。在此项目中，…...

编程日记 2025/7/18 13:58:07

Java面试实战：从Spring Boot到分布式缓存的深度探索

Java面试实战：从Spring Boot到分布式缓存的深度探索场景介绍在一家著名的互联网大厂，面试官老王正对求职者“水货程序员”明哥进行Java技术面试。明哥带着一点紧张和自信，迎接这场技术“拷问”。第一轮：基础问题老王&#…...

编程日记 2025/7/22 20:37:59

2025年全国青少年信息素养大赛C++小学全年级初赛试题

一、单选题 1、在C中，表示逻辑运算符 "或" 的是？（ ）（5 分） A．|| B．& C． D． 解析：||是或者， &&是并且 2、…...

编程日记 2025/7/10 12:08:48

React中巧妙使用异步组件Suspense优化页面性能。

文章目录前言一、为什么需要异步组件？1. 性能瓶颈分析2. 异步组件的价值二、核心实现方式1. React.lazy Suspense（官方推荐）2. 路由级代码分割（React Router v6） 总结前言在 React 应用中，随着功能复…...

编程日记 2025/7/19 1:18:02

nginx相关面试题30道

一、基础概念与核心特性 1. 什么是 Nginx？它的主要用途有哪些？ 答案： Nginx 是一款高性能的开源 Web 服务器、反向代理服务器及负载均衡器，基于事件驱动的异步非阻塞架构，擅长处理高并发场景。主要用途：…...

编程日记 2025/7/22 2:16:18

java中的Servlet1.x详解

Servlet 1.x 是 Java Web 开发的早期规范，为后续版本奠定了基础。以下是其核心特性、使用方式及与现代版本的对比分析： 一、Servlet 1.x 的核心特性基础接口与实现 Servlet 1.x 的核心是 javax.servlet.Servlet 接口，开发者必须直接实现其五…...

编程日记 2025/7/21 17:32:31

给大模型“贴膏药”：LoRA微调原理说明书

一、前言：当AI模型开始“叛逆” 某天，我决定教deepseek说方言。第一次尝试（传统微调）： 我：给deepseek灌了100G东北小品数据集，训练三天三夜。结果：AI确实会喊“老铁666”了…但英…...

编程日记 2025/7/25 20:34:45

【数字电路】第七章脉冲波形的产生与整形电路

一、脉冲波形的产生与整形电路概述 1.矩形脉冲的获得方法 2.矩形脉冲的主要参数 3.本章所涉及的电路 4.稳态与暂稳态电路的暂稳态实际上是通过RC电路的充放电来实现的。 5.TTL电路输入等效电路 6.TTL电路的输出等效电路 7.CMOS电路的输入等效电路 8.CMOS电路的输出等效电路 …...

编程日记 2025/7/25 22:43:37

React Flow 边的基础知识与示例：从基本属性到代码实例详解

本文为《React Agent：从零开始构建 AI 智能体》专栏系列文章。专栏地址：https://blog.csdn.net/suiyingy/category_12933485.html。项目地址：https://gitee.com/fgai/react-agent（含完整代码示例与实战源）。完整介绍…...

编程日记 2025/7/23 1:43:29

DB-MongoDB-00002--Workload Generator for MongoDB

## DB-MongoDB-00002–Workload Generator for MongoDB 1、介绍 Workload Generator for MongoDB was designed to help MongoDB users effortlessly generate data and simulate workloads for both sharded and non-sharded clusters. The generated workloads include s…...

编程日记 2025/7/23 8:21:59

🕒 一、Flink 时间分类

⚠️ 二、各类时间可能出现的问题及解决办法

1. Processing Time

❗问题：

✅ 解决办法：

2. Event Time

❗问题：

✅ 解决办法：

(1) 提取事件时间戳（Timestamp）

(2) 设置水印策略（Watermark Strategy）

(3) 常见水印策略：

3. Ingestion Time

❗问题：

✅ 解决办法：

🔧 三、常见问题与解决方案汇总表

🛠 四、高级技巧：如何处理迟到数据？

✅ 使用 Side Output 输出迟到数据：

📌 五、总结建议

相关文章：

1. `Processing Time`

2. `Event Time`

3. `Ingestion Time`