当前位置：首页 > news >正文

Flink 消费 Kafka 数据流的最佳实践

news 来源：原创 2025/7/4 19:13:27

一、前言：Kafka 只是开始，消费才是关键

Kafka 提供了优雅的 Topic 管理与消息缓冲机制，但只有当 Flink 能稳定、有序、无数据丢失地消费并处理这些数据流，实时数仓系统才真正发挥作用。

本篇将围绕 Flink 如何“吃好” Kafka 数据展开，从 数据源配置、时间语义处理、并发与容错、消费策略优化 全面展开讲解。

二、Flink 消费 Kafka 的方式对比

Flink 支持多种 Kafka Source 组件，按版本与场景如下：

Kafka Source 类型	支持版本	处理语义	备注
FlinkKafkaConsumer (旧 API)	Flink ≤ 1.13	支持最多一次 / 精确一次	使用广泛，但已逐步淘汰
KafkaSource (新 API)	Flink ≥ 1.13	默认 Exactly Once	推荐使用，性能更优
Connector Kafka Table API	Flink ≥ 1.11	用于 Flink SQL 作业	简洁配置，适合声明式处理

我们推荐使用 KafkaSource（DataStream API），功能丰富且支持最新特性。

三、KafkaSource 使用最佳实践（Java API）

✅ 示例代码（Flink 1.17+）

KafkaSource<String> kafkaSource = KafkaSource.<String>builder() .setBootstrapServers("kafka-broker:9092") .setTopics("order_main") .setGroupId("realtime-order-group") .setValueOnlyDeserializer(new SimpleStringSchema()) .setStartingOffsets(OffsetsInitializer.latest()) .setProperty("enable.auto.commit", "false") .build(); DataStream<String> stream = env.fromSource( kafkaSource, WatermarkStrategy.forMonotonousTimestamps(), "Kafka Source" );

四、Watermark 策略与事件时间管理

在实时处理中，事件时间（Event Time）才是真正的业务时间，而非 Kafka 到达时间。
Watermark 是 Flink 理解“什么时候可以处理一批数据”的核心机制。

✅ 常见 Watermark 策略

策略	适用场景	示例
`forMonotonousTimestamps()`	时间严格递增，如 IoT 设备	单调时间流
`forBoundedOutOfOrderness(Duration.ofSeconds(x))`	有乱序容忍的业务日志	默认推荐
自定义 `WatermarkStrategy`	多字段取最晚	高级用法

📌 示例：有乱序容忍的 Watermark

WatermarkStrategy<MyEvent> strategy = WatermarkStrategy .<MyEvent>forBoundedOutOfOrderness(Duration.ofSeconds(5)) .withTimestampAssigner((event, timestamp) -> event.getEventTime());

五、Exactly Once 消费语义配置

Kafka + Flink 想做到 Exactly Once 消费，你需要确保三件事：

Kafka Source 设置为 Exactly Once（默认即可）
启用 Flink 的状态一致性机制（Checkpoint）
Sink 端支持幂等性 / 事务性写入（例如 Kafka Sink、Doris Sink）

✅ 核心配置参数

env.enableCheckpointing(5000); // 每 5 秒一次
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);

六、消费调优技巧

✅ 并行度配置

设置 KafkaSource 与处理链路一致的 setParallelism，避免反压。
Topic 分区数必须 ≥ 并行度，才能让任务并行消费。

✅ 动态 Topic 管理（如 topic.*）

Flink KafkaSource 支持按模式订阅 Topic，例如：

.setTopicPattern(Pattern.compile("order_.*"))

适合电商、广告等多业务快速接入场景。

✅ 反压监控与缓冲优化

调整 env.setBufferTimeout() 缓冲延迟
利用 Flink UI / Prometheus 监控 backpressure 指标

七、典型消费拓扑图（配图）

📊 以下是 Kafka + Flink 消费处理拓扑的示意图：

说明：

多个 Topic 接入后通过 KafkaSource 接入 Flink
Flink 中做 Watermark 分发、窗口计算、标准化处理
下游写入 Kafka / OLAP 系统（如 Doris）作为中间层

八、踩坑经验分享

问题	现象	解决方案
消费延迟飙升	watermark 设置不当，堆积大量数据	优化 timestamp assigner
消费堆积	Source 分区 < 并行度	合理调整 Kafka topic 分区数
偶发丢数据	Source 没启用 checkpoint	开启 Flink 状态管理与 checkpoint
多 topic 合并处理错乱	不统一时间语义 / schema	建议多 topic 做统一清洗后处理

九、总结与建议

✅ Kafka 消费不是“连接一下”这么简单，它是实时链路的核心压舱石；
✅ 好的消费链路，应具备：时间语义清晰、吞吐稳定、可扩展处理逻辑；
✅ 建议配合使用 KafkaSource + 自定义 Watermark + 严格的 Checkpoint 配置 实现实时链路“精确处理”。

下一篇预告

📘 《第四篇：Flink 数据清洗与字段标准化最佳实践》
将重点讲解如何在 Flink 中进行数据的解析、标准化、字典对照处理，包括：

JSON 解析与字段提取
动态维度表广播 & 缓存机制
基于配置的标准化处理逻辑

Flink 消费 Kafka 数据流的最佳实践

一、前言：Kafka 只是开始，消费才是关键 Kafka 提供了优雅的 Topic 管理与消息缓冲机制，但只有当 Flink 能稳定、有序、无数据丢失地消费并处理这些数据流，实时数仓系统才真正发挥作用。本篇将围绕 Flink 如何“吃好” Kafka 数据…...

编程日记 2025/7/4 19:13:27

UEC++第10天|UEC++获取对象、RTTI是C++

最近在写UEC项目，这里写几个案例里的问题，还在学习阶段 1. 如何获取小鸟对象？ void AFlappyBirdGameModeBase::BeginGame() { // 让管道动起来PipeActor->SetMoveSpeed();// 让小鸟开始飞行// 如何获取到小鸟对象APawn* Pawn UGameplayS…...

编程日记 2025/7/4 16:36:42

原生微信小程序，canvas生成凭证，保存到手机

原生微信小程序通过canvas可以将表单( 文本、图片 )转化成图片，同时添加水印，生成凭证，这里只是基本功能实现。可以继续完善和扩展。 <view class"container"><canvas type"2d" id&…...

编程日记 2025/6/29 9:21:30

如何轻松将 Python 英文版切换至中文界面

Python 是一种广泛使用的编程语言，尤其在数据科学、人工智能和网络开发等领域。在最近的 Python 版本中，用户可以方便地使用多种语言，这也包括将 Python 界面语言从英文切换至中文。这不仅是出于用户体验的考虑，也能帮助初学者更快…...

编程日记 2025/7/4 17:22:50

2025.04.24【3D】3D绘图入门指南

Nifty graph A contribution by Matt Asher. 3D animation A 3D animated scatterplot made with R and rgl. 文章目录 Nifty graph3D animation 2025.04.24【3D】| 3D绘图入门指南什么是3D绘图？为什么使用3D绘图？如何在R中进行3D绘图？安装…...

编程日记 2025/6/29 9:21:18

R-CNN,Fast-R-CNN-Faster-R-CNN个人笔记

注：此博客主要为了方便笔者快速复习，只讲大致框架，只讲推理，不讲训练，因此内容不会很详实。 1.R-CNN R-CNN系列的开山之作。本文将该框架划分为3个模块： 1.region proposal generator 2.CNN&#xff08…...

编程日记 2025/7/4 18:15:49

【深度学习核心技术解析】从理论到实践的全链路指南

目录前言技术背景与价值当前技术痛点解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比二、实战演示环境配置要求核心代码实现（MNIST分类）运行结果验证三、性能对比测试方法论量化数据对比结果分析四…...

编程日记 2025/7/4 18:40:55

【QT网络】构建简单Udp回显服务器

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/7/4 16:26:41

浅谈国产数据库多租户方案：提升云计算与SaaS的资源管理效率

近年来，“数据库多租户”这一概念在技术圈内频频出现，成为云计算和SaaS（软件即服务）架构中的重要组成部分。多租户架构不仅为企业提供了高效的资源隔离与共享解决方案，还能大幅降低成本，提高系统的可扩展性…...

编程日记 2025/7/4 16:58:34

【霍夫变换】图像处理（OpenCV）-part11

20 霍夫变换 20.1 理解霍夫变换霍夫变换的基本思想是将图像空间中的几何元素（如直线、圆等）通过参数方程转换到参数空间中，形成一个参数空间的累加器数组。图像空间中的每个点在参数空间中对应一个曲线或曲面，而几何形状在图像…...

编程日记 2025/6/29 9:21:43

Flink 源码编译

打包命令打包整个项目 mvn clean package -DskipTests -Drat.skiptrue打包单个模块 mvn clean package -DskipTests -Drat.skiptrue -pl flink-dist如果该模块依赖其他模块，可能需要先将其他模块 install 到本地，如果依赖的模块的源代码有修改&#…...

编程日记 2025/6/29 9:25:27

React19源码阅读之commitRoot

commitRoot入口在finishConcurrentRender函数，commitRootWhenReady函数，commitRoot函数。 commitRoot流程图 commitRoot函数 commitRoot 函数是 React 渲染流程中用于提交根节点的关键函数。它的主要作用是设置相关的优先级和状态，然后调…...

编程日记 2025/7/4 16:43:47

单例模式

设计模式（Design Pattern）说白了就是一套方法论，是我们的前辈们不断试错总结出来的。一般意义上的设计模式有23种，分为创建型、结构型、行为型三大类。今天先拿最简单的单例模式开刀吧。六大原则在正式进入设计模式的学习之前&…...

编程日记 2025/7/4 18:22:11

如何在 Postman 中，自动获取 Token 并将其赋值到环境变量

在 Postman 中，你可以通过预请求脚本（Pre-request Script） 和测试脚本（Tests） 实现自动获取 Token 并将其赋值到环境变量，下面是完整的操作步骤： ✅ 一、创建获取 Token 的请求通常这个请求…...

编程日记 2025/7/4 18:42:29

CentOS 7 基于 Nginx 的 HTML 部署全流程指南

一、Nginx 安装（两种主流方式） 1. YUM 安装（推荐新手） # 安装 EPEL 扩展源（部分系统需要） yum install epel-release -y# 安装 Nginx yum install nginx -y# 启动并设置开机自启 systemctl start nginx s…...

编程日记 2025/6/29 9:21:41

spring-ai使用Document存储至milvus的数据结构

1、 spring:application:name: spring-ai-alibaba-rag-milvus-exampleai:dashscope:api-key: sk-xxxxxxoooooovectorstore:milvus:client:host: xxx.ooo.mmm.nnnport: 19530username: rootpassword: MilvusdatabaseName: defaultcollectionName: vector_store#初始化 collecti…...

编程日记 2025/7/4 19:04:52

Milvus（6）：Collection 管理分区、管理别名

1 管理分区分区是一个 Collection 的子集。每个分区与其父集合共享相同的数据结构，但只包含集合中的一个数据子集。本页将帮助你了解如何管理分区。 1.1 分区概述创建一个 Collection 时，Milvus 也会在该 Collection 中创建一个名为_default 的分区。…...

编程日记 2025/7/4 18:46:44

关于Safari浏览器在ios＜16.3版本不支持正则表达式零宽断言的解决办法

异常原因今天在升级Dify版本的时候发现低版本的ios手机出现了以下报错： SyntaxError: Invalid regular expression: invalid group specifier nameError: Invalid regular expression: invalid group specifier name Call Stack 46 eval [native code] (0:0) ./n…...

编程日记 2025/6/29 9:21:29

设计模式--建造者模式详解

建造者模式建造者模式也属于创建型模式，它提供了一种创建对象的最佳方式定义：将一个复杂对象的构建和它的表示分离，使得同样的构建过程可以创建不同的表示（假设有不同的建造者实现类，可以产生不同的产品&#xff09…...

编程日记 2025/6/29 10:43:54

玩转Docker | Docker部署LMS轻量级音乐工具

玩转Docker | Docker部署LMS轻量级音乐工具前言一、LMS介绍LMS简介主要特点二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署LMS服务下载镜像创建容器创建容器检查容器状态检查服务端口安全设置四、访问LMS服务访问LMS首页注册账号五、基本使用上传音乐文…...

编程日记 2025/7/4 19:06:22

【前端】【业务场景】【面试】在前端项目中，当涉及大量数据渲染时，如何提高渲染性能并避免页面卡顿？

大量数据渲染性能优化：四层进阶法循序渐进：先限量 → 再懒渲 → 后分批 → 终极后台协作 1 虚拟滚动：一次只保留“看得见”的节点核心思路：固定容器高度，让滚动条滚动 假象 的总长度；可视窗口内…...

编程日记 2025/6/29 11:59:29

数据结构与算法实战：从理论到落地的深度探索

放在前面咯数据结构与算法实战：从理论到落地的深度探索数据结构与算法实战：从理论到落地的深度探索在计算机科学的浩瀚宇宙中，数据结构与算法犹如璀璨星辰，指引着高效程序设计的方向。它们不仅是开发者解决复杂问题的核心利…...

编程日记 2025/6/29 10:19:53

大文件上传Demo及面试要点

大文件上传功能实现原理 - 面试解析在面试中解释大文件上传功能的实现原理时，可以从以下几个方面进行说明： 1. 分片上传 (Chunked Upload) 实现原理 ： 前端将大文件分割为固定大小(如5MB)的多个分片(Chunk)每个分片独立上传，…...

编程日记 2025/6/29 9:21:31

安宝特案例 | 物流仓储头部企业应用AR+作业流，规范日常安全点检，保障消防安全

安全点检管理的真实性缺失将会造成极大损失。仓储物流行业有仓库面积大、货物堆放密集、包装材料易燃、整体货值高的特点，且造成火灾的隐患包括建筑结构隐患、消防设置失效、货物存放与操作隐患、电气系统问题、人为因素等，因此安全管理被放在重要位置…...

编程日记 2025/6/29 10:19:35

关于 xpath 查找 XML 元素的一点总结

测试环境 Win7 64 python 3.4.0 实践出真知代码如下，更换不同的 xpath，和 response_to_check 进行测试实验 1 xpath ".//xmlns:return//xmlns:copeWith" response_to_check \ <soap:Envelope xmlns"http://www.examp.com…...

编程日记 2025/6/29 9:21:22

JavaScript学习教程，从入门到精通，XMLHttpRequest 与 Ajax 请求详解（25）

XMLHttpRequest 与 Ajax 请求详解一、XMLHttpRequest 概述 XMLHttpRequest (XHR) 是一个 JavaScript API，用于在浏览器和服务器之间传输数据，而无需刷新页面。它是实现 Ajax (Asynchronous JavaScript and XML) 技术的核心。主要特点： …...

编程日记 2025/7/3 10:44:01

HTML、XHTML 和 XML区别

HTML、XHTML 和 XML 这三兄弟的区别 HTML: 老大哥，负责网页长啥样，性格比较随和，有点小错误也能容忍。XHTML: 二哥，看着像 HTML，但规矩严，是按 XML 的规矩来的 HTML，更规范。XML: 小弟&#xf…...

编程日记 2025/6/29 9:21:23

形象解释 HTTP 的四种常见请求方式及其中的区别联系

HTTP 的常见请求方式常见的有四种：GET、POST、PUT、DELETE，它们各自的功能不一样。 🍜 场景比喻：HTTP 请求像“去餐厅点菜” 请求方式行为餐厅比喻说明GET获取数据看菜单/问服务员：你们有什么菜？不带食材、…...

编程日记 2025/6/29 10:28:55

微信小程序根据图片生成背景颜色有效果图

效果图取得是图片中间10个像素算出背景颜色 .wxml <canvas type"2d" id"imageCanvas" style"--w: {{w}}px;--h: {{h}}px;" /> <view style"background: {{backgroundColor}};"><image bind:tap"updateIndex&qu…...

编程日记 2025/6/29 10:04:54

实时步数统计系统 kafka + spark +redis

基于微服务架构设计并实现了一个实时步数统计系统，采用生产者-消费者模式，利用Kafka实现消息队列，Spark Streaming处理实时数据流，Redis提供高性能数据存储，实现了一个高并发、低延迟的数据处理系统，支持多…...

编程日记 2025/6/29 9:21:45

使用 Docker 安装 SQL Server 2022 并解决 Navicat 连接问题

在使用 Docker 安装 SQL Server 时，很多人可能遇到过无法通过 Navicat 等数据库客户端连接到容器的情况。尤其是尝试使用 mcr.microsoft.com/mssql/server:2022-latest 镜像时，可能会发现 Navicat一直转圈，无法连接到数据库。在这篇博客中&am…...

编程日记 2025/6/29 12:09:31

使用 Node、Express 和 MongoDB 构建一个项目工程

本文将详细介绍如何使用 Node.js Express MongoDB 构建一个完整的 RESTful API 后端项目，涵盖： 项目初始化 Express 服务器搭建 MongoDB 数据库连接 REST API 设计（CRUD 操作） 错误处理与中间件源码结构与完整代码部署建…...

编程日记 2025/6/29 12:25:13

基本元器件电阻、电容、电感的高频知识和大厂真题解析

本文首先举例分析各个方向的工程师如何定制化准备硬件岗位面试，各个击破；然后根据实战经验总结硬件领域中电阻电容电感等的主要笔试、面试高频考题考点；最后，列出最新最全的基本元器件笔试面试的真题和模拟题，供大家参考。本专栏预计更新50期左右。当前第3期一、硬件…...

编程日记 2025/6/29 9:22:56

Unity InputSystem触摸屏问题

最近把Unity打包后的windows软件放到windows触摸屏一体机上测试，发现部分屏幕触摸点击不了按钮，测试了其他应用程序都正常。这个一体机是这样的，一个电脑机箱，外接一个可以触摸的显示屏，然后UGUI的按钮就间歇性点不了…...

编程日记 2025/6/29 11:02:54

分布式微服务架构,数据库连接池设计策略

在分布式微服务架构中，数据库连接池的设计远比单体应用复杂，涉及资源隔离、连接管理、性能调优和高可用等问题。下面是面向专业软件架构师的系统化分析与策略建议： 一、核心挑战每个服务独立运行，连接池分散每个微服务维护自己的…...

编程日记 2025/6/29 10:31:07

差分信号抗噪声原理：

差分信号抗噪声原理： 差分信号除了能很好地解决发送和接收参考点电位不同的问题外，差分信号的另一个重要优势就是在一定条件下其抗干扰能力比单端信号更强。对于单端信号传输，外界对它的干扰噪声直接叠加在信号上，接收端直接检测输…...

编程日记 2025/6/29 11:13:23

【数据分析】酵母实验多指标数据的 R 语言分析与可视化

禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者! 文章目录介绍加载必要的R包数据下载定义函数发育分析（development analysis）数据导入与预处理数据子集创建绘图模型分析两两比较生存分析（survival analysis）数据导入与预处理数据子集创建绘…...

编程日记 2025/6/29 11:30:03

AI | 最近比较火的几个生成式对话 AI

关注：CodingTechWork 引言生成式对话 AI 正在迅速改变我们与机器交互的方式，从智能助手到内容创作，其应用范围广泛且深远。本文将深入探讨几款当前热门的生成式对话 AI 模型，包括 Kimi、DeepSeek、ChatGPT、文心一言、通义千问和…...

编程日记 2025/6/29 11:25:12

将视频生成视频二维码步骤

如何将视频链接生成二维码生成与视频关联的二维码通常涉及以下几个方面：选择合适的库或工具、准备视频链接以及将其转换为二维码图像。以下是详细的说明： 使用JavaScript/Vue框架生成二维码在前端开发中，可以使用 qrcode 或者 vue-qrcod…...

编程日记 2025/6/29 19:37:06

以安科瑞 EMS3.0 为依托，打造网荷储充一体化典范

在“双碳”目标与能源革命的浪潮中，安科瑞电气股份有限公司推出的EMS3.0微电网智慧能源平台，以“源-网-荷-储-充”全链路协同为核心，通过物联网、大数据与AI技术的深度融合，为企业提供了一套智能化、高效化、低碳化的能源管理解决…...

编程日记 2025/6/29 11:09:34

堆和二叉树--数据结构初阶(3)(C/C++)

文章目录前言理论部分堆的模拟实现:(这里举的大根堆)堆的创建二叉树的遍历二叉树的一些其他功能实现作业部分前言这期的话讲解的是堆和二叉树的理论部分和习题部分理论部分二叉树的几个性质:1.对于任意一个二叉树，度为0的节点比度为2的节点多一个 2.对于完全…...

编程日记 2025/6/29 11:24:45

CLIP和SimCLR集成到图像-文本检索系统技术实现步骤和部署方案（代码版）

将 CLIP（多模态对比学习）和 SimCLR（单模态对比学习）集成到图像-文本检索系统（如搜索引擎、电子商务平台）的技术实现步骤和部署方案，结合代码示例与工程化思路： ### 一、技术实现核心步骤 1. 环境搭建与依赖安装 # 安装 PyTorch（支持 GPU 加速） pip install torch…...

编程日记 2025/6/29 9:23:12

R/G-B/G色温坐标系下对横纵坐标取对数的优势

有些白平衡色温坐标系会分别对横纵坐标取对数运算。这样做有什么优势呢？我们知道对数函数对0-1之间的因变量值具有扩展作用。即自变量x变化比较小时，经过对数函数作用后可以把因变量扩展到较大范围内，即x变化较小时，y变化较大，增加了识别数据的识别性。由于Raw数据中的…...

编程日记 2025/6/29 9:21:21

Java开发工具IntelliJ IDEA v2025.1——全面支持Java 24、整合AI

IntelliJ IDEA 是由 JetBrains 开发的智能 Java IDE，提供代码自动补全、重构工具、框架集成（Spring/JPA 等）、数据库工具和调试支持，通过深度代码分析与跨语言功能优化企业级开发流程，被广泛认可为专业 Java 开发者的高…...

编程日记 2025/7/3 10:30:20

IDEA启动报错Failed to create JVM. JVM path的解决办法

今天修改了 IntelliJ IDEA 2023.1 的配置文件 idea64.exe.vmoptions 后启动报错： if you already hava a JDK installed, define a JAVA_HOME variable in Computer > Systen Properties > System Settings > Environment Variables.Failed to create JV…...

编程日记 2025/7/3 15:15:32

R语言中的常用内置函数

常用的数值函数常用的字符函数与概率分布相关的函数有用的统计函数数据来源:《数据挖掘与数据分析：基于R语言》王阳 2024年1月出版...

编程日记 2025/6/29 9:21:49

docker容器监控自动恢复

关于实现对docker容器监控以及自动恢复，这里介绍两种实现方案。方案1： 实现思路： 找到（根据正则表达式）所有待监控的docker容器，此处筛选逻辑根据docker运行状态找到已停止（Exit）类…...

编程日记 2025/6/29 9:21:36

【记录手贱bug日常】IDEA 配置vmoptions后打不开，重新安装，删注册表均无用

今天早上来公司，闲着没事优化优化自己的"锄头"idea，然后想着看看idea用的啥垃圾回收器，后来手动改成了-XX:UseG1GC，满心欢喜觉得没什么问题，直接删除缓存重启，结果不出意料的出问题了&#xff0c…...

编程日记 2025/6/29 9:21:35

STM32F407使用ESP8266实现阿里云OTA（中）

文章目录前言一、程序分析二、程序讲解1. main函数2. Get_Version()函数3. esp_Init()函数4. Check_Updata()函数结语前言从上一章STM32F407使用ESP8266实现阿里云OTA（上）中我们已经对连接阿里云和从阿里云获取升级包的流程非常的熟悉了。所以本章我们进行STM32的程序开发…...

编程日记 2025/6/29 10:57:44

如何利用快照与备份快速恢复服务器的数据

在服务器上利用**快照（Snapshot）**和**备份（Backup）**快速恢复数据，可显著减少停机时间并确保业务连续性。以下是具体操作步骤和最佳实践： --- ### **1. 快照（Snapshot）恢复** **适…...

编程日记 2025/6/29 10:50:20