当前位置： 首页 > news >正文

记录seatunnel排查重复数据的案例分析

news 来源：原创 2025/7/22 6:40:40

文章目录

      • 背景
      • 分析
        • 检查现象
        • 检查B集群是否有异常，导致重复消费的
        • 分析同步任务
      • 修复问题
        • 发现flink job 一直报异常
        • 修复问题

背景

使用seatunnel 同步数据从A 集群kafka 同步到B集群kafka,现象是发现两边数据不一致，每天10w级别会多几十条数据

分析

检查现象

因为两侧kafka的数据同时也会写es，先检查两侧es的数据， 通过二分发现，B集群es数据确实比A集群多，多的数据检查发现是重复的数据，有记录被写了多次

检查B集群是否有异常，导致重复消费的

检查日志发现有没有写入失败，导致一批数据被重复消费的，从日志来看是没有的

分析同步任务

检查seatunnel 任务，发现没有配置semantics ，然后发又检查了客户现场的flink job ,确定有经常任务会有环境导致的重启现象，应该问题就是这了

sink {kafka {topic = "test_topic"bootstrap.servers = "localhost:9092"format = jsonkafka.request.timeout.ms = 60000semantics = EXACTLY_ONCEkafka.config = {acks = "all"request.timeout.ms = 60000buffer.memory = 33554432}}

修复问题

加上 semantics = EXACTLY_ONCE

sink {kafka {topic = "test_topic"bootstrap.servers = "localhost:9092"format = jsonkafka.request.timeout.ms = 60000kafka.config = {acks = "all"request.timeout.ms = 60000buffer.memory = 33554432}}
发现flink job 一直报异常

最后问题定位到这，官方bug导致，升级最新版本修复
sink 在一致性语义情况下报异常

修复问题

只修改sink一致性语义是不够的，还要消费b 集群kafka 的客户端的事务配置是，read_commited的

相关文章：

记录seatunnel排查重复数据的案例分析

文章目录 背景分析检查现象检查B集群是否有异常，导致重复消费的分析同步任务 修复问题发现flink job 一直报异常修复问题 背景 使用seatunnel 同步数据从A 集群kafka 同步到B集群kafka,现象是发现两边数据不一致，每天10w级别会多几十条数据 分析 检查…...

编程日记 2025/7/22 6:40:40

技术速递｜Agent 模式：对所有用户开放，并支持 MCP

作者：Isidor Nikolic 翻译/排版：Alan Wang Agent 模式正在向所有 VS Code 用户推广！它充当一个自主的配对编程助手，能够根据你的指令执行多步编码任务，例如分析代码库、提出文件修改建议以及运行终端命令。它能够响应编…...

编程日记 2025/6/29 10:16:08

实验四 Java图形界面与事件处理

实验四 Java图形界面与事件处理 ###实验目的 掌握Java语言中AWT和Swing组件的基本用法掌握Java语言中的事件处理方法掌握Java语言中事件源、监视器和处理事件的接口的概念 ###实验内容 图形用户界面设计程序(ArtFont.java)（90分） 要求：设…...

编程日记 2025/6/29 11:40:47

day2 python训练营

浙大疏锦行 python训练营介绍...

编程日记 2025/6/29 10:58:00

Linux下 REEF3D及DIVEMesh 源码编译安装及使用

目录 软件介绍 基本依赖 一、源码下载 1、REEF3D 2、DIVEMesh 二、解压缩 三、编译安装 1、REEF3D 2、DIVEMesh 四、算例测试 软件介绍 REEF3D是一款开源流体动力学框架，提供计算流体力学及波浪模型。软件采用高效并行化设计，可以在大规模处理器…...

编程日记 2025/7/9 16:22:34

堡垒机和跳板机之区别（The Difference between Fortress and Springboard Aircraft）

堡垒机和跳板机之区别 在网络安全、安全运维领域，堡垒机和跳板机是两个常被提及且功能相似的概念，但它们在实际应用、功能定位以及技术实现上存在着明显的差异。本文将对堡垒机和跳板机进行详细的解析与比较，帮助读者更好地理解这两种网络安…...

编程日记 2025/7/22 6:32:39

《Android 应用开发基础教程》——第五章：RecyclerView 列表视图与适配器机制

目录 第五章：RecyclerView 列表视图与适配器机制 5.1 为什么要使用 RecyclerView？ 5.2 基本结构图 5.3 RecyclerView 使用步骤 1️⃣ 添加 RecyclerView 依赖（Android Studio） 2️⃣ 布局文件（activity_main.xml&…...

编程日记 2025/6/29 10:32:19

【第四章】19-匹配规则定义

在优化Web服务器性能与增强其功能性的过程中，深入理解Nginx的location匹配规则显得尤为关键。它不仅决定了如何高效地路由不同类型的客户端请求，而且是实现精准响应的基础。通过掌握精确匹配、前缀匹配及正则表达式匹配等规则，管理员能够灵活配置以支持复杂的业务需求，同时…...

编程日记 2025/7/7 12:50:21

[PTA]2025CCCC-GPLT天梯赛 现代战争

来源：L1-112 现代战争-Pintia题意：给定 n m n\times m nm 的矩阵，进行 k k k 次操作，每次操作清除矩阵当前最大值所在行和所在列的全部元素，求最终矩阵。关键词：模拟(签到)题解：非常水的模拟…...

编程日记 2025/6/29 9:40:38

操作系统期中复习

未完待续----后续补充全书完整板 一、计算机系统概述 1.1操作系统的基本概念 1.1.1操作系统的概念 操作系统：是指控制和管理整个计算机系统的硬件与软件资源，合理地组织、调度计算机的工作与资源的分配，进而为用户和其他软件提供方便接口…...

编程日记 2025/6/29 10:31:36

Linux 入门十一：Linux 网络编程

一、概述 1. 网络编程基础 网络编程是通过网络应用编程接口（API）编写程序，实现不同主机上进程间的信息交互。它解决的核心问题是：如何让不同主机上的程序进行通信。 2. 网络模型：从 OSI 到 TCP/IP OSI 七层模型&…...

编程日记 2025/6/29 11:47:53

车载软件架构 --- 二级boot设计说明需求规范

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧! 旧人不知我近况，新人不知我过…...

编程日记 2025/6/29 11:13:29

在Ubuntu下用Chrony做主从机时间同步

主机 下载chrony sudo apt install chrony修改配置文件： sudo gedit /etc/chrony/chrony.conf# Welcome to the chrony configuration file. See chrony.conf(5) for more # information about usuable directives.# This will use (up to): # - 4 sources fro…...

编程日记 2025/6/29 12:11:20

开箱即用：一款带世界时钟简约好用在线时间戳转换工具源码

这款工具简直是为“时间管理大师”和“国际化玩家”量身定制！它不仅支持全球十大热门语言，还能无缝切换多时区，帮你轻松搞定时间戳和日期的转换。重点是，它完全前端实现，无需复杂后端，部署起来比泡杯咖啡还简单！开发人员可以在本地电脑运行来进行时间戳装换，还可以加Ad…...

编程日记 2025/6/29 11:19:48

代码随想录第22天：回溯算法4

一、全排列（Leetcode 46） 与组合问题不同，排列问题要注意2个特点： 每层都是从0开始搜索而不是startIndex需要used数组记录path里都放了哪些元素 class Solution:def permute(self, nums):result [] # 存储所有的排列self.back…...

编程日记 2025/7/11 10:25:01

cdq 系列 题解

从二维数点&#xff08;二维偏序&#xff09;到三维偏序。 用 cdq 分治可以解决二维数点问题。 1.洛谷 P1908 逆序对 题意 求所有数对 ( i , j ) (i,j) (i,j) 的个数&#xff0c;满足 i < j i<j i<j 且 a i > a j a_i>a_j ai​>aj​。 1 ≤ n ≤ 5 1…...

编程日记 2025/6/29 11:11:36

稳压二极管详解：原理、作用、应用与选型要点

一、稳压二极管的基本定义 稳压二极管&#xff08;齐纳二极管&#xff0c;Zener Diode&#xff09; 是一种利用反向击穿特性实现电压稳定的半导体器件。其核心特性是&#xff1a;在反向击穿时&#xff0c;两端电压几乎恒定&#xff08;Vz&#xff09;&#xff0c;且不会因电流…...

编程日记 2025/6/29 10:57:19

如何在量子计算时代保障 Sui 的安全性

量子计算的出现对依赖加密机制的系统构成了重大威胁。区块链依赖加密技术来进行身份管理、安全交易和数据完整性保护&#xff0c;而量子计算具备打破传统加密模型的能力&#xff0c;因此区块链面临特别严峻的挑战。 然而&#xff0c;Sui 天生具备“加密灵活性”&#xff0c;可…...

编程日记 2025/7/22 6:40:40

linux sysfs使用cat无显示的原因：返回值未赋值

在Linux驱动中通过sysfs定义的文件使用cat命令无显示&#xff0c;通常由以下原因导致&#xff1a; 1. show函数未正确实现 原因&#xff1a;show函数&#xff08;如show_status&#xff09;未正确填充缓冲区或返回有效字节数。 排查&#xff1a; // 错误示例&#xff1a;未写…...

编程日记 2025/7/19 22:30:01

Discuz论坛网站忘记管理员密码进不去管理中心怎么办？怎么改管理员密码？

Discuz论坛网站忘记管理员密码进不去管理中心怎么办&#xff1f;怎么改管理员密码&#xff1f;今天驰网飞飞和你分享 首先我们需要用到Discuz&#xff01;急诊箱tools.php这个文件&#xff0c;可在下载中心搜索关键词下载&#xff0c;下载好后将tools.php文件放到网站根目录&a…...

编程日记 2025/7/16 16:02:18

基于LangChain与Neo4j构建企业关系图谱的金融风控实施方案，结合工商数据、供应链记录及舆情数据，实现隐性关联识别与动态风险评估

以下是基于LangChain与Neo4j构建企业关系图谱的金融风控实施方案&#xff0c;结合工商数据、供应链记录及舆情数据&#xff0c;实现隐性关联识别与动态风险评估&#xff1a; 一、数据整合与图谱构建 多源数据融合与清洗 • 数据源&#xff1a;整合企业工商数据&#xff08;股权…...

编程日记 2025/6/29 10:26:57

数据结构第六章（五）-拓扑排序、关键路径

数据结构第六章&#xff08;五&#xff09; 图的应用&#xff08;二&#xff09;一、有向无环图二、拓扑排序1. AOV网2. 拓扑排序3. 逆拓扑排序 三、关键路径1.AOE网2.关键路径2.1 介绍2.2 关键路径的求法 总结 图的应用&#xff08;二&#xff09; 一、有向无环图 首先我们得…...

编程日记 2025/6/29 10:12:20

stc32单片机实现串口2M波特率满带宽传输

我需要实现已极高的速度用串口往上位机发送数据, 并且还不能占用mcu资源, 使用的单片机位stc32g8K64 我的方法是串口接收采用中断接收, 发送采用dma自动发送, 预先初始化16个64字节的缓冲区, 每次通过串口发送时, 先找到当前的空闲缓冲区, 然后往缓冲区里填充数据, 在dma传输完…...

编程日记 2025/7/18 10:38:24

uni-app 状态管理深度解析：Vuex 与全局方案实战指南

uni-app 状态管理深度解析&#xff1a;Vuex 与全局方案实战指南 一、Vuex 使用示例 1. 基础 Vuex 配置 1.1 项目结构 src/ ├── store/ │ ├── index.js # 主入口文件 │ └── modules/ │ └── counter.js # 计数器模块 └── main.js …...

编程日记 2025/6/29 9:40:32

STM32之DHT11温湿度传感器---附代码

DHT11简介 DHT11的供电电压为 3&#xff0d;5.5V。 传感器上电后&#xff0c;要等待 1s 以越过不稳定状态在此期间无需发送任何指令。 电源引脚&#xff08;VDD&#xff0c;GND&#xff09;之间可增加一个100nF 的电容&#xff0c;用以去耦滤波。 DATA 用于微处理器与DHT11之间…...

编程日记 2025/6/29 11:54:33

Fluent 内置双向流固耦合FSI 液舱晃荡仿真计算

本案例利用Fluent 内置双向流固耦合FSI对液舱晃荡仿真展开了计算&#xff0c;提供了一种更为便捷快速的分析方法&#xff0c;对不同杨氏模量的液舱内部构件进行分析&#xff0c;后续可以通过该案例对不同的双向流固耦合模型展开计算分析。 1 SCDM 设置 1.1 导入几何 本案例根…...

编程日记 2025/6/29 10:37:09

嵌入式开发板调试方式完全指南：串口/SSH/Telnet及其他方式对比

文章目录 &#x1f4bb;嵌入式开发板调试方式完全指南&#xff1a;串口/SSH/Telnet及其他方式对比一、为什么需要连接嵌入式开发板❓二、串口调试&#xff1a;最古老的调试方式仍在发光&#x1f3db;️2.1 什么是串口调试&#xff1f; 三、SSH/Telnet&#xff1a;网络时代的调试…...

编程日记 2025/6/29 12:29:40

JavaScript数据结构与算法实战: 探秘Leetcode经典题目

# JavaScript数据结构与算法实战: 探秘Leetcode经典题目 第一章&#xff1a;掌握LeetCode经典题目 什么是LeetCode&#xff1f; 力扣&#xff09;是一个专门为程序员提供算法题目练习的平台&#xff0c;涵盖了广泛的题目类型&#xff0c;包括数据结构、算法、数据库等多个领域。…...

编程日记 2025/6/29 11:12:55

内网穿透实践：cpolar快速入门教程

最近有个朋友联系我&#xff0c;问我有没有方法将自己做的项目让别人也能访问到&#xff0c;我寻思这不就是外网映射的事情。于是我很愉快的和他说&#xff0c;你去买个云服务器就行&#xff0c;尽管我一再和他说&#xff0c;个人新用户能有免费试用期&#xff0c;但是本着又蠢…...

编程日记 2025/7/10 6:36:14

HAL库(STM32CubeMX)——高级ADC学习、HRTIM（STM32G474RBT6）

系列文章目录 文章目录 系列文章目录前言存在的问题HRTIMcubemx配置前言 对cubemx的ADC的设置进行补充 ADCs_Common_Settings Mode：ADC 模式 Independent mod 独立 ADC 模式，当使用一个 ADC 时是独立模式，使用两个 ADC 时是双模式，在双模式下还有很多细分模式可选 ADC_Se…...

编程日记 2025/6/29 9:41:03

Kafka 详细解读

1. Producer&#xff08;生产部卷王&#xff09; 职责&#xff1a;往 Kafka 里疯狂输出数据&#xff0c;KPI 是「日抛式消息海啸」 职场人设&#xff1a; 白天开会画饼&#xff0c;深夜写周报的奋斗逼&#xff0c;口头禅是「这个需求今晚必须上线&#xff01;」代码里的「福报…...

编程日记 2025/7/19 20:55:34

Python爬虫实战：获取高考网专业数据并分析，为志愿填报做参考

一、引言 高考志愿填报是考生人生的关键节点，合理的志愿填报能为其未来发展奠定良好基础。计算机类专业作为当下热门领域，相关信息对考生填报志愿至关重要。教育在线网站虽提供丰富的计算机类专业数据，但存在反爬机制，增加了数据获取难度。本研究借助 Scrapy 爬虫技术及多…...

编程日记 2025/6/29 10:54:46

Ubuntu下展锐刷机工具spd_dump使用说明

spd_dump使用说明 源码地址&#xff1a;https://github.com/ilyakurdyukov/spreadtrum_flash 编译环境准备&#xff1a; sudo apt update sudo apt install git sudo apt install build-essential sudo apt install libusb-1.0-0-devIf you create /etc/udev/rules.d/80-spd…...

编程日记 2025/6/29 12:14:09

配置 VS Code 使用 ESLint 格式化

1、在设置里面搜索Default Formatter&#xff0c;下拉框里选择eslint 2、并勾选Enables ESlint as a formatter 3、再在settings.json文件中添加配置代码&#xff0c;如下所示&#xff1a; 1&#xff09; 、打开 VS Code 设置 快捷键&#xff1a;Ctrl ,&#xff08;Mac: ⌘ ,…...

编程日记 2025/6/29 11:03:42

极刻云搜-专业的软件网址搜索引擎

软件名&#xff1a;极刻云搜 版本&#xff1a;v1.0 软件功能&#xff1a;搜索实用软件和网址 之前有个全网爆火的软件叫搜软 但是它满屏广告而且很久都没更新了 我看也有好多人在求这门类似的软件 我就按照它扒了一个一模一样的 软件丑是丑了点 但是这个功能确实简单粗暴 因为用…...

编程日记 2025/7/10 10:19:36

android Stagefright框架

作为Android音视频开发人员&#xff0c;学习Stagefright框架需要结合理论、源码分析和实践验证。以下是系统化的学习路径&#xff1a; 1. 基础准备 熟悉Android多媒体体系 掌握MediaPlayer、MediaCodec、MediaExtractor等核心API的用法。 理解Android的OpenMAX IL&#xff08…...

编程日记 2025/6/29 11:27:18

vscode 打开新页签

目录 vscode 打开新页签 完整settings.json内容&#xff1a; vscode 打开新页签 .vscode目录中 新建settings.json 在 settings.json 文件中&#xff0c;添加或修改以下行&#xff1a; json "workbench.editor.enablePreview": false 这将禁用预览模式&#xff0…...

编程日记 2025/6/29 10:45:51

【C++编程入门】：从零开始掌握基础语法

C语言是通过对C语言不足的地方进行优化创建的&#xff0c;C在C语言之上&#xff0c;C当然也兼容C语言&#xff0c; 在大部分地方使用C比C更方便&#xff0c;可能使用C需要一两百行代码&#xff0c;而C只需要五六十行。 目录 C关键字 命名空间 缺省参数 缺省参数分类 函数…...

编程日记 2025/6/29 10:30:33

Vue中如何优雅地阻止特定标签的移除并恢复其原始位置

Vue中如何优雅地阻止特定标签的移除并恢复其原始位置 在使用 Element Plus 或 Element UI 的 <el-select> 组件时，有时我们希望根据某些条件阻止用户移除特定的标签，并且在阻止移除后将该标签重新添加到其原始位置。这在处理与子项目关联的成员时特别有用。本文将详细…...

编程日记 2025/6/29 10:43:00

基于Arduino的ESP8266连接OneNET云平台（MQTT协议 物模型）（二）连接云平台

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、前期准备1.1 硬件配置1.2 软件环境配置 二、接线三、核心代码3.1 总代码 三、最终效果总结 前言 本系列将以0基础新手视角&#xff0c;完整演示ArduinoESP…...

编程日记 2025/7/9 21:46:48

空间注意力和通道注意力的区别

空间注意力和通道注意力是深度学习中两种常见的注意力机制。 1. ​​关注维度不同​​ ​​通道注意力​​&#xff08;Channel Attention&#xff09; 对特征图的每个通道分配不同的权重&#xff0c;强调“哪些通道更重要”。例如&#xff0c;在RGB图像中&#xff0c;可能红色…...

编程日记 2025/7/19 0:53:59

git 版本提交规范

Git 提交规范&#xff08;Git Commit Message Convention&#xff09;是为了让项目的提交历史更加清晰、可读、便于追踪和自动化工具解析。常见的规范之一是 Conventional Commits&#xff0c;下面是一个推荐的格式规范&#xff1a; &#x1f31f; 提交信息格式&#xff08;Con…...

编程日记 2025/6/29 11:11:56

Linux的基础的操作指令

一.目录文件&#xff1a;在Linux中的以d开头的文件&#xff0c;就叫做目录文件(Directory): 二.普通的文件&#xff1a;在Linux中的以-r开头的文件&#xff0c;就叫做普通的文件,他们通常以.txt .cpp .c为后缀: 三.pwd:查看当前目录的绝对路径:查看当前所在位置的目录的绝对路径…...

编程日记 2025/6/29 10:03:25

级联vs端到端、全双工、轮次检测、方言语种、商业模式…语音 AI 开发者都在关心什么？丨Voice Agent 学习笔记

编者按&#xff1a; A16Z在《AI Voice Agents: 2025 Update》中提到&#xff1a; 语音是 AI 应用公司最强大的突破之一。 它是人类沟通中最频繁&#xff08;也是信息密度最高的&#xff09;形式&#xff0c;AI 也让其首次变得“可编程”。 在13期Z沙龙&#xff0c;我们聚焦AI…...

编程日记 2025/7/6 19:25:50

使用Cloudflare加速网站的具体操作步骤

要通过Cloudflare加速网站&#xff0c;您需要按照以下步骤进行设置和配置。这些步骤包括域名设置、接入Cloudflare、配置缓存和其他设置&#xff0c;以及测试网站性能。 1. 注册Cloudflare账户 访问Cloudflare官网&#xff1a;前往 Cloudflare官网。创建账户&#xff1a;点击…...

编程日记 2025/7/12 10:25:45

编译原理实验（四）———— LR(1)分析法

一、实验目的 掌握LR(1)分析法的基本原理与实现流程。通过构造LR(1)分析表&#xff0c;验证符号串是否符合给定文法规则。理解LR(1)分析中向前搜索符&#xff08;Lookahead Symbol&#xff09;的作用&#xff0c;解决移进-归约冲突。 二、实验题目 1.对下列文法&#xff0c;用…...

编程日记 2025/6/29 11:27:17

【Redis】Jedis与Jedis连接池

目录 1. Jedis 单实例连接 2. Jedis 连接池&#xff08;JedisPool&#xff09; 3. JedisPool 与 Jedis 的区别 4. JedisPool 线程安全 6. 使用 JedisPool 的注意事项 1. Jedis 单实例连接 在最简单的用法中&#xff0c;Jedis 提供了直接与 Redis 服务器连接的方式。这适合…...

编程日记 2025/7/3 23:26:52

MongoDB数据库的安装到入门使用详细讲解

本篇文章主要讲解MongoDB的安装使用教程及基础的数据库管理和操作能力的讲解，通过本篇文章您可以快速的掌握对MongDB数据库的基本认识及，基础开发能力。 一、MongoDB介绍 MongoDB是一款免费开源的非关系型数据库，该数据库适应于复杂关系的存储和管理，非常适合数据结构复杂…...

编程日记 2025/6/29 10:48:46

Argo CD

文章目录 一、什么是 Argo CD二、为什么选择 Argo CD三、Argo CD 架构1、API服务器2、存储库服务器3、应用程序控制器 四、Argo CD 的使用1、要求2、安装 Argo CD2.1、创建 argocd 命名空间2.2、部署 Argo CD2.3、验证部署是否成功 3、下载 Argo CD CLI4、发布 Argo CD 服务器5…...

编程日记 2025/6/29 9:40:46

ElementUI中checkbox v-model绑定值为布尔、字符串或数字类型

这篇博客介绍了在Vue.js中使用El-Checkbox组件时&#xff0c;如何设置和处理v-model的布尔值和类型转换。通过示例代码展示了如何设置true-label和false-label属性来改变选中状态的值&#xff0c;适用于需要特定类型&#xff08;如字符串或整数&#xff09;的场景。v-model不能…...

编程日记 2025/6/29 10:27:06