当前位置：首页 > news >正文

Flink 通过 Chunjun Oracle LogMiner 实时读取 Oracle 变更日志并写入 Doris 的方案

news 来源：原创 2025/8/7 6:53:55

文章目录

一、技术背景
二、关键技术
- 1、 Oracle LogMiner
- 2、 Chunjun 的 LogMiner 关键流程
- 3、修复 Chunjun Oracle LogMiner 问题

一、技术背景

在大数据实时同步场景中，需要将 Oracle 数据库的变更数据（CDC） 采集并写入 Apache Doris，以支持 数据分析、BI 报表、实时数据仓库 等应用。

本方案基于 Flink + Chunjun，通过 Oracle LogMiner 解析 Redo Log，实现 低延迟 写入Doris。

二、关键技术

1、 Oracle LogMiner

LogMiner 是 Oracle 提供的 redo log 解析工具，用于跟踪 INSERT、UPDATE、DELETE 操作。

使用LogMiner需要现在Oracle中开启，具体开启操作见：Oracle配置LogMiner

2、 Chunjun 的 LogMiner 关键流程

Chunjun（原 FlinkX）是 Flink 生态的数据同步框架，支持多种数据源连接器（如 Oracle、MySQL、PostgreSQL、Doris）。
其中 Chunjun Oracle LogMiner Source 用于解析 Oracle Redo Log 并转换为 Flink 数据流。

如下整个流程架构：

在这里插入图片描述

Flink任务启动后

通过Chunjun的oracle logMiner连接器， 建立 Oracle 连接，启动 LogMiner 解析 Redo Log。
实时监听 V$LOGMNR_CONTENTS，解析变更数据并转换为 Flink 事件流。具体地会将Oracle不同的操作日志解析为如下数据类型即重放数据操作，
Flink 任务处理数据，完成转换、清洗等操作。
Flink Sink 组件（Chunjun Doris Sink）将数据写入 Doris。

操作类型	before（旧数据）	after（新数据）	Flink 处理逻辑
INSERT	无	`{新数据}`	直接插入
UPDATE	`{旧数据}`	`{新数据}`	先删除旧数据，再插入新数据
DELETE	`{旧数据}`	无	删除数据

最后如下示例flink sql：


CREATE TABLE source  
(  ID             int,  NAME          string  
) WITH (  'connector' = 'oraclelogminer-x'  ,'url' = 'jdbc:oracle:thin:@//xxx:1521/ORCL'  ,'username' = 'system'  ,'password' = 'xxx'  ,'cat' = 'insert,delete,update'  ,'table' = 'TEST.TEST_USER'  ,'timestamp-format.standard' = 'SQL'  );  CREATE TABLE sink  
(  k4             int,  k3          string  
) WITH (  
'connector' = 'doris-x',  
'schema'='demo',  'password' = 'xxx',  'table-name' = 'mytable',  'url' = 'jdbc:mysql://xxx:9030',  'username' = 'root',  'sink.parallelism' = '1',  'lookup.error-limit' = '100',  'lookup.cache-type' = 'LRU',  'lookup.parallelism' = '1',  'lookup.cache.ttl' = '60000',  'lookup.cache.max-rows' = '10000',  'writeMode'='UPSERT'  );  insert into sink  
select ID as k4, NAME as k3  
from source;

3、修复 Chunjun Oracle LogMiner 问题

在实际使用中，Chunjun Oracle LogMiner 会遇到以下问题：

关于全量增量读数据的问题

//LogMinerConfig，没有全量同步的外部配置，默认是增量读取数据
private boolean enableFetchAll = true;

无法获取监听的表

//LogMinerListener 中的LogMinerConfig没有set table的地方，
//即无法获取被监听的表，改成直接获取
logMinerConfig.getListenerTables();

PavingData和Split 不能同时开启，默认都开启，将PavingData关闭

Flink 通过 Chunjun Oracle LogMiner 实时读取 Oracle 变更日志并写入 Doris 的方案

文章目录一、技术背景二、关键技术1、 Oracle LogMiner2、 Chunjun 的 LogMiner 关键流程3、修复 Chunjun Oracle LogMiner 问题一、技术背景在大数据实时同步场景中，需要将 Oracle 数据库的变更数据（CDC） 采集并写入 Apache Doris&am…...

编程日记 2025/8/7 6:53:55

若依（RuoYi）框架新手使用指南

若依（RuoYi）框架新手使用指南若依（RuoYi）是一款基于 Spring Boot Vue 的前后端分离企业级开发框架，集成了权限管理、代码生成、监控日志等核心功能，适用于快速构建中后台管理系统。以下是详细的使用指南…...

编程日记 2025/8/7 6:48:54

k8s-coredns-CrashLoopBackOff 工作不正常

本文作者： slience_me 问题描述 # 问题描述 # rootk8s-node1:/home/slienceme# kubectl get pods --all-namespaces # NAMESPACE NAME READY STATUS RESTARTS AGE # kube-flannel kube-flannel-ds-66bcs …...

编程日记 2025/8/7 6:46:41

【css酷炫效果】纯CSS实现粒子旋转动画

【css酷炫效果】纯CSS实现粒子旋转动画缘创作背景html结构css样式完整代码效果图想直接拿走的老板，链接放在这里：https://download.csdn.net/download/u011561335/90492008 缘创作随缘，不定时更新。创作背景刚看到csdn出活动了&…...

编程日记 2025/8/3 23:40:24

SQL 通配符

SQL 通配符在SQL查询中，通配符是一种非常有用的特性，它允许用户在查询时使用特殊字符来匹配一系列的值。本文将详细介绍SQL中的通配符及其用法，帮助读者更好地理解如何在SQL查询中使用通配符。 1. 什么是通配符？ 通配符是SQL查…...

编程日记 2025/8/4 19:16:51

【工具】C#防沉迷进程监控工具使用手册

一、软件简介本工具用于监控指定进程的运行时长，当达到预设时间时通过声音、弹窗、窗口抖动等方式进行提醒，帮助用户合理控制程序使用时间。软件在上篇文章。二、系统要求 Windows 7/10/11.NET Framework 4.5 或更高版本三、快速入门 1. 配置文件…...

编程日记 2025/8/4 18:05:59

4.数据结构-树和二叉树

树和二叉树 4.1树和二叉树的定义4.1.1树的定义4.1.2树的基本术语4.1.3二叉树的定义 4.2二叉树的性质和存储结构4.2.1二叉树的性质4.2.1二叉树的存储结构顺序存储链式存储 4.3遍历二叉树和线索二叉树4.3.1遍历二叉树根据遍历序确定二叉树先序序列创建二叉链表复制二叉树计算二叉…...

编程日记 2025/8/6 7:28:04

【工作记录】F12查看接口信息及postman中使用

可参考详细教程：如何从前端查看调用接口、传参及返回结果（附带图片案例）_f12查看接口及参数-CSDN博客 1、接口信息接口基础知识2：http通信的组成_接口请求信息包括-CSDN博客 HTTP类型接口之请求&响应详解 - 三叔测试笔记…...

编程日记 2025/8/4 17:26:58

k8s搭建kube-prometheus

后续再补一个k8s集群搭建的博客，从0开始搭建k8s集群。使用kube-prometheus非常方便，主要问题只在于拉取镜像。除了拉取镜像外其他时间5分钟即可。耐心等待拉取镜像。一.kube-prometheus简介 kube-prometheus 是一个专为 Kubernetes 设计的开源监控解决…...

编程日记 2025/8/6 14:15:11

Linux应用：Linux的信号

什么是信号信号是一种软件中断，用于通知进程系统中发生了某种特定事件。它是操作系统与进程之间，以及进程与进程之间进行异步通信的一种方式。在 Linux 系统中，信号是一种比较简单的进程间通信机制。当一个信号产生时，内核会通过…...

编程日记 2025/8/4 5:33:52

C++特性——RAII、智能指针

RAII 就像new一个需要delete，fopen之后需要fclose，但这样会有隐形问题（忘记释放）。RAII即用对象把这个过程给包起来，对象构造的时候，new或者fopen，析构的时候delete. 为什么需要智能指针对于…...

编程日记 2025/8/4 5:29:24

springboot项目，指定用alibaba连接池所需要的配置

1、依赖：引入相关的两个依赖 2、application.yml...

编程日记 2025/7/25 12:18:09

在本地跑通spark环境

官网下载spark 下载spark 解压就好本地配置环境变量配置环境变量（系统环境变量） 新增 SPARK_HOME 变量名：SPARK_HOME 变量值：F:\class\spark\Spark_env\spark-3.4.4-bin-hadoop3 配置 PATH，新增如下&#xff1a…...

编程日记 2025/8/3 4:13:25

python-56-基于Vue和Flask进行前后端分离的项目开发示例实战

文章目录 1 创建Vue前端项目1.1 运行demo1.2 实现需求2 flask部署上述dist(前后端未分离)2.1 代码app.py2.2 运行访问3 nginx部署(前后端分离)3.1 nginx前端服务3.3.1 windows安装nginx3.3.2 修改nginx.conf配置文件3.3.3 启动nginx3.3.3 停止nginx3.2 启动后端服务3.2.1 app.p…...

编程日记 2025/8/6 14:55:21

报错问题： No input file specified. 伪静态 location / {if (!-e $request_filename) { rewrite ^(.*)$ /index.php/$1 last;break;} } location / { if (!-e $request_filename) { rewrite ^(.*)$ /index.php/$1 last; break; } } 设…...

编程日记 2025/8/6 0:46:19

学习C2CRS Ⅳ (Conversational Recommender Model)

C2CRS_Model C2CRS_Model 是一个用于对话推荐系统（Conversational Recommender System, C2CRS）的端到端模型。该模型结合了知识图谱（KG）、上下文信息、用户表示和对话生成等多个模块，以实现高效的推荐和对话功能。它通过以下模块实现：用户表示模块（CoarseFineDRUserMo…...

编程日记 2025/8/4 9:20:46

【工具】huggingface 模型下载过程

前述记录下自己下载模型的几种方式方式 1、网页直接浏览器下载： 简单，但是随时可能断 2、git lfs # 拉代码 GIT_LFS_SKIP_SMUDGE1 git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0 # 进入目录 cd stable-diffusion-…...

编程日记 2025/8/5 10:41:20

空调遥控器低功耗单片机方案

RAMSUN空调遥控器采用先进的32位低功耗单片机作为核心控制器，通过优化软件算法和硬件设计，实现了空调遥控器的低功耗运行。单片机集成了多种功能模块，包括红外发射、按键扫描、电源管理等，有效降低了整体功耗。同时，该…...

编程日记 2025/8/2 22:54:17

K8S学习之基础三十五：k8s之Prometheus部署模式

Prometheus 有多种部署模式，适用于不同的场景和需求。以下是几种常见的部署模式： 1. 单节点部署这是最简单的部署模式，适用于小型环境或测试环境。特点： 单个 Prometheus 实例负责所有的数据采集、存储和查询。配置简单&…...

编程日记 2025/8/4 3:52:37

Agent toolkits集成指南

文章目录 CSV Agent的集成Pandas Dataframe Agent的集成PowerBI Dataset Agent的集成Agent toolkits的集成旨在简化并增强LLM应用中的数据处理和分析功能。CSVAgent提供了一个专门的工具，允许开发者处理CSV数据。Pandas Agent则集成了Pandas框架，赋予了开发者在应用中进行高效…...

编程日记 2025/7/31 14:23:53

蓝桥杯关于字符串的算法题目（leetcode回文串的判断问题）

文章目录 1.题目概述2.思路分析3.代码解析 1.题目概述这个题目主要是需要我们找到回文串，这个回文实际上就是文学里面的这个修辞手法，在这个编程的时候：大概说的就是这个字符串从左向右个从右向左都是一样的这个效果，我们把这样…...

编程日记 2025/8/5 11:51:57

数据结构-----队列

顺序队列（Queue） 一、队列核心概念 1. 基本特性先进先出（FIFO）：最早入队的元素最先出队操作限制： 队尾（Rear）：唯一允许插入的位置队头（Front）&…...

编程日记 2025/8/3 18:32:10

GitHub Copilot 在 VS Code 上的终极中文指南：从安装到高阶玩法

GitHub Copilot 在 VS Code 上的终极中文指南：从安装到高阶玩法前言 GitHub Copilot 作为 AI 编程助手，正在彻底改变开发者的编码体验。本文将针对中文开发者，深度解析如何在 VS Code 中高效使用 Copilot，涵盖基础设置、中文优化…...

编程日记 2025/8/3 6:20:47

深入理解 RLP 编码与 JSON：原理、应用与比较

在区块链和数据存储领域，RLP（Recursive Length Prefix）编码和**JSON（JavaScript Object Notation）**是两种重要的数据编码方式。它们分别适用于不同的应用场景，并具有不同的优缺点。本文将系统性地分析 RLP…...

编程日记 2025/8/5 4:34:21

AI大白话（三）：深度学习——AI的‘大脑‘是如何构建的？

🌟引言：专栏：《AI大白话》 AI大白话（一）：5分钟了解AI到底是什么？ AI大白话（二）：机器学习——AI是怎么“学习“的？大家好！继前两篇介绍AI基础和机器学习的文章后，今天我们来聊聊深度学习——这个让AI技术近年来突飞猛进的"神奇引擎"。别担心，我会用…...

编程日记 2025/8/5 18:38:48

初识R语言饼状图

目录基础饼图标签个性化边界修改密度条纹边框颜色基础饼图 rm(list ls())# Create Data Prop <- c(3,7,9,1,2) # Make the default Pie Plot P1 <- pie(Prop) dev.off() 标签个性化 P2 <-pie(Prop , labels c("Gr-A","Gr-B","…...

编程日记 2025/7/31 21:05:41

[DeepRetrieval] 用DeepSeek-R1-Zero的思路教会模型怎么用搜索引擎找文本

前段时间很火的 DeepSeek-R1-Zero，通过这种方式既然能增强模型的推理能力，那是否可以在RAG的方面上增强文本的召回呢？ 今天带来一篇关于这个方面工作的技术报告来分享一下。技术报告： https://arxiv.org/pdf/2503.00223 原文链接…...

编程日记 2025/8/6 16:10:37

⭐算法OJ⭐二叉树的后序遍历【树的遍历】（C++实现）Binary Tree Postorder Traversal

⭐算法OJ⭐二叉树的中序遍历【树的遍历】（C实现）Binary Tree Inorder Traversal ⭐算法OJ⭐二叉树的前序遍历【树的遍历】（C实现）Binary Tree Preorder Traversal Given the root of a binary tree, return the postorder traver…...

编程日记 2025/8/5 19:25:55

【LeetCode 热题100】 234. 回文链表的算法思路及python代码

234. 回文链表给你一个单链表的头节点 head ，请你判断该链表是否为回文链表。如果是，返回 true；否则，返回 false 。示例 1： 输入：head [1,2,2,1] 输出：true示例 2： 输入&…...

编程日记 2025/8/5 8:37:01

Grid布局示例代码

示例一 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Grid Layout Example</title><styl…...

编程日记 2025/8/4 12:10:48

【K8S】ImagePullBackOff状态问题排查。

ImagePullBackOff 是在使用 Kubernetes（K8s）时经常遇到的一种错误状态，下面为你详细介绍其含义、可能的原因及解决办法。含义当你在 K8s 集群中创建一个 Pod 时，Kubelet 会尝试从指定的镜像仓库拉取所需的容器镜像。如果拉取镜…...

编程日记 2025/8/6 5:11:11

在 Kubernetes（k8s）部署过程中常见的问题

在 Kubernetes（k8s）部署过程中，常见的问题主要包括以下几类，以下是具体示例及简要说明： 1. 资源配额不足（Resource Quota）现象：Pod 处于 Pending 状态，事件日志显示 Insufficient CPU/Memory。原因：节点（Node）资源不足，无法满足 Pod 的 requests 或 limits。命…...

编程日记 2025/8/6 13:22:18

微信小程序状态管理与计算属性同时使用：miniprogram-computed 和 mobx-miniprogram

两个框架扩展提供的 ComponentWithStore 与 ComponentWithComputed 方法无法结合使用。如果需要在一个组件中既想使用 mobx-miniprogram-bindings 又想使用 miniprogram-computed解决方案是： 使用旧版 API 自定义组件仍然使用 Component 方法构建组件，将…...

编程日记 2025/8/3 16:41:35

Redis设置开机自启报错start-limit-hit

Redis设置开机自启报错start-limit-hit 问题：在银河麒麟服务器上编译安装了redis后设置systemctl开机自启报错start-limit-hit 如何解决？ 因为开机自启的需求是后面新增的，所以一开始使用的是命令启动，使用命令启动就会直接在前台…...

编程日记 2025/8/4 21:20:29

[数据结构]排序之归并排序（有详细的递归图解）

一、非递归基本思想： 归并排序（ MERGE-SORT ）是建立在归并操作上的一种有效的排序算法 , 该算法是采用分治法（ Divide andConquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列&#x…...

编程日记 2025/8/4 13:07:44

pdf文件分页按需查看

pdf预览本来打算粗暴点，一次性查看全部，但是一个pdf四五百页导致手机端查看超出内存直接崩掉，崩掉会导致页面疯狂刷新，所以不得不进行优化解决思路大致如下： canvas转为blob格式以图片的形式加载在页面（B…...

编程日记 2025/8/2 21:41:57

栈/堆/static/虚表

在 C 里，栈空间主要用来存放局部变量、函数调用信息等。下面为你介绍栈空间在 C 里的运用方式。 1. 局部变量的使用在函数内部定义的变量会被存于栈空间，当函数执行结束，这些变量会自动被销毁。 #include <iostream>void exampleFu…...

编程日记 2025/8/3 15:46:21

计算机网络技术服务管理基于Spring Boot-SSM

目录一、引言二、用户需求分析三、功能介绍 ‌‌3.1.资源管理‌： ‌3.2.故障管理‌： ‌3.3.性能管理‌： ‌3.4.安全管理‌： ‌3.5.配置管理‌： ‌3.6.日志管理‌： ‌3.7.用户管理‌&#xff1…...

编程日记 2025/8/5 8:38:39

Redisson 分布式锁原理

加锁原理 # 如果锁不存在 if (redis.call(exists, KEYS[1]) 0) then# hash结构,锁名称为key,线程唯一标识为itemKey，itemValue为一个计数器。支持相同客户端线程可重入,每次加锁计数器1.redis.call(hincrby, KEYS[1], ARGV[2], 1);# 设置过期时间redis.call(pexpi…...

编程日记 2025/8/5 11:35:05

LLM(5)：了解 GPT 架构

1.6 对 GPT 架构的更深入了解 GPT 最初由 OpenAI 的 Radford 等人在论文《通过生成式预训练提高语言理解能力》中提出。GPT-3 是该模型的扩展版本，具有更多的参数，并且使用了更大的数据集进行训练。此外，ChatGPT 中提供的原始模型是通过在大…...

编程日记 2025/8/6 9:12:40

Android Zygote 启动流程梳理

和你一起终身学习，这里是程序员Android 本篇文章主要介绍 Android Zygote 启动分析知识点，通过阅读本篇文章，您将收获以下内容: 一、Android 系统基本服务二、虚拟机创建和第一个Java 程序引导三、Dalvik 虚拟机基本配置四、Zygote 启动流程…...

编程日记 2025/7/27 1:47:49

华为OD机试-绘图机器-双指针（Java 2025 A卷 100分）

题目描述绘图机器的绘图笔初始位置在原点 (0, 0)。机器启动后按照以下规则绘制直线：尝试沿着横坐标正向绘制直线，直到给定的终点 E。期间可以通过指令在纵坐标轴方向进行偏移，offsetY 为正数表示正向偏移，为负数表示负向偏移。给定的横坐标终点值 E 以及若干条绘制指令，…...

编程日记 2025/8/5 7:08:02

ESP32（1）基于ESP32的lwIP了解

ESP32-S3 是一款集成了 Wi-Fi 和蓝牙功能的微控制器，而 lwIP（轻量级 IP）是一个为嵌入式系统设计的开源 TCP/IP 协议栈。通过使用 lwIP 库， ESP32-S3 可以实现与外部网络的通信，包括发送和接收数据包、处理网络连接等。…...

编程日记 2025/8/4 10:38:57

C语言预处理详解

目录 （一）预处理符号 （二）define定义常量和宏 （三）#符号和##符号 （四）undef符号的条件编译 （五）头文件的包括 （一）预处理符号在…...

编程日记 2025/7/31 7:59:00

python实现接口自动化

代码实现自动化相关理论代码编写脚本和工具实现脚本区别是啥? 代码： 优点：代码灵活方便缺点：学习成本高工具： 优点：易上手缺点：灵活度低，有局限性。总结： 功能脚本：工…...

编程日记 2025/8/3 10:07:32

当Anaconda的安装路径与我想创建的conda虚拟环境路径不一致时，应该怎么操作？

我的anaconda安装在该路径：D:\Program\anaconda3 , 如果我想在F盘创建一个虚拟环境应该怎么做呢？ 若你想在 F 盘创建 Anaconda 虚拟环境，可使用 conda create 命令，并通过 --prefix 参数指定环境路径。以下是详细步骤&#xff1…...

编程日记 2025/8/5 5:09:55

MongoDB慢日志查询及索引创建

MongoDB 的慢日志（Slow Query Log）对于运维和程序员来说都非常重要，因为它直接关系到数据库的性能和应用程序的稳定性。以下分享介绍下MongoDB慢日志查询及索引创建相关的一些笔记。一，准备 1. 使用 db.currentOp() 实时监控 …...

编程日记 2025/7/31 4:24:24

C语言指针（详细总结）

目录 1.初始C指针几个重要的概念： 指针的加减 &与* 二级指针 2.指针与数组指针数组数组指针变量一维数组与二维数组传参的本质编辑编辑编辑 3.指针与函数函数指针数组 4.指针与结构体 5.野指针以及常见的内存管理错误常见的内存错…...

编程日记 2025/8/5 22:22:54

服务器部署Kong和Konga过程

前言最近在想怎么将一个接口给外部提供服务，并且可以根据和对放的关系，设置不同的期限或者服务大小？并且有友好的可视化页面！这让我了解到了 API 网关，所以我开始研究 Kong 和 Konga 的使用。实际上我最开始研究的apisix，但是部署了好久因为etcd不支持 http 无法连接…...

编程日记 2025/8/4 1:06:24

stm32第五天按键的基础知识

一：按键连接示意图按键控制LED灯软件设计流程初始化系统 o 初始化GPIO外设时钟 o 初始化按键和LED的引脚 • 检测按键输入电平来控制LED灯 o SW2控制灯开。 SW3控制灯关 1：key.c工程 #include"key.h" #include"stm32f10x.h"v…...

编程日记 2025/8/5 22:19:42

文章目录

一、 技术背景

二、 关键技术

1、 Oracle LogMiner

2、 Chunjun 的 LogMiner 关键流程

3、修复 Chunjun Oracle LogMiner 问题

相关文章：

一、技术背景

二、关键技术