当前位置：首页 > news >正文

使用Flink CDC实现 Oracle数据库数据同步的oracle配置操作

news 来源：原创 2025/7/1 8:41:08

使用Flink CDC实现 Oracle数据库数据同步的oracle配置操作，包括开启日志归档和用户授权。

flink官方参考资料：

https://nightlies.apache.org/flink/flink-cdc-docs-master/zh/docs/connectors/flink-sources/oracle-cdc/

操作步骤：

1.启用归档日志

alter system set db_recovery_file_dest_size = 10G;

alter system set db_recovery_file_dest = '/opt/oracle/oradata/recovery_area' scope=spfile;

shutdown immediate;

startup mount;

alter database archivelog;

alter database open;

2.查看是否已经启用归档模式

显示“Archive Mode”表示已启用

archive log list;

3.创建表空间

CREATE TABLESPACE logminer_tbs DATAFILE '/opt/oracle/oradata/SID/logminer_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;

4.创建用户并授权

CREATE USER flinkuser IDENTIFIED BY flinkpw DEFAULT TABLESPACE LOGMINER_TBS QUOTA UNLIMITED ON LOGMINER_TBS;
GRANT CREATE SESSION TO flinkuser;
GRANT SET CONTAINER TO flinkuser;
GRANT SELECT ON V_$DATABASE to flinkuser;
GRANT FLASHBACK ANY TABLE TO flinkuser;
GRANT SELECT ANY TABLE TO flinkuser;
GRANT SELECT_CATALOG_ROLE TO flinkuser;
GRANT EXECUTE_CATALOG_ROLE TO flinkuser;
GRANT SELECT ANY TRANSACTION TO flinkuser;
GRANT LOGMINING TO flinkuser;
GRANT ANALYZE ANY TO flinkuser;
GRANT CREATE TABLE TO flinkuser;
GRANT LOCK ANY TABLE TO flinkuser;
GRANT ALTER ANY TABLE TO flinkuser;
GRANT CREATE SEQUENCE TO flinkuser;
GRANT EXECUTE ON DBMS_LOGMNR TO flinkuser;
GRANT EXECUTE ON DBMS_LOGMNR_D TO flinkuser;
GRANT SELECT ON V_$LOG TO flinkuser;
GRANT SELECT ON V_$LOG_HISTORY TO flinkuser;
GRANT SELECT ON V_$LOGMNR_LOGS TO flinkuser;
GRANT SELECT ON V_$LOGMNR_CONTENTS TO flinkuser;
GRANT SELECT ON V_$LOGMNR_PARAMETERS TO flinkuser;
GRANT SELECT ON V_$LOGFILE TO flinkuser;
GRANT SELECT ON V_$ARCHIVED_LOG TO flinkuser;
GRANT SELECT ON V_$ARCHIVE_DEST_STATUS TO flinkuser;

使用Flink CDC实现 Oracle数据库数据同步的oracle配置操作

使用Flink CDC实现 Oracle数据库数据同步的oracle配置操作，包括开启日志归档和用户授权。 flink官方参考资料： https://nightlies.apache.org/flink/flink-cdc-docs-master/zh/docs/connectors/flink-sources/oracle-cdc/ 操作步骤： 1.启用…...

编程日记 2025/7/1 8:41:08

mqtt.js 客户端封装

mqtt.js 客户端封装没封装前使用 const client mqtt.connect(ws://10.10.20.9:9001) onMounted(() > {const topicList []const channelCount 12for(let i 0; i < channelCount; i) {topicList.push(/test/sendImage${i 1})}client.on(connect, () > {console…...

编程日记 2025/6/28 18:52:45

www.aws.training网站的账户密码如何修改

www.aws.training网站的账户密码如何修改参加aws考试后, 账号密码如何修改呢? 是不是找了好久都找不到. 右上角, 我的账户, 点击注销. 然后会跳到页面: 点击那个网址链接, 进入新的页面,点安全: 右上角: 更改密码. 按提示来就好....

编程日记 2025/6/28 19:36:07

使用Python实现高性能数据存储

在数据驱动的时代，处理和存储海量数据已成为关键需求。高性能数据存储不仅能够确保数据的快速读写，还能提升系统的整体性能。Python作为一种灵活且功能强大的编程语言，提供了多种高效的数据存储解决方案。本文将详细介绍如何使用Python实现高…...

编程日记 2025/7/1 7:51:18

[已解决]nvm安装node.js 报错拒绝访问此应用无法在你电脑上运行

报错如下： 出错背景： 心血来潮把node删掉重新安装，想用nvm来进行管理node 出错原因： npm下载失败、下载不完整不完整的npm展示： 出错根本原因： 可能因为镜像源或者网络波动，导致node下载…...

编程日记 2025/6/30 14:47:15

图文检索（36）：Decomposing Semantic Shifts for Composed Image Retrieval

Decomposing Semantic Shifts for Composed Image Retrieval 摘要方法3.1 前期准备3.2 视觉语言表示3.3 降级过程3.4 升级过程3.5 训练和推理结论发布时间（2024 AAAI） 标题：分解语义转换以实现组合图像检索摘要语义转换网络 (SSN)&…...

编程日记 2025/7/1 8:22:19

批量计算（Batch Processing）

批量计算（Batch Processing）是一种数据处理方式，指的是将大量任务或数据分批次进行处理，而不是实时处理每一个任务。这种处理方式通常在任务之间没有依赖关系时使用，可以大大提高计算效率和资源利用率。批量计算广泛应…...

编程日记 2025/7/1 7:52:55

Linux yum-config-manager命令异常

错误信息使用 yum-config-manager命令时错误信息如下 sudo yum-config-manager \ > --add-repo \ > https://download.docker.com/linux/centos/docker-ce.repo sudo: yum-config-manager: command not found 解决办法第一步： sudo yum -y install yum-u…...

编程日记 2025/6/30 15:24:11

【C++】关联存储结构容器-set(集合)详解

目录一、基本概念二、内部实现三、常用操作 3.1 构造函数 3.2 插入操作 3.3 删除操作 3.4 查找操作 3.5 访问元素 3.6 容量操作 3.7 交换操作四、特性五、应用场景结语一、基本概念 set是C标准模板库（STL）中的一种关联容器&#xf…...

编程日记 2025/7/1 8:37:05

如何利用SPSS软件进行多组间显著性检验以abcd显示

1.SPSS软件中进行多组间的显著性检验要在SPSS软件中进行多组间的显著性检验，并以abcd显示结果，你可以按照以下步骤操作： 数据准备： 确保你的数据已经正确输入SPSS，其中每行代表一个观测值，包含至少两列&a…...

编程日记 2025/6/28 18:06:48

C++ 之计时函数总结

C 之计时函数总结总结Windows下C开发时的计时实现 1. clock() #include <time.h>　　　//引入头文件void main() {clock_t start, end;start clock();fun(); //需计时的函数end clock(); float t_cfloat(end-start)/CLOCKS_PER_SEC;cout << "func cos…...

编程日记 2025/7/1 8:05:14

仿dota2渲染--shader常见贴图含义（直观展示）

Properties {[Header(Texture)]_MainTex ("RGB:颜色 A:透贴", 2D) "white"{}_NormTex ("RGB:法线贴图", 2D) "bump" {}_MaskTex ("R:高光强度 G:边缘光强度 B:高光染色 A:高光次幂…...

编程日记 2025/7/1 8:31:33

NoSQL大数据存储技术测试（5）MongoDB的原理和使用

单项选择题第1题关于 MongoDB 集群部署下面说法不正确的是（） 已经不使用主从复制的模式在实际应用场景中， Mongodb 集群结合复制集和分片机制 MongoDB 支持自动分片， 不支持手动切分 （我的答案） 每…...

编程日记 2025/6/28 2:00:16

视图、转发与重定向、静态资源处理

目录视图默认视图视图机制原理自定义视图请求转发与重定向静态资源处理视图每个视图解析器都实现了 Ordered 接口并开放出一个 order 属性可以通过 order 属性指定解析器的优先顺序，order 越小优先级越高默认是最低优先级，Integer.MAX_…...

编程日记 2025/6/30 4:58:13

ThinkPHP 5.1 的模板布局功能

ThinkPHP 5.1 的模板布局功能，包括全局配置、模板标签以及动态方法布局三种方式。以下是对这三种方式的要点概括和补充，以便于更好地理解和使用： 方式一：全局配置方式适用于全站使用相同布局的情况，配置简单且统一。…...

编程日记 2025/6/28 18:59:21

入门网络安全工程师要学习哪些内容【2025年寒假最新学习计划】

🤟 基于入门网络安全/黑客打造的：👉黑客&网络安全入门&进阶学习资源包大家都知道网络安全行业很火，这个行业因为国家政策趋势正在大力发展，大有可为!但很多人对网络安全工程师还是不了解，不知道网…...

编程日记 2025/6/28 18:12:17

Redis Cluster 分片机制

Redis 集群是 Redis 提供的一种分布式实现，用于水平扩展数据存储能力。通过 Redis 集群，可以将数据分片存储在多个 Redis 节点上，同时提供高可用性和故障转移功能。分片（Sharding）： Redis 集群将数据划分…...

编程日记 2025/6/29 19:23:23

LightRAG测试BUG

错误一： LightRAG无法回答错误： INFO:lightrag:kw_prompt result:{{"high_level_keywords": ["xxx", "xxx"],"low_level_keywords": ["xxx", "xxx", "xxx"] }} JSON parsing e…...

编程日记 2025/6/28 18:50:26

关于手柄摇杆的连线

由于时间实在是太久远了，我也忘记具体的连线了，只能提供当时的连线图片。...

编程日记 2025/6/28 19:41:41

运算符优先级和，|| 的介绍

运算符优先级关系运算的优先级高于逻辑运算，所以需要加上小括号来改变更详细的运算符优先级可以去MATLAB官网看 &运算的优先级高于|优先级： &&，|| 的介绍我们知道，&运算时，若第一个为 0 0 0&…...

编程日记 2025/6/28 18:49:45

Excel的文件导入遇到大文件时

Excel的文件导入向导如何把已导入数据排除入起始行，选择从哪一行开始导入。比如，前两行已经导入了，第二次导入的时候排除前两行，从第三行开始，就将导入起始行设置为3即可，且不勾选含标题行。但遇到大文…...

编程日记 2025/6/28 19:51:06

SQL Having用法

拿个业务场景说这个案例，比如我们有个表里面可能有批改过的数据，批改过得数据不会随着新批改的数据覆盖，而是逐条插入表中，如果想找出包含最早批改的数据和最新批改数据的话，那么我们就需要用到了havinng 用法,假设最开…...

编程日记 2025/6/30 10:22:14

【mysql优化 | 新增分区】

在同步其他系统的数据，大概每天有16w多，目前已经600多万条数据了，导致查询的时候特别慢。因为是报表，而且是每天统计，所以我们可以按照日期进行分区。 ALTER TABLE table PARTITION BY RANGE (TO_DAYS(rsdate)) (PA…...

编程日记 2025/6/30 4:16:32

vue 组件之间的传值方式

一、父组件向子组件传值父组件可以使用 props 将数据传递给子组件。  <template><ChildComponent :message"parentMessage" /> </template><script> import ChildComponent from ./ChildComponent.vue;export defau…...

编程日记 2025/6/28 8:55:11

VScode执行任务

背景在vscode 中如果执行命令需要传递进来参数，那么直接通过命令行终端的方式不太方便。通过task 任务的方式来进行启动执行，降低反复输入参数等繁琐工作。首先可以查看vscode 官方文档 task 启动 crtl shift p .vscode/task.json 示例执行cp…...

编程日记 2025/6/28 18:06:47

以太网链路详情

文章目录 1、交换机1、常见的概念1、冲突域2、广播域3、以太网卡1、以太网卡帧 4、mac地址1、mac地址表示2、mac地址分类3、mac地址转换为二进制 2、交换机的工作原理1、mac地址表2、交换机三种数据帧处理行为3、为什么会泛洪4、转发5、丢弃 3、mac表怎么获得4、同网段数据通信…...

编程日记 2025/6/28 9:12:38

将PDF流使用 canvas 绘制然后转为图片展示在页面上（二）

将PDF流转为图片展示在页面上使用 pdfjs-dist 库来渲染 PDF 页面到 canvas 上，然后将 canvas 转为图片安装 pdfjs-dist 依赖 npm install pdfjs-dist 或者 yarn add pdfjs-dist创建一个组件来处理 PDF 流的加载和渲染该组件中是一个包含 PDF 文件的 ArrayBuffer…...

编程日记 2025/6/28 18:08:12

若依集成Uflo2工作流引擎

文章目录 1. 创建子模块并添加依赖1.1 新建子模块 ruoyi-uflo1.2 引入 Uflo2 相关依赖 2. 配置相关 config2.1 配置 ServletConfig2.2 配置 UfloConfig2.3 配置 TestEnvironmentProvider 3. 引入Uflo配置文件4. 启动并访问 Uflo2 是由 BSTEK 自主研发的一款基于 Java 的轻量级工…...

编程日记 2025/6/28 18:06:38

CV(4)--边缘提取和相机模型

前言仅记录学习过程，有问题欢迎讨论边缘提取（涉及语义分割）： 图象的边缘是指图象局部区域亮度变化显著的部分,也有正负之分，暗到亮为正求边缘的幅度：sobel，Canny算子图像分高频分量和低…...

编程日记 2025/6/28 18:35:00

使用html 和javascript 实现微信界面功能2

1.功能说明： 对上一篇的基础上进行了稍稍改造主要修改点： 搜索功能: 在搜索框后面增加了搜索按钮。搜索按钮调用performSearch函数来执行搜索操作。表单形式的功能: 上传文件: 修改为表单形式，允许用户通过文件输入控件选择文件并上传。 …...

编程日记 2025/6/28 19:25:44

音视频入门基础：MPEG2-TS专题（12）—— FFmpeg源码中，把各个transport packet组合成一个Section的实现

一、引言从《音视频入门基础：MPEG2-TS专题（9）——FFmpeg源码中，解码TS Header的实现》可以知道：FFmpeg源码中使用handle_packet函数来处理一个transport packet（TS包），该函数的前半…...

编程日记 2025/6/28 15:58:46

数据结构Day一

1.思维导图 2.顺序表的创建 seq.h #ifndef __SEQ_H__ #define __SEQ_H__#define max 30 typedef int DataType; typedef struct {DataType data[max];int len; }seqList,*seqListPtr;seqListPtr seq_create();#endifseq.c #include <stdio.h> #include <stdlib.h&g…...

编程日记 2025/6/30 12:15:49

cpptoml介绍

cpptoml 是一个用于 C 的开源库，旨在提供对 TOML（Toms Obvious, Minimal Language）格式的支持。它允许开发者轻松地在 C 项目中读取、解析和生成 TOML 格式的配置文件。cpptoml 是一个轻量级、易于使用的库，适用于那些希望将 TOML…...

编程日记 2025/6/30 16:55:05

迭代器（转

package Scala4 //迭代器 object hd { def main(args: Array[String]): Unit { var li1 List(1, 2, 3, 4, 5, 6) //依次输出List的元素 //1.循环 //li1.foreach(println) //2.迭代器 //2.1创建一个迭代器（iterator） // val it1li1.iterator.take(3)/…...

编程日记 2025/6/27 18:53:26

鸿蒙元服务上架

鸿蒙元服务上架一、将代码打包成 .app 文件1. 基本需求2. 生成密钥和证书请求文件3. 申请发布证书4. 申请发布Profile5. 配置签名信息6. 更新公钥指纹7. 打包项目成 .app 文件二、发布元服务1. 进入应用信息页面2. 上传软件包3. 配置隐私协议4. 配置版本信息5. 提交审核&…...

编程日记 2025/6/28 18:08:09

查询三网话费余额接口，移动话费余额接口、电信话费余额接口、联通话费余额的接口+html前端查询UI界面

PHP是直接请求的接口，HTML代码也是直接请求的接口。如果HTML想上线运行，还是需要做下安全的。下边是PHP代码 <?php // 定义API接口地址和参数 $apiUrl "https://api.taolale.com/api/Inquiry_Phone_Charges/get"; //API文档地址&…...

编程日记 2025/6/27 21:04:07

C#开发-集合使用和技巧（十）Union用法-并集

在 C# 中，IEnumerable 的 Union 方法用于返回两个序列的并集。Union 方法会去除重复的元素，确保结果集中每个元素都是唯一的。以下是 Union 方法的基本用法： 基本语法 public static IEnumerable<TSource> Union<TSource>(this…...

编程日记 2025/6/28 6:19:48

PyTorch 切片运算 (Slice Operator)

PyTorch 切片运算 {Slice Operator} 1. [:, -1, :]2. [:, [-1], :]References 1. [:, -1, :] https://github.com/karpathy/llama2.c/blob/master/model.py import torchlogits torch.arange(1, 16) print("logits.shape:", logits.shape) print("logits:\n&…...

编程日记 2025/6/28 18:06:44

leaflet 双屏对比

本章主要讲的是leaflet的双屏对比，本文参考了插件：Leaflet.Sync，我这里对原有的文件进行了重写，去掉了一部分不需要的内容，增加了flyTo和panTo方法，新的方法，如果需要可以自行下载资源。目录 …...

编程日记 2025/6/28 19:19:37

渗透测试学习笔记（二）kali相关

一.kali 基础工具 NetCat -网络工具中的瑞士军刀：允许用户通过 TCP 或 UDP 协议发送和接收数据。WireShark-开源抓包软件TCPdump-命令行抓包分析工具二. 被动信息收集 2.1 被动信息收集指从公开渠道获取信息，主要是已经公开的信息。要点&#xff1…...

编程日记 2025/6/28 18:06:42

Python中的正交配对测试库：allpairspy

Python中的正交配对测试库：allpairspy 简介Python 中的 All-Pairs Testing 库安装 allpairspy使用 allpairspy 库的代码示例运行结果总结简介 All-Pairs Testing (正交配对测试) 是一种广泛应用于软件测试中的组合测试方法，其核心思想是通过生成所有可…...

编程日记 2025/6/30 8:24:30

循序渐进kubenetes Service(Cluster ip、Nodeport、Loadbalancer)

文章目录部署一个web服务Kubernetes Port ForwardKubernetes ServicesClusterIP ServiceNodePort ServiceLoadBalancer Service 部署一个web服务准备 Kubernetes 集群后，创建一个名为 web 的新 namespace，然后在该 namespace 中部署一个简单的 web 应…...

编程日记 2025/6/30 20:09:41

SpringBoot【八】mybatis-plus条件构造器使用手册！

一、前言🔥 环境说明：Windows10 Idea2021.3.2 Jdk1.8 SpringBoot 2.3.1.RELEASE 经过上一期的mybatis-plus 入门教学，想必大家对它不是非常陌生了吧，这期呢，我主要是围绕以下几点展开，重点给大家介绍里…...

编程日记 2025/6/28 19:47:58

《HTML 的变革之路：从过去到未来》

一、HTML 的发展历程图片: HTML 从诞生至今，经历了多个版本的迭代。 （一）早期版本 HTML 3.2 在 1997 年 1 月 14 日成为 W3C 推荐标准，提供了表格、文字绕排和复杂数学元素显示等新特性，但因实现复杂且缺乏浏览器…...

编程日记 2025/6/28 19:24:54

给我的小程序加了个丝滑的搜索功能，踩坑表情包长度问题

前言最近在用自己的卡盒小程序的时候，发现卡片越来越多，有时候要找到某一张来看看笔记要找半天，于是自己做了一个搜索功能，先看效果： 怎么样，是不是还挺不错的，那么这篇文章就讲讲这样一个搜索…...

编程日记 2025/6/28 19:50:29

高阶数据结构--B树B+树实现原理B树模拟实现--Java

目录一、B-树概念二、B-树插入分析 1.用序列{53, 139, 75, 49, 145, 36, 101}构建B树的过程如下： 2.插入过程总结三、B树插入实现四、B树 1.B树概念 2.B树的特性五、B树应用 1.索引 2.Mysql索引 3.InnoDB 一、B-树概念 1970 年， R.Bayer 和…...

编程日记 2025/6/30 20:09:47

CTF: 在本地虚拟机内部署CTF题目docker

step 1 安装基本依赖 sudo apt-get update sudo apt-get install -y \ca-certificates \curl \gnupg \lsb-releasestep 2 安装docker sudo apt-get remove docker docker.io containerd runc sudo apt-get update sudo apt-get install \apt-transport-https \ca-certificate…...

编程日记 2025/6/29 22:29:44