当前位置：首页 > news >正文

Canal mysql to mysql 增加 online 库同步配置指南

news 来源：原创 2025/8/15 23:32:55

Canal 增加新库 online 的配置指南

1. 停止 Canal Adapter 服务

./bin/stop.sh

2. 数据库备份与导入

备份源数据库

mysqldump -h 127.0.0.1 -P 3307 --single-transaction -uroot -p -B online > online.sql

导入到目标数据库

mysql -h 127.0.0.1 -P 3308 -uroot -p < online.sql

3. 修改 Canal Instance 配置

登录 Canal Admin 控制台
找到对应的 Instance 配置
修改 canal.instance.filter.regex 参数

在这里插入图片描述

修改前配置示例

canal.instance.filter.regex=afzx\\..*

修改后配置示例

canal.instance.filter.regex=afzx\\..*,online\\..*

点击"修改"按钮保存配置

4. 配置 Canal Adapter

程序目录

  cd /home/canal_adapter/

4.1 修改 application.yml

/home/canal_adapter/conf/application.yml

在 srcDataSources 部分增加 online 数据源

srcDataSources:afzxDS:url: jdbc:mysql://127.0.0.1:3307/afzx?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=trueusername: canalpassword: canal# 新增 online 数据源配置onlineDS:url: jdbc:mysql://127.0.0.1:3307/online?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=trueusername: canalpassword: canal

在 canalAdapters 部分增加 online 目标库配置

canalAdapters:- instance: qiji66groups:- groupId: g1outerAdapters:- name: logger- name: rdbkey: afzx_keyproperties:jdbc.driverClassName: com.mysql.jdbc.Driverjdbc.url: jdbc:mysql://127.0.0.1:3308/afzx?useUnicode=true&characterEncoding=UTF-8&allowPublicKeyRetrieval=true&useSSL=falsejdbc.username: canaljdbc.password: canal# 新增 online 目标库配置- name: rdbkey: online_keyproperties:jdbc.driverClassName: com.mysql.jdbc.Driverjdbc.url: jdbc:mysql://127.0.0.1:3308/online?useUnicode=true&characterEncoding=UTF-8&allowPublicKeyRetrieval=true&useSSL=falsejdbc.username: canaljdbc.password: canal

4.2 创建 online 映射配置文件

在 conf/rdb/ 目录下创建 online_mapping.yml 文件：

/home/canal_adapter/conf/rdb/online_mapping.yml

dataSourceKey: onlineDS   # 对应源数据源
destination: qiji66       # 与instance名称一致
groupId: g1               # 与groupId一致
outerAdapterKey: online_key # 对应目标数据源key
concurrent: true
dbMapping:mirrorDb: true          # 启用全库镜像模式database: online        # 源数据库名

5. 启动 Canal Adapter 服务

cd /home/canal_adapter
./bin/startup.sh

验证步骤

检查 Canal Adapter 日志是否有错误
在源库 online 中执行数据变更操作
检查目标库 online 是否同步了相应变更

注意事项

确保源库和目标库的表结构一致
如果同步过程中出现问题，可查看 logs/adapter/adapter.log 获取详细错误信息
对于大表，初次同步可能需要较长时间

Canal mysql to mysql 增加 online 库同步配置指南

Canal 增加新库 online 的配置指南 1. 停止 Canal Adapter 服务 ./bin/stop.sh2. 数据库备份与导入备份源数据库 mysqldump -h 127.0.0.1 -P 3307 --single-transaction -uroot -p -B online > online.sql导入到目标数据库 mysql -h 127.0.0.1 -P 3308 -uroot -p <…...

编程日记 2025/8/15 23:32:55

Spring MVC中Controller是如何把数据传递给View的？

在 Spring MVC 中，Controller 负责请求的处理，准备需要展示的数据，并将这些数据传递给 View，由 View 负责最终的页面渲染。数据从 Controller 传递到 View 主要通过模型 (Model) 实现。 Spring MVC 提供了以下几种方式让 Control…...

编程日记 2025/8/15 23:32:53

FAST-LIO笔记

1.FAST-LIO FAST-LIO 是一个计算效率高、鲁棒性强的激光-惯性里程计系统。该系统通过紧耦合的迭代扩展卡尔曼滤波器（IEKF）将激光雷达特征点与IMU数据进行融合，使其在快速运动、噪声较大或环境复杂、存在退化的情况下仍能实现稳定的导航。 1…...

编程日记 2025/8/15 23:32:51

挑战用豆包教我学Java01天

今天是豆包教我学Java的第一天，废话不多说直接开始。 1.每日题目： 基础语法与数据类型题目：编写一个 Java 程序，从控制台读取两个整数，然后计算它们的和、差、积、商，并输出结果。题目：编写…...

编程日记 2025/8/15 23:32:49

基于RT-Thread的STM32G4开发第二讲第二篇——ADC

文章目录前言一、RT-Thread工程创建二、ADC工程创建三、ADC功能实现1.ADC.c2.ADC.h3.mian.c 四、效果展示和工程分享总结前言本文使用的是RT-Thread最新的驱动5.1.0，兼容下面的所有驱动。使用的开发板是蓝桥杯嵌入式国信长安的开发板，MCU是STM32G431…...

编程日记 2025/8/15 23:32:47

居民健康监测小程序|基于微信小程序的居民健康监测小程序设计与实现(源码+数据库+文档)

居民健康监测小程序目录基于微信小程序的居民健康监测小程序设计与实现一、前言二、系统设计三、系统功能设计 1、用户信息管理 2、健康科普管理 5.3公告类型管理 3、论坛信息管理四、数据库设计五、核心代码六、论文参考七、最新计算机毕设选题推荐 …...

编程日记 2025/8/15 23:32:45

电商双11美妆数据分析

图中展示的是在Jupyter Notebook环境下的Python代码及运行结果。代码利用 seaborn 和 matplotlib 库，以 datal 数据集为基础，绘制上下两个子图。上方子图呈现各店铺中各大类的销售量，下方子图展示各店铺中各大类的销售额，通过条形…...

编程日记 2025/8/15 18:19:45

Spark-Core（双Value类型）

一、RDD转换算子（双Value类型） 1、intersection 函数签名： def intersection(other: RDD[T]): RDD[T] 函数说明：对源 RDD 和参数 RDD 求交集后返回一个新的 RDD 举栗： val dataRDD1 sparkContext.makeRDD(List(…...

编程日记 2025/8/15 23:32:41

【数据库原理及安全实验】实验六角色访问控制

指导书原文安全性管理二【实验目的】 1) 通过语句设置登录用户的权限，实现对不同用户的操作权限的限定。【实验原理】 1) 定义数据库角色，授予该角色特定权限，建立不同的用户将其置入不同的角色之下，即等于分配了该用户不…...

编程日记 2025/8/15 23:32:39

windows安装micromamba

windows安装 winget install Mamba.Micromamba Set-ExecutionPolicy RemoteSigned micromamba activate 第一次运行会报错，把报错中间那一句init代码跑一下创建环境什么的和conda一样把conda换成micromamba就行绑定快捷键，winget安装&#x…...

编程日记 2025/8/15 23:32:37

vue-quill-editor的失焦事件

vue-quill-editor的用法再此就不再赘述了，只记录我在使用过程中踩的坑。版本：Vue2 vue-quill-editor3.0.6 封装组件： <vue-quill-editorclass"editor":class"dynamicClasses"ref"myTextEditor"v-model&quo…...

编程日记 2025/8/15 23:32:35

【工具变量】最新华证ESG评级得分数据-含xlsx及dta格式（2009-2024.12）

参考《经济研究》中方先明（2023）的做法，将华证ESG评级进行赋值，指标包含C、CC、CCC、B、BB、BBB、A、AA、AAA共9个等级，将上市公司ESG等级从低到高分别赋值为1至9。将华证ESG评级得分数据更新至2024年12月31日&#xf…...

编程日记 2025/8/15 23:32:34

【纯小白博客搭建】Hugo+Github博客部署及主题（stack）美化等界面优化记录

这里写目录标题 HugoGithub博客部署及主题（stack）美化等界面优化写在前面hugo博客搭建教程第一种方案第二种方案添加浏览量和统计字数添加评论功能添加访客地图 HugoGithub博客部署及主题（stack）美化等界面优化效果图如下如果…...

编程日记 2025/8/15 23:32:32

题解：CF2107E Ain and Apple Tree

首先考虑无解的情况。当这棵树为一条链时，答案取到最大值。证明很简单，假设存在一个节点 u u u 至少有 2 2 2 个孩子节点，任取两个 v 1 , v 2 v_1,v_2 v1,v2，则 dep ( LCA ⁡ ( v 1 , v 2 ) ) dep ( u ) \text{dep}(\o…...

编程日记 2025/8/15 23:32:30

STM32的看门狗

独立看门狗（IWDG） IWDG简介独立看门狗（Independent Watchdog，通常缩写为IWDG）主要作用是主要用于检测外界电磁干扰，或硬件异常导致的程序跑飞问题。 WDG本质上是一个12位的递减计数器（滴答定…...

编程日记 2025/8/15 23:32:29

小王包子铺的融资过程以及IPO上市过程

用包子铺来打个通俗易懂的比喻，一步步讲清楚从创业到融资上市的全过程。 🥟 故事背景：老王的包子铺老王做的包子特别好吃，于是他决定不再只是摆摊，而是创办一家叫 “老王包子铺” 的连锁店。我们就以老王创业为线索&…...

编程日记 2025/8/15 23:32:27

WPF 触发器 Trigger

触发器 Trigger 触发器（Trigger）是 WPF 中的一种机制： 当某个条件满足时，自动改变控件的某些属性，比如颜色、大小、透明度等。换句话说，就是"如果……那么就……" 的一种规则。常见触发器类…...

编程日记 2025/8/15 23:32:25

CentOS算法部署

CentOS服务部署第一章启动两个算法服务第一步：上传算法文件第二步：安装 tmux第三步：启动服务（1） 启动第一个算法服务（2） 启动第二个算法服务第四步：关闭防火墙第一章启动两个算…...

编程日记 2025/8/15 23:32:23

极狐GitLab 命名空间的类型有哪些？

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网命名空间命名空间在极狐GitLab 中组织项目。因为每一个命名空间都是单独的，您可以在多个命名空间中使用相同的项…...

编程日记 2025/8/15 23:32:21

使用 Apache POI 生成包含文本和图片的 Word 文档

一、概述在实际开发场景中，我们经常需要自动生成包含文本和图片的 Word 文档。本示例借助 Apache POI 库，实现了向 Word 文档中插入文本和图片的功能。代码会循环插入多次文本和同一张图片，并且对图片进行等比缩放处理，以保证图片…...

编程日记 2025/8/15 23:32:20

Eclipse通过Tomcat启动web项目报错

错误内容：Caused by: java.lang.NoClassDefFoundError: org/springframework/context/ApplicationContext。本来运行的好好的，执行了Maven->Update Porject后就报上面的错。通过检查发现，执行上面的命令后会将下面截图中的maven depen…...

编程日记 2025/8/15 23:32:18

5.7线性动态规划1

P2285 [HNOI2004] 打鼹鼠 #include<bits/stdc.h> using namespace std; struct node{int x, y, t; }a[100010]; int dp[100010]; void solve(){int n, m; cin >> n >> m;for(int i 1; i < m; i){cin >> a[i].t >> a[i].x >> a[i].y;}…...

编程日记 2025/8/15 23:32:16

Word如何制作三线表格

1.需求将像这样的表格整理成论文中需要的三线表格。 2.直观流程选中表格 --> 表格属性中的边框与底纹B --> 在设置中选择无（重置表格）–> 确定 --> 选择第一行（其实是将第一行看成独立表格了，为了设置中线&…...

编程日记 2025/8/15 23:32:15

【Mybatis-plus常用语法】

MyBatis-Plus 是 MyBatis 的增强工具，提供了很多便捷的功能来简化开发。以下是一些 MyBatis-Plus 的常见语法： 实体类注解：使用 TableName 注解来指定实体类和数据库表的映射关系。 TableName("user") public class User {privat…...

编程日记 2025/8/15 1:33:08

16.Excel：数据收集

一使用在线协作工具简道云。 excel的在线表格协作在国内无法使用，而数据采集最需要在线协作。二使用 excel 1.制作表格在使用excel进行数据采集的时候，会制作表头给填写人，最好还制作一个示例。 1.输入提示当点击某个单元格的时候&am…...

编程日记 2025/8/15 23:32:12

基于Django框架开发的企业级IT资产管理系统

CMDB 资产管理系统资产管理系统是一个基于Django框架开发的企业级IT资产管理平台，专注于数据中心和IT设备的全生命周期管理。该系统提供了完整的资产管理功能，包括设备管理、数据中心管理、用户权限管理等核心功能。项目截图技术栈后端 Python 3…...

编程日记 2025/8/15 21:16:27

Redis 集群版本升级指南：从 Redis 7 升级到 Redis 8

Redis 集群升级主要有两种方案： 1、在线滚动升级（无需停机） 2、停机升级（需停止服务） 一、准备工作 1. 下载 Redis 8 安装包 # Redis 8.0.0 示例（请替换为实际版本） http://download.redis.io…...

编程日记 2025/8/16 1:19:36

使用 Couchbase Analytics Service 的典型步骤

下面是使用 Couchbase Analytics Service 的典型步骤，包括部署、配置、创建数据集、运行查询以及监控优化等环节。首先，您需要安装并启用 Analytics 服务；然后将节点加入集群并重平衡；接着在 Analytics 中映射数据服务的集合&am…...

编程日记 2025/8/15 23:32:10

C++ stl中的vector的相关用法迭代器失效问题

文章目录 vector的介绍及使用vector的定义 vector的空间相关问题vector的迭代器的使用vector的增删查改vector迭代器失效问题 vector的介绍及使用 1、vector是用于表示可变大小数组的序列容器。 2、vector就像数组一样，采用的是连续的空间来存储元素，也…...

编程日记 2025/8/15 23:32:08

【Redis】哨兵机制和集群

🔥个人主页： 中草药 🔥专栏：【中间件】企业级中间件剖析一、哨兵机制 Redis的主从复制模式下，一旦主节点由于故障不能提供服务，需要人工的进行主从切换，同时需要大量的客户端需要被通知切换到…...

编程日记 2025/8/15 23:32:07

uni-app 引入vconsole web端正常，安卓端报错 Cannot read property ‘sendBeacon‘ of undefined

reportJSException >>>> exception function:createInstanceContext, exception:white screen cause create instanceContext failed,check js stack ->Uncaught TypeError: Cannot read property sendBeacon of undefined vconsole 只支持 web 端，…...

编程日记 2025/8/15 23:32:05

数据管道的解耦艺术：Dagster I/O管理器实现存储与逻辑分离

在现代数据工程中，高效管理数据的读写逻辑是构建可维护管道的关键。Dagster的**I/O管理器（I/O Managers）**通过分离数据处理与数据存储逻辑，显著提升了代码的可复用性和灵活性。本文将深入解析其核心概念、应用场景及实战示例。一…...

编程日记 2025/8/15 16:51:25

shell脚本--2

1、实时监控cpu、内存的shell脚本 #!/bin/bash# 获取当前时间 DATE$(date "%Y-%m-%d %H:%M:%S")# 获取CPU使用情况 CPU_USAGE$(top -b -n1 | grep "Cpu(s)" | awk {print $2 $4})# 获取内存使用情况 MEMORY_USAGE$(free | grep Mem | awk {print $3/$2 *…...

编程日记 2025/8/15 23:32:03

jenkins配置多nexus仓库多maven版本

jenkins多环境多nexus仓库，多maven版本使用优化，jenkins多环境多nexus仓库，多maven版本 1、多settings.xml设置构建背景：jenkins本地安装一个maven版本，默认只有一个settings.xml文件指定本地和远端nexus仓库&#x…...

编程日记 2025/8/15 23:32:01

Linux理解文件fd

先来段代码回顾C文件接口 myfile.c写文件 #include <stdio.h>int main() {FILE *fp fopen("log.txt","a");if(NULL fp){perror("fopen");return 1;}fprintf(fp,"helloWorld,%d,%s,%lf\n",10,"lsf",3.14);fclose(fp)…...

编程日记 2025/8/15 23:30:47

【Python】os模块

os 模块是 Python 标准库中用于与操作系统交互的核心模块，提供了许多操作文件和目录的函数。 1. 基本介绍 os 模块提供了以下主要功能： 文件和目录操作路径操作进程管理环境变量访问 import os2. 常用功能分类 2.1 文件和目录操作函数/方法描述o…...

编程日记 2025/8/15 23:30:45

2025 Mac常用软件安装配置

1、homebrew 2、jdk 使用brew安装jdk： 配置环境变量： 3、maven 使用brew安装maven： 配置环境变量： 4、光标平滑移动 5、鼠标滚轮调整 mos 6、常用的终端工具 tabby 7、软件卸载腾讯柠檬：https://lemon.qq.com/ 8、…...

编程日记 2025/8/15 23:30:43

PyQt5 实现自定义滑块，效果还不错

最近，黄老师闲来无事，需要做一个播放器的滑块，但是Qt官方的长这个样子，不太好看于是我自己写了一个，效果还不错，请看下面的效果图：功能可以点击，可以拖拽改变进度，和播放器的进度条一样源码如下：需要的自取 import sys from PyQt5.QtWidgets import QApplicat…...

编程日记 2025/8/16 1:19:34

如何在ENVI Classic 和 ENVI中进行波段合成

示例使用Landsat的三个波段进行合成为示例，合成后展示为假彩色。对应关系为： Red -- b4（近红外 near-infrared）NIR Green -- b3 （红光 Red） Blue -- b2 （绿光 Green） 一、ENVI…...

编程日记 2025/8/16 1:19:31

协方差与皮尔逊相关系数：从定义到应用的全面解析

目录一、协方差与皮尔逊相关系数的定义1.1 协方差（Covariance）1.2 皮尔逊相关系数（Pearson Correlation Coefficient） 二、协方差的定义与推导逻辑2.1 核心目标：衡量变量的“协同变化”2.2 数学表达的直观性2.3 从线性…...

编程日记 2025/8/16 1:19:28

ICML 2025录取率公布，spotlight posters仅占2.6%

近日，ICML 2025公布了论文录用结果。本次大会共收到 12,107篇有效论文投稿，比去年增加了28%，今年录取论文3,260篇，录取率为 26.9%。其中仅有313篇被列为“焦点海报”（即所有投稿中排名前2.6%的论文）&#x…...

编程日记 2025/8/16 1:19:26

kotlin一个函数返回多个值

一、主要实现方式 1. Pair/Triple 元组用途：临时快速返回 2 或 3 个简单值，适用于简单场景语法： fun getStatus(): Pair<Int, String> {return Pair(200, "Success") // 等价于 200 to "Success" }// 解构接收 …...

编程日记 2025/8/16 1:19:24