MySQL实现全量同步和增量同步到SQL Server或其他关系型库
在将MySQL中的两张表同步到SQL Server的过程中,全量同步和增量同步各有其优缺点。全量同步简单直接但可能耗时较长且资源消耗大,而增量同步则更加高效但需要额外的逻辑来处理数据的变更。以下是对这两种同步方式的详细解释及代码示例的完善。
完整代码示例
以下是一个完整的示例,包括全量同步和增量同步,以及使用schedule
库来设置定时任务。
import pymysql
import pyodbc
from datetime import datetime, timedelta
import schedule
import time# MySQL 数据库连接函数
def get_mysql_connection():return pymysql.connect(host='localhost', # 替换为你的 MySQL 服务器地址user='root', # 替换为你的 MySQL 用户名password='password123', # 替换为你的 MySQL 密码database='test_db' # 替换为你的 MySQL 数据库名)# SQL Server 数据库连接函数
def get_sqlserver_connection():return pyodbc.connect('DRIVER={ODBC Driver 17 for SQL Server};''SERVER=your_sqlserver_host;' # 替换为你的 SQL Server 服务器地址或 IP'DATABASE=test_sqlserver_db;' # 替换为你的 SQL Server 数据库名'UID=sqlserver_user;' # 替换为你的 SQL Server 用户名'PWD=sqlserver_password123' # 替换为你的 SQL Server 密码)# 全量同步函数
def full_sync_tables():mysql_conn = get_mysql_connection()sqlserver_conn = get_sqlserver_connection()try:mysql_cursor = mysql_conn.cursor()sqlserver_cursor = sqlserver_conn.cursor()# 清空SQL Server中的表数据sqlserver_cursor.execute("TRUNCATE TABLE table1")sqlserver_cursor.execute("TRUNCATE TABLE table2")# 从MySQL表中查询所有数据并插入到SQL Server表中for table in ['table1', 'table2']:mysql_cursor.execute(f"SELECT * FROM {table}")mysql_data = mysql_cursor.fetchall()columns = len(mysql_cursor.description)placeholders = ', '.join(['?'] * columns)insert_query = f"INSERT INTO {table} VALUES ({placeholders})"for row in mysql_data:sqlserver_cursor.execute(insert_query, row)sqlserver_conn.commit()finally:mysql_cursor.close()mysql_conn.close()sqlserver_cursor.close()sqlserver_conn.close()# 增量同步函数
def incremental_sync_tables(last_sync_time):mysql_conn = get_mysql_connection()sqlserver_conn = get_sqlserver_connection()try:mysql_cursor = mysql_conn.cursor()sqlserver_cursor = sqlserver_conn.cursor()# 获取MySQL中自上次同步以来的增量数据for table in ['table1', 'table2']:mysql_cursor.execute(f"SELECT * FROM {table} WHERE update_time > %s", (last_sync_time,))mysql_data = mysql_cursor.fetchall()# 插入或更新SQL Server中的数据update_query = f"UPDATE {table} SET {} WHERE id = ?".format(', '.join([f"{col} = ?" for col in mysql_cursor.description[1:]]))insert_query = f"INSERT INTO {table} ({}) VALUES ({})".format(', '.join([col[0] for col in mysql_cursor.description]),', '.join(['?'] * len(mysql_cursor.description)))for row in mysql_data:sqlserver_cursor.execute(f"SELECT id FROM {table} WHERE id = ?", (row[0],))result = sqlserver_cursor.fetchone()if result:sqlserver_cursor.execute(update_query, row[1:] + (row[0],))else:sqlserver_cursor.execute(insert_query, row)# 处理删除操作(假设MySQL有逻辑删除标记字段is_deleted)for table in ['table1', 'table2']:sqlserver_cursor.execute(f"SELECT id FROM {table}")sqlserver_ids = [row[0] for row in sqlserver_cursor.fetchall()]mysql_cursor.execute(f"SELECT id FROM {table} WHERE is_deleted = 1 AND update_time > %s", (last_sync_time,))deleted_ids = [row[0] for row in mysql_cursor.fetchall()]for id_ in set(sqlserver_ids) - set(deleted_ids):sqlserver_cursor.execute(f"DELETE FROM {table} WHERE id = ?", (id_,))sqlserver_conn.commit()finally:mysql_cursor.close()mysql_conn.close()sqlserver_cursor.close()sqlserver_conn.close()# 定时任务函数
def schedule_sync_tasks():# 每天凌晨1点进行全量同步schedule.every().day.at("01:00").do(full_sync_tables)# 每5分钟进行增量同步last_sync_time = datetime.now() - timedelta(minutes=5) # 初始化为5分钟前,之后每次调用都会更新def run_incremental_sync():nonlocal last_sync_timeincremental_sync_tables(last_sync_time)last_sync_time = datetime.now() # 更新上次同步时间schedule.every(5).minutes.do(run_incremental_sync)# 运行调度器while True:schedule.run_pending()time.sleep(1)# 运行定时任务
if __name__ == "__main__":schedule_sync_tasks()
注意事项
- 性能:对于大数据量的表,增量同步可能会更高效,但也要确保增量同步的逻辑不会成为瓶颈。
- 事务:在同步过程中,确保使用事务来保持数据的一致性。
- 错误处理:在实际应用中,需要更完善的错误处理和日志记录机制。
- 时间戳:确保MySQL中的
update_time
字段在每次数据更新时都被正确更新。 - 健壮性:增量同步依赖于时间戳或逻辑删除标记,因此需要确保这些字段在业务逻辑中被正确维护。
- 安全性:不要在代码中硬编码数据库密码,考虑使用环境变量或配置文件来管理敏感信息。
相关文章:
MySQL实现全量同步和增量同步到SQL Server或其他关系型库
在将MySQL中的两张表同步到SQL Server的过程中,全量同步和增量同步各有其优缺点。全量同步简单直接但可能耗时较长且资源消耗大,而增量同步则更加高效但需要额外的逻辑来处理数据的变更。以下是对这两种同步方式的详细解释及代码示例的完善。 完整代码示…...
详细解析GetOpenFileName()
书籍:《Visual C 2017从入门到精通》的2.3.8 Win32控件编程 环境:visual studio 2022 内容:【例2.34】打开文件对话框和另存为。 说明:以下内容大部分来自腾讯元宝。 GetOpenFileName() 是 Windows API 中用于显示标准文件打开…...
FPGA----完美解决Windows下[XSIM 43-3409][XSIM 43-3915]错误
大家好久不见,今天开始又要重操旧业了!最近会更新很多关于petalinux的踩坑日记,敬请期待! 先更新一个常见问题,使用Vivado仿真时C编译器报错问题。如下所示 ERROR: [XSIM 43-3409] Failed to compile generated C fi…...
LeetCode Hot100 刷题路线(Python版)
目录 1. LeetCode Hot100 刷题笔记(1)—— 哈希、双指针、滑动窗口 2. LeetCode Hot100 刷题笔记(2)—— 子串、普通数组、矩阵 3. LeetCode Hot100 刷题笔记(3)—— 链表 4. LeetCode Hot100 刷题笔记&…...
宇树科技纯技能要求总结
一、嵌入式开发与硬件设计 核心技能 嵌入式开发: 精通C/C,熟悉STM32、ARM开发熟悉Linux BSP开发及驱动框架(SPI/UART/USB/FLASH/Camera/GPS/LCD)掌握主流平台(英伟达、全志、瑞芯微等) 硬件设计:…...
Docker学习笔记(十)搭建Docker私有仓库
一、环境配置 1、宿主机系统:macOS Sequoia(版本15.2) 2、虚拟机VMware Fusion版本:专业版 13.6.2 (24409261) 3、虚拟机系统:AlmaLinux-9-latest-x86_64-boot.iso 二、安装Harbor开源企业级Docker镜像 Harbor 是一个开源的企业级 Docker…...
FastAPI WebSocket 无法获取真实 IP 错误记录
FastAPI WebSocket 无法获取真实 IP 错误记录 问题描述 在使用 FastAPI WebSocket 服务时,发现无法获取设备的真实 Remote IP,所有连接均显示为内网地址 10.x.x.1。以下是完整的排查过程及解决方案。 排查步骤 1. 基础信息检查 • 现象复现࿱…...
DeepSeek 助力 Vue3 开发:打造丝滑的表格(Table)之添加导出数据功能示例4,TableView15_04导出当前页数据示例
前言:哈喽,大家好,今天给大家分享一篇文章!并提供具体代码帮助大家深入理解,彻底掌握!创作不易,如果能帮助到大家或者给大家一些灵感和启发,欢迎收藏+关注哦 💕 目录 DeepSeek 助力 Vue3 开发:打造丝滑的表格(Table)之添加导出数据功能示例4,TableView15_04导出当…...
【Linux】快速上手Makeflie CMake
🦄个人主页:修修修也 🎏所属专栏:Linux ⚙️操作环境:Xshell (操作系统:Ubuntu 22.04 server 64bit) 目录 📌快速上手Makefile 基本结构 变量 自动变量 常用目标 📌快速上手CMake CMake与Makefile的关系 CMake的使用步骤 常用命令…...
Python连接数据库进行增删改查
更多优质文章 _>_>_>_>_>✍✈✉戳我 目录 1.导入相关库 2.创建连接 3.插入数据 4.删除数据 5.修改数据 6.查询数据 7.更多干货 1.导入相关库 import pymysql -----pip install pymysql #下载库 2.创建连接 conn pymysql.connect(hostlocalho…...
数据库的两种模式
数据库的 严格模式(Strict Mode) 和 宽松模式(Non-Strict Mode) 是数据库管理系统(DBMS)中用于控制数据验证和处理方式的两种不同模式。它们的主要区别在于对数据完整性、一致性和错误处理的严格程度。 1. …...
【css酷炫效果】纯CSS实现立体旋转立方体
【css酷炫效果】纯CSS实现立体旋转立方体 缘创作背景html结构css样式完整代码效果图 想直接拿走的老板,链接放在这里:https://download.csdn.net/download/u011561335/90492014 缘 创作随缘,不定时更新。 创作背景 刚看到csdn出活动了&am…...
Cursor与Coze结合开发电影推荐系统:一次高效的技术实践
1 项目背景 有个想法,和朋友打算一起看电影,但是不知道看什么(吃饭也是),于是在豆瓣高分电影榜单中选择出来一些感兴趣的电影,随机挑选一部“天意之选”。为此,我尝试结合Cursor(智…...
【总结篇】java多线程,新建线程有几种写法,以及每种写法的优劣势
java多线程 新建线程有几种写法,以及每种写法的优劣势 [1/5]java多线程 新建线程有几种写法–继承Thread类以及他的优劣势[2/5]java多线程-新建线程有几种写法–实现Runnable接口以及他的优劣势[3/5]java多线程 新建线程有几种写法–实现Callable接口结合FutureTask使用以及他的…...
idea问题(三)pom文件显示删除线
一、问题 1、现象 2、原因 分析原因和出现的流程:创建子模块的时候因为名称错误了,并且通过修改模块模块名称后,又删除了模块,因删除不干净。再次建立了同名模块,会让IDEA认为你再次新建的项目是已经被删除的项目。 …...
python爬虫概述
0x00 python爬虫概述 以豆瓣的选电影模块为例,当查看源代码搜索猫猫的奇幻漂流瓶是搜不到的 这时服务器的工作方式应该是这样的 客户端浏览器第一次访问其实服务器端是返回的一个框架(html代码) 当客户端浏览器第二次通过脚本等方式进行访问时服务器端才返回的数据…...
实现拖拽图片验证的基本步骤
前端部分 UI 设计: 显示一个滑块和一张背景图(通常是带缺口的图片)。滑块可以是拼图的一块或简单的方块。 拖拽功能: 监听滑块的 mousedown、mousemove、mouseup 事件,实现拖拽效果。 验证逻辑: 计算滑块最…...
conda报错activate没办法激活环境
遇到激活环境报错 # >>>>>>>>>>>>>>>>>>>>>> ERROR REPORT <<<<<<<<<<<<<<<<<<<<<< Traceback (most recent call last): File …...
numpy学习笔记3:三维数组 np.ones((2, 3, 4)) 的详细解释
numpy学习笔记3:三维数组 np.ones((2, 3, 4)) 的详细解释 以下是关于三维数组 np.ones((2, 3, 4)) 的详细解释: 1. 三维数组的形状 形状 (2, 3, 4) 表示: 最外层维度:2 个“层”(或“块”); …...
论文笔记(七十三)Gemini Robotics: Bringing AI into the Physical World
Gemini Robotics: Bringing AI into the Physical World 文章概括1. 引言2. Gemini 2.0的具身推理2.1. 具身推理问答(ERQA)基准测试2.2. Gemini 2.0的具身推理能力2.3. Gemini 2.0支持零样本和少样本机器人控制 3. 使用 Gemini Robotics 执行机器人动作3…...
不用 Tomcat?SpringBoot 项目用啥代替?
在SpringBoot框架中,我们使用最多的是Tomcat,这是SpringBoot默认的容器技术,而且是内嵌式的Tomcat。 同时,SpringBoot也支持Undertow容器,我们可以很方便的用Undertow替换Tomcat,而Undertow的性能和内存使…...
ChatTTS 开源文本转语音模型本地部署 API 使用和搭建 WebUI 界面
ChatTTS(Chat Text To Speech),专为对话场景设计的文本生成语音(TTS)模型,适用于大型语言模型(LLM)助手的对话任务,以及诸如对话式音频和视频介绍等应用。支持中文和英文,还可以穿插笑声、说话间的停顿、以…...
嵌入式笔记 | 正点原子STM32F103ZET6 4 | 中断补充
1. 外设引脚重映射 1.1 定义 在STM32中,每个外设的引脚都有默认的GPIO端口,但有些引脚可以通过重映射寄存器将功能映射到其他端口。这种机制称为引脚重映射,主要用于解决引脚复用冲突或优化PCB布线。 1.2 重映射的类型 部分重映射&#x…...
spring循环依赖
Spring 通过三级缓存机制解决单例 Bean 的循环依赖问题,其核心思想是提前暴露未完全初始化的 Bean 引用。以下是详细流程和原理: 1. 循环依赖的场景 假设两个 Bean 相互依赖: BeanA 依赖 BeanBBeanB 依赖 BeanA 如果没有特殊处理ÿ…...
算法刷题区域部分反转
不断创建数组,相加,利用cpp内字符串相加的性质即可。具体代码如下: class Solution { public: string reverseStr(string s, int k) { int size s.size(); int count size / (2*k); string a; int i 0; for ( i 0; i < count; i)…...
使用【docker】+【shell】脚本半自动化部署微服务项目
一.前言 以下是一个基于 Docker Shell脚本 的半自动化部署方案,包含镜像构建、容器管理、网络配置和日志监控等核心功能,适用于大多数Web应用或微服务项目。 二.目录结构 三.脚本代码实现 1.Shell脚本实现 (deploy.sh) #!/bin/bash# 设置颜…...
关于“碰一碰发视频”系统的技术开发文档框架
以下是关于“碰一碰发视频”系统的技术开发文档框架,涵盖核心功能、技术选型、开发流程和关键模块设计,帮助您快速搭建一站式解决方案 --- 随着短视频平台的兴起,用户的创作与分享需求日益增长。而如何让视频分享更加便捷、有趣,…...
Java面试黄金宝典5
1. ConcurrentHashMap 和 HashTable 有哪些区别 原理 HashTable:它继承自 Dictionary 类,是 Java 早期提供的线程安全哈希表。其线程安全的实现方式是对每个方法都使用 synchronized 关键字进行同步。例如,在调用 put、get 等方法时ÿ…...
【FastGPT】利用知识库创建AI智能助手
【FastGPT】利用知识库创建AI智能助手 摘要创建知识库上传文档创建应用准备提示词准备开场白关联知识库AI回答效果 摘要 关于FastGPT的部署,官方提供了docker-compose方式的部署文档,如果使用的是podman和podman-compose的同学,可以参考这篇…...
尚硅谷爬虫(解析_xpath的基本使用)笔记
1、xpath的基本使用 创建一个简单的HTML: <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Title</title> </head> <body><ul><li>北京</li><li&…...
redis MISCONF Redis is configured to save RDB snapshots报错解决
直接上解决方案 修改redis配置文件 stop-writes-on-bgsave-error no 重启redis...
《深入理解AOP编程:从基础概念到Spring实现》
AOP编程 AOP(Aspect Oriented Programing) 面向切面编程 Spring动态代理开发 以切面为基本单位的程序开发,通过切脉你间的彼此协同,相互调用,完成程序构建 切面切入点额外功能 OOP(Object Oriented Programing)面向对象编程 java 以对象为基本…...
网络安全漏洞的种类分为哪些?
漏洞,是指在硬件、软件、协议的具体实现或系统安全策略上存在的缺陷,从而可以使攻击者能够在未授权的情况下访问或破坏系统。漏洞的出现,不仅会造成个人隐私信息泄露,还涉及到我们的财产安全,那么网络安全漏洞的种类分…...
C程序设计(第五版)及其参考解答,附pdf
通过网盘分享的文件:谭浩强C语言设计 链接: https://pan.baidu.com/s/1U927Col0XtWlF9TsFviApg?pwdeddw 提取码: eddw 谭浩强教授的《C程序设计》是C语言学习领域的经典教材,其内容深入浅出,适合不同层次的学习者。 一、教材版本与特点 最…...
CXL协议之FM(Fabric Management)解释
CXL协议中的FM功能详解 1. FM的核心作用 FM是CXL(Compute Express Link)架构中的核心管理实体,负责协调和管理CXL设备之间的通信、资源分配及拓扑结构。其核心功能包括: 设备发现与枚举:识别CXL拓扑中的设备&#x…...
gstreamer之GstVideoDecoder源码剖析
GStreamer 中的 GstVideoDecoder 基类旨在为实现视频解码器提供一个框架。它定义了一套规则和规范,用于指导基类与其派生子类(具体的视频解码器)之间如何交互与协作。 /*** SECTION:gstvideodecoder* title: GstVideoDecoder* short_descrip…...
Windows部署deepseek R1训练数据后通过AnythingLLM当服务器创建问答页面
如果要了解Windows部署Ollama 、deepseek R1请看我上一篇内容。 这是接上一篇的。 AnythingLLM是一个开源的全栈AI客户端,支持本地部署和API集成。它可以将任何文档或内容转化为上下文,供各种语言模型(LLM)在对话中使用。以下是…...
嵌入式软件开发--面试总结
(1)公司简介:做打印机设备、项目涉及到操作系统 (2)面试内容:笔试题技术面试 //32位单片机c语言程序typedef struct{int a;char b;char c;}str1;typedef struct{char a;int b;char c;}str2;void function…...
测试专项3:算法测试基础理论速查手册
1 算法测试的基本概念 1.1 传统软件测试 vs. 算法测试 在软件工程领域,传统软件测试主要关注程序逻辑的正确性。测试人员通过预设输入与期望输出的对比,确保软件程序能够按照设计要求执行,从而发现代码中的错误或缺陷。常见的测试方法包括单…...
基于Springboot+Typst的PDF生成方案,适用于报告打印/标签打印/二维码打印等
基于SpringbootTypst的PDF生成方案,适用于报告打印/标签打印/二维码打印等。 仅提供后端实现 Typst2pdf-for-report/label/QR code github 环境 JDK11linux/windows/mac 应用场景 适用于定制化的报告模板/标签/条码/二维码等信息的pdf生成方案。通过浏览器的p…...
轻松迁移 Elasticsearch 数据:如何将自建索引导出并导入到另一个实例
概述 在日常的 Elasticsearch 运维和数据管理中,数据迁移是一个常见的需求。无论是为了备份、升级,还是将数据从一个集群迁移到另一个集群,导出和导入索引数据都是至关重要的操作。本文将详细介绍如何将自建 Elasticsearch 实例中的索引数据…...
【C#语言】C#同步与异步编程深度解析:让程序学会“一心多用“
文章目录 ⭐前言⭐一、同步编程:单线程的线性世界🌟1、寻找合适的对象✨1) 🌟7、设计应支持变化 ⭐二、异步编程:多任务的协奏曲⭐三、async/await工作原理揭秘⭐四、最佳实践与性能陷阱⭐五、异步编程适用场景⭐六、性能对比实测…...
【Linux】——环境变量与进程地址空间
文章目录 环境变量环境变量的概念常见的环境变量PATH相关指令 main的三个参数前两个参数第三个参数 程序地址空间进程地址空间 环境变量 环境变量的概念 环境变量一般是指在操作系统中用来指定操作系统运行环境的一些参数,将来会以shell的形式传递给所有进程&…...
docker、docker-compose常用命令
初学者使用的docker、docker-compose常用命令,日常练习,环境简单搭建。 一、docker 1.1、安装docker 1.1.1、yum安装 #安装docker的数据存储驱动包 yum install -y yum-utils device-mapper-persistent-data lvm2 #设置新的安装源、下载配置文件到…...
LS-NET-006-思科MDS 9148S 查看内存
LS-NET-006-思科MDS 9148S 查看内存 方法一:使用 show version 命令 该命令可显示设备的基本系统信息,包括内存总量。 登录交换机的CLI(通过控制台或SSH连接)。输入命令: show version 在输出中查找类似以下内容…...
Pytorch使用手册—自定义函数的双重反向传播与自定义函数融合卷积和批归一化(专题五十二)
1. 使用自定义函数的双重反向传播 有时候,在反向计算图中运行两次反向传播是有用的,例如计算高阶梯度。然而,支持双重反向传播需要对自动求导(autograd)有一定的理解,并且需要小心处理。支持单次反向传播的函数不一定能够支持双重反向传播。在本教程中,我们将展示如何编…...
OpenCV图像拼接(4)图像拼接模块的一个匹配器类cv::detail::BestOf2NearestRangeMatcher
操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 cv::detail::BestOf2NearestRangeMatcher 是 OpenCV 库中用于图像拼接模块的一个匹配器类,专门用于寻找两幅图像之间的最佳特征点匹配…...
springmvc中如何自定义入参注解并自动注入值
在Spring中,HandlerMethodArgumentResolver 是一个非常强大的接口,用于自定义控制器方法参数的解析逻辑。以下是一个完整的示例,展示如何使用 HandlerMethodArgumentResolver 并结合自定义注解来实现特定的参数解析逻辑。 ### **1. 定义自定…...
前端安全之DOMPurify基础使用
DOMPurify时一款专门用于防御XSS攻击的库,通过净化HTML的内容,移除恶意脚本,同时保留安全的HTML标签和数学。以下是基础使用指南,涵盖基础的安装与用法。 1,安装DOMPurify 通过npm或yarn安装 npm install dompurify …...
test skills
一、测试技术 1、python GitHub - taizilongxu/interview_python: 关于Python的面试题 GitHub - JushuangQiao/Python-Offer: 《剑指Offer》面试题Python实现 GitHub - vinta/awesome-python: An opinionated list of awesome Python frameworks, libraries, software and …...