当前位置：首页 > news >正文

MySQL下200GB大表备份，利用传输表空间解决停服发版表备份问题

news 来源：原创 2025/9/19 8:50:52

MySQL下200GB大表备份，利用传输表空间解决停服发版表备份问题

问题背景

在停服发版更新时，需对 200GB 大表（约 200 亿行数据）进行快速备份以预防操作失误。

因为曾经出现过有开发写的发版语句里，UPDATE语句的WHERE条件写错了，原本只需要更新几行数据，最终导致更新了半张表的数据。

MySQL版本是MySQL 8.0.X，为了预防这种情况，需要对某个重要的大表进行预先备份，以便可以及时回滚，及时恢复，及时回退，对于备份方法大概有下面几种:

方案	优点	缺点
`mysqldump` 导出	简单易用	大表导出耗时（200GB 可能需数小时）
`CREATE TABLE...SELECT`	直接 SQL 操作	数据复制慢，锁表风险高
表空间传输	秒级备份，零数据复制	需操作系统权限，依赖文件拷贝
主从复制/延迟复制	无需停服，恢复灵活	需主从架构，维护成本高

这个场景的核心需求：停服更新的时间非常有限，比如1个小时之内要完成更新。

操作流程

前面两种都比较简单，通过导数据的方法来备份旧表，万一出现问题，可以使用导出来的数据进行快速恢复，第三种方法估计比较少人用，下面是具体操作方法

源表与备胎表结构

-- 源表（aa）
CREATE TABLE aa (id int(11) DEFAULT NULL,sname VARCHAR(100)
) ENGINE=InnoDB;-- 备胎表（bb）
CREATE TABLE bb (id int(11) DEFAULT NULL,sname VARCHAR(100)
) ENGINE=InnoDB;greatsql> INSERT INTO aa SELECT 1,"nihao";

2、备胎表卸载表空间：

greatsql> ALTER TABLE bb DISCARD TABLESPACE;  -- 加锁并生成配置文件

3、源表执行表空间导出：

greatsql> USE school;
greatsql> FLUSH TABLES aa FOR EXPORT;

4、拷贝表空间文件（ibd和cfg文件），然后重新赋予权限，确保导入表空间时候不会出现问题

$ cd /data/mysql/mysql3306/data/school
$ cp aa.ibd  bb.ibd  
$ cp aa.cfg  bb.cfg
$ chown -R mysql:mysql /data/mysql/mysql3306/data/*

5、在相同数据库下，备胎表和源表都导入表空间

greatsql> USE school;
greatsql> UNLOCK TABLES;  
greatsql> ALTER TABLE bb IMPORT TABLESPACE;
greatsql> ALTER TABLE aa IMPORT TABLESPACE;

6、查询表数据，验证数据一致性

greatsql> USE school;
greatsql> SELECT * FROM bb;
greatsql> SELECT * FROM aa;

查询表数据正常，没有任何问题

greatsql> SELECT * FROM aa;
+------+-------+
| id   | sname |
+------+-------+
|    1 | nihao |
+------+-------+
1 row in set (0.01 sec)greatsql> SELECT * FROM bb;
+------+-------+
| id   | sname |
+------+-------+
|    1 | nihao |
+------+-------+
1 row in set (0.00 sec)

查看表的数据文件，没什么问题

$ ll
total 228
-rw-r----- 1 mysql mysql 114688 Mar  4 16:51 aa.ibd
-rw-r----- 1 mysql mysql    781 Mar  4 16:52 bb.cfg
-rw-r----- 1 mysql mysql 114688 Mar  4 16:52 bb.ibd

7、发版更新与回滚

-- 发版操作（示例）
greatsql> UPDATE aa SET sname = 'new_value' WHERE id > 1;

8、如果发版有问题，直接交换表名，最快速度恢复整个表的数据

-- 回滚操作（交换表名）
greatsql> ALTER TABLE aa RENAME TO aa_temp; 
greatsql> ALTER TABLE bb RENAME TO aa;

总结

整个操作最重要的是第4步，操作系统级别的拷贝就完成了整个表的备份，相比于数据倒来倒去在速度上要快不少。另外，第5步的备胎表也可以不用导入，只有当发现发版出现问题时候，再导入也可以。

这种方法的关键优势如下

直接拷贝 .ibd 文件，无需逐行复制数据。
零锁表时间：FLUSH TABLES tablename FOR EXPORT 仅短暂加锁（秒级）。
快速恢复：通过表名交换实现秒级回滚。

特别适合于这几种场景：无主从架构的单实例环境、大表快速备份、停服时间敏感。

当然，如果有主从架构的话，则更加推荐使用第四种方法，在操作上也更加可控，短时间也能保证能够完成。

MySQL下200GB大表备份，利用传输表空间解决停服发版表备份问题

MySQL下200GB大表备份，利用传输表空间解决停服发版表备份问题问题背景在停服发版更新时，需对 200GB 大表（约 200 亿行数据）进行快速备份以预防操作失误。因为曾经出现过有开发写的发版语句里，UPDATE语句的WHERE条…...

编程日记 2025/9/19 8:50:52

《Sqoop 快速上手：安装 + 测试实战》

推荐原文见：http://docs.xupengboo.top/bigdata/di/sqoop.html Sqoop（SQL-to-Hadoop） 是 Apache 开源的工具，专门用于在 Hadoop 生态系统（如 HDFS、Hive、HBase） 和关系型数据库（如 MySQL、O…...

编程日记 2025/9/14 6:41:45

MySQL体系架构（二）

MySQL中的目录和文件 2.2.1.bin目录在MysQL的安装目录下有一个特别特别重要的bin目录，这个目录下存放着许多可执行文件。其他系统中的可执行文件与此的类似。这些可执行文件都是与服务器程序和客户端程序相关的。 2.2.1.1.启动MySQL服务器程序在UNIX系统中用来启动MySO…...

编程日记 2025/9/19 3:24:30

为什么反激采用峰值电流控制模式而非电压模式

电压模式控制是传统的控制方法，通过检测输出电压，与参考电压比较，然后调整PWM的占空比。这种方法的优点是简单，只需要一个电压反馈环路。但缺点可能包括对输入电压变化的响应较慢，动态性能不足，尤其是在负载…...

编程日记 2025/9/15 1:09:57

JavaScript逆向工程中的插桩技术完全指南

一、什么是插桩技术？ 插桩（Instrumentation）是逆向工程中的核心技术之一，指的是在不改变程序原有逻辑的前提下，向目标程序中插入额外的代码或监控点，用于收集运行时信息、修改程序行为或进行调试分析。插…...

编程日记 2025/9/19 3:39:12

LLM应用实战1-基本概念

文章目录基本概念1. 提示词工程（Prompt Engineering）2. AI Agent（智能代理）3. Model Context Protocol (MCP)4. Function Calling（函数调用）5. Retrieval-Augmented Generation (RAG)6. FineTuning&#x…...

编程日记 2025/9/17 20:14:03

数据结构--堆

一、堆的定义堆是一棵完全二叉树，树中的每个结点的值都不小于（或不大于）其左右孩子结点的值。其中，如果父亲结点的值始终大于或等于孩子结点的值，那么称这样的堆为大顶堆，这时每个结点的值都是以它为根节…...

编程日记 2025/9/9 6:08:46

题目代码 #include <bits/stdc.h> using namespace std; using LL long long;const int N 1e6 10; const int mod 998244353; int a[N]; int st[N][22];int get(int l, int r) {int x r - l 1;int k log2(x);return __gcd(st[l][k], st[r - (1 << k) 1][…...

编程日记 2025/9/10 6:42:16

ES6规范新特性总结

ES6新特性 var、let和const不存在变量提升暂时性死区不允许重复声明解构赋值用途：交换变量的值从函数返回多个值提取JSON数据遍历map结构输入模块的制定方法字符串的扩展codePointAt()String.fromCharCode()at()includes(),startsWith(),endsWith()repeat()padSta…...

编程日记 2025/9/9 19:10:02

AI模型多阶段调用进度追踪系统设计文档

AI模型多阶段调用进度追踪系统设计文档一、系统概述为解决AI模型处理大型文件时响应时间长的问题，我们设计并实现了一套异步进度追踪系统。该系统采用Server-Sent Events (SSE) 技术，建立从服务器到客户端的单向实时通信通道，使前端能够实…...

编程日记 2025/9/8 4:45:57

[MSPM0开发]最新版ccs20.0安装、配置及导入第一个项目

一、ccs20.0 下载与安装 Code Composer Studio™ 集成式开发环境 (IDE)，适用于 TI 微控制器和处理器的集成开发环境 (IDE)。它包含一整套丰富的工具，用于构建、调试、分析和优化嵌入式应用。 ccs下载地址链接安装比较简单，在次略过。二、…...

编程日记 2025/9/11 18:32:14

Win10怎么关闭远程控制？

对于Windows 10用户来说，Win10关闭远程桌面可以有效防止不必要的远程连接，从而保护个人数据和系统安全。那么，Win10怎么关闭远程控制功能呢？接下来，我们将详细介绍Win10关闭远程控制的具体操作步骤。步骤1.双击桌面上…...

编程日记 2025/9/19 2:31:24

AI重构知识生态：大模型时代的学习、创作与决策革新

📝个人主页🌹：慌ZHANG-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言：从知识的获取到知识的共生过去，我们对“知识”的理解，大多依赖书籍、老师、经验和专业的培训体系。而在大语言模型（Large Language Models, LLM）崛起之后，AI成为了一种新的“知识界面”：…...

编程日记 2025/9/12 5:18:47

牛客小红杀怪

通过枚举所有使用y技能的次数来枚举出所有方案，选出最合适的 #include<iostream> #include<cmath> #include<algorithm> using namespace std;int a, b, x, y; int ans500;int main() {ios::sync_with_stdio(0);cin.tie(0);cout.tie(0);cin>&…...

编程日记 2025/9/11 10:09:28

Spring入门概念以及入门案例

Spring入门案例 Springspring是什么spring的狭义与广义spring的两个核心模块IoCAOP Spring framework特点spring入门案例不用new方法，如何使用返回创建的对象容器：IoC控制反转依赖注入 Spring spring是什么 spring是一款主流的Java EE轻量级开源框架 …...

编程日记 2025/9/19 5:53:03

SpringAI调用硅基流动免费模型

一、引入Spring AI 新建一个Spring Boot的工程，在工程中引入Spring AI的依赖，Spring AI支持Ollma、类OpenAI的接口，这两个引入的pom不一样，这里示例中是使用的硅基流动的模型 …...

编程日记 2025/9/16 1:57:20

Java 开发中主流安全框架的详细对比，涵盖认证、授权、加密、安全策略等核心功能，帮助开发者根据需求选择合适的方案

以下是 Java 开发中主流安全框架的详细对比，涵盖认证、授权、加密、安全策略等核心功能，帮助开发者根据需求选择合适的方案： 1. 主流安全框架对比表框架名称类型核心功能适用场景优点缺点官网/文档Spring Security企业级安全框架认证、授…...

编程日记 2025/9/18 10:56:46

【TVM教程】在支持 CMSIS-NN 的 Arm(R) Cortex(R)-M55 CPU 和 Ethos(TM)-U55 NPU 裸机上运行 TVM

Apache TVM是一个深度的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →https://tvm.hyper.ai/ 作者：Grant Watson 本节使用示例说明如何使用 TVM 在带有 CMSIS-NN 的 Arm Cortex-M55 CPU 和 Ethos™-U55 NPU 的…...

编程日记 2025/9/19 7:23:15

【Ai/Agent】Windows11中安装CrewAI过程中的错误解决记录

CrewAi是什么，可以看之下之前写的《初识CrewAI多智能代理团队协框架》 (注：这篇是基于linux系统下安装实践的) 基于以下记录解决问题后，可以再回到之前的文章继续进行CrewAI的安装遇到问题在windows系统中安装 CrewAi 不管是使用 pip 或者…...

编程日记 2025/9/12 10:52:58

洛谷 P11962：[GESP202503 六级] 树上漫步 ← dfs + 邻接表

【题目来源】 https://www.luogu.com.cn/problem/P11962 【题目描述】小 A 有一棵 n 个结点的树，这些结点依次以 1,2,⋯,n 标号。小 A 想在这棵树上漫步。具体来说，小 A 会从树上的某个结点出发，每⼀步可以移动到与当前结点相邻的结点&…...

编程日记 2025/9/12 5:07:03

Linux shell脚本编程

什么是Shell程序设计？ 也就是给计算机发命令，让它帮你做事，你通过shell 的小工具，用键盘输入指令，linux就会根据这些指令去执行任务，就像你法号一个指令一样。 shell的强大之处？ 文件处理&a…...

编程日记 2025/9/15 1:15:03

嵌入式硬件篇---Uart和Zigbee

文章目录前言一、UART（通用异步收发传输器）1. 基本概念2. 工作原理帧结构起始位数据位校验位停止位异步通信波特率 3. 特点优点缺点 4. 典型应用二、ZigBee1. 基本概念2. 技术细节工作频段2.4GHz868MHz 网络拓扑星型网络网状网络簇状网络协议栈物理层…...

编程日记 2025/9/13 11:16:54

Linux Makefile-概述、语句格式、编写规则、多文件编程、Makefile变量分类：自定义变量、预定义变量

目录 1.make 1.1 make 命令格式 2.Makefile 核心概念‌ ‌ 2.1创建并运行 Makefile步骤 3. Makefile编写 3.1最基础Makefile 3.1.1使用默认make命令 3.1.2使用make -f 命令 3.1.3 gcc编译常用组合选项 3.1.4 make 和 make all区别 3.1.4.1 all 是默认目标 3.1.4.2 al…...

编程日记 2025/9/7 3:56:18

Kotlin日常使用函数记录

文章目录前言字符串集合1.两个集合的差集2.集合转数组2.1.集合转基本数据类型数组2.2.集合转对象数组 Map1.合并Map1.1.使用操作符1.2.使用操作符1.3.使用 putAll 方法1.4.使用 merge 函数前言记录一些kotlin开发中，日常使用的函数和方式之类的，…...

编程日记 2025/9/11 23:00:28

【JavaScript】异步编程

个人主页：Guiat 归属专栏：HTML CSS JavaScript 文章目录 1. 异步编程基础1.1 同步与异步1.1.1 同步执行1.1.2 异步执行 1.2 JavaScript 事件循环 2. 回调函数2.1 基本回调模式2.2 错误处理2.3 回调地狱 3. Promise3.1 Promise 基础3.2 Promise 链式调用3…...

编程日记 2025/9/10 19:21:23

批量合并多张 jpg/png 图片为长图或者 PDF 文件，支持按文件夹合并图片

我们经常会碰到需要将多张图片拼成一张图片的场景，比如将多张图片拼成九宫格图片，或者将多张图片拼成一张长图。还有可能会碰到需要将多张图片合并成一个完整的 PDF 文件来方便我们进行打印或者传输等操作。那这些将图片合并成一张图片或者一个完整的文档…...

编程日记 2025/9/17 17:29:57

使用docker 安装向量数据库Milvus

Miluvs 官网 www.milvus.io/ https://milvus.io/docs/zh/install_standalone-docker-compose-gpu.md 一、基本概念向量数据库：Milvus是一款云原生向量数据库，它支持多种类型的向量，如浮点向量、二进制向量等，并且可以处理大规模…...

编程日记 2025/9/18 12:22:02

在线PDF文件拆分工具,小白工具功能实用操作简单,无需安装的文档处理工具

小白工具中的在线 PDF 文件拆分工具是一款功能实用、操作便捷的文档处理工具，以下是其具体介绍： 操作流程上传 PDF 文档：打开小白工具在线PDF文件拆分工具 - 快速、免费拆分PDF文档 - 小白工具的在线 PDF 文件拆分页面，通过点击 …...

编程日记 2025/9/18 22:08:24

Blender画图——阵列使用

如图我需要多个图示的图形，并且排成一个阵列效果。如图依次点击效果。不要用相对偏移，要用恒定偏移。如图设置数量。如图完成x方向的画图后，我们需要在y方向再用一个阵列。...

编程日记 2025/9/4 13:05:12

VSCode 常用快捷键

Visual Studio Code (VSCode) 提供了许多快捷键，以帮助开发者提高编码效率。以下是一些常用的 VSCode 快捷键，这些快捷键适用于大多数操作系统，但在 macOS 上可能会有所不同（通常是将 Ctrl 替换为 Cmd）。 1. 文件和编…...

编程日记 2025/9/18 14:23:00

缓存相关问题

Redis 持久化机制缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题热点数据和冷数据是什么 Memcache与Redis的区别都有哪些？单线程的redis为什么这么快 redis的数据类型，以及每种数据类型的使用场景，Redis 内部结构 redis的过期策略以及内存淘汰机制 Redis 为什么…...

编程日记 2025/9/12 5:07:03

每日一题（小白）暴力娱乐篇22

为什么要经常学习暴力和一些娱乐呢？因为对于我们来说，暴力是最直接的方式是肯定能满足一部分答案的方法，娱乐是为了让算法变得更有趣，你愿意多去尝试多去练习，这才是最要紧的。由题意知，就是计算两个数字…...

编程日记 2025/9/9 13:42:10

深入理解 Vuex：核心概念、API 详解与最佳实践

目录 Vuex 简介核心概念与工作流程核心 API 详解模块化开发 （modules）插件（Plugins）与扩展高级技巧与最佳实践 Vuex 简介 Vuex 是 Vue.js 的官方状态管理库，专为复杂应用设计，用于集中管理所有组件的共享状…...

编程日记 2025/9/11 21:57:32

成为一种国家战略范畴的新基建的智慧园区开源了。

智慧园区场景视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程，实现芯片、算法、应用的全流程组合，从而大大减少企业级应用约95%的开发成本。用户只需在界…...

编程日记 2025/9/12 11:54:15

拜特科技助力科达制造，资金管理信息化迈入新阶段

近日，拜特科技成功签约科达制造股份有限公司（以下简称“科达制造”）资金管理系统升级项目。科达制造通过资金管理系统的不断迭代升级和优化，能够更加高效地管理和运用资金，提高企业的资金利用效率，满足企业…...

编程日记 2025/9/18 13:54:31

每日一题（小白）暴力娱乐篇20

这个题用瞪眼法解决，snakeaekns 代码如下👇 public static void main(String[] args) {Scanner scannew Scanner(System.in);System.out.println("aekns");scan.close();} 第二种方式：将snack拆解，按照大小进行排序。…...

编程日记 2025/9/10 12:18:34

Flutter iOS 项目中 VolumeControllerPlugin 报错解决方案

Flutter iOS 项目中 VolumeControllerPlugin 报错解决方案在开发 Flutter 应用时，有时会遇到 iOS 项目构建失败的情况，其中一种较为常见的错误是与 VolumeControllerPlugin 相关的报错，错误信息如下： Could not build the prec…...

编程日记 2025/9/19 1:40:37

Java实战报错 tcp

为什么报错tcp Preview 从图片中的错误信息来看，程序遇到了 java.net.BindException，具体错误信息是 "Address already in use: bind"。这意味着你的程序试图绑定到一个已经被其他进程占用的端口（在本例中是9999端口）。…...

编程日记 2025/9/9 11:23:04

【补题】P10424 [蓝桥杯 2024 省 B] 好数（数位dp）

题意： 一个整数如果按从低位到高位的顺序，奇数位（个位、百位、万位……）上的数字是奇数，偶数位（十位、千位、十万位……）上的数字是偶数，我们就称之为“好数”。给定一个正整数 N…...

编程日记 2025/9/15 18:07:15

控制 ElementUI el-table 树形表格多选框的显示层级

1、你可以通过 selectable 属性来控制哪些行可以选择（显示多选框） <el-table:data"tableData"row-key"id"default-expand-all:tree-props"{children: children, hasChildren: hasChildren}"select"handleSelect&…...

编程日记 2025/9/8 1:08:42

今日行情明日机会——20250409

今日行情还需要考虑关税对抗~ 2025年4月8日涨停的主要行业方向分析 1. 军工（19家涨停） 细分领域：国防装备、航空航天、军民融合。催化因素：国家安全战略升级、国防预算增加、重大军工项目落地预期。 2. 免税（15家涨…...

编程日记 2025/9/18 19:30:46

基础知识补充篇：什么是DAPP前端连接中的provider

专栏：区块链入门到放弃查看目录-CSDN博客文章浏览阅读352次。为了方便查看将本专栏的所有内容列出目录，按照顺序查看即可。后续也会在此规划一下后续内容，因此如果遇到不能点击的，代表还没有更新。声明：文中所出观点大多数源于笔者多年开发经验所总结，如果你想要知道区块…...

编程日记 2025/9/11 3:19:56

47常用控件_QWidget的toolTip属性

一个 GUI 程序,界面比较复杂, 按啥的很多~~ 当你把鼠标悬停到这个控件上的时候,就能弹出一个提示~~ setToolTip：设置提示内容 setToolTipDuring：设置提示的时间 toolTip 只是给用户看的.在代码中一般不需要获取到 toolTip. 代码示例: 设置按钮的 toolT…...

编程日记 2025/9/13 1:26:09

解密工业控制柜：认识关键硬件（PLC）

前言作为一名视觉开发工程师，我们不仅要做到做好自己的工作，我们更需要在工业现场学习更多知识，最近网上流传很多，“教会徒弟，饿死师傅”；在自动化行业中，在项目下来很忙的时候，我们…...

编程日记 2025/9/9 21:49:08

PDF编辑,小白工具功能丰富多样,在线无需下载,操作便捷,新手小白必备

在当今数字化办公和学习的时代，PDF 文件的使用极为广泛，而小白工具的在线 PDF 浏览器以其强大且丰富的功能，成为了一款不可多得的优质 PDF 阅读工具，PDF编辑,在线无需下载,操作便捷,新手小白必备以下为您详细推荐： 功能…...

编程日记 2025/9/3 6:21:56

网络安全公司推荐：F5荣膺IDC全球Web应用与API防护领导者

API的广泛使用正推动安全实践的重大变革。研究表明，有41%的企业管理的API数量至少与应用数量相等，因此企业亟需实现全面的API防护。近日，IDC发布《IDC MarketScape：2024年全球Web应用和API防护企业平台供应商评估报告》&#xff0…...

编程日记 2025/9/11 19:50:44

WPF轮播图动画交互动画缩放展示图片

WPF轮播图动画交互动画缩放展示图片效果如下图： XAML代码： <Window x:Class"Caroursel.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/20…...

编程日记 2025/9/9 0:09:04

玩转Docker | 使用Docker安装FileDrop文件共享工具

玩转Docker | 使用Docker安装FileDrop文件共享工具前言一、FileDrop介绍FileDrop简介主要特点二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署FileDrop服务下载镜像创建容器检查容器状态检查服务端口安全设置四、访问FileDrop应用创建名称五、测试与使用…...

编程日记 2025/9/18 22:17:22

实战篇-主时钟约束

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结前言这是对B站傅里叶的猫视频时钟约束的笔记一、主时钟约束 report_clock_networks …...

编程日记 2025/9/11 10:21:33

Oracle JDBC驱动 ojdbc14：使用指南与版本说明（附资源下载）

ojdbc14 是 Oracle 公司提供的 JDBC（Java 数据库连接）驱动程序，用于连接 Java 应用程序与 Oracle 数据库。 ojdbc14.jar包已下载：https://pan.quark.cn/s/5ee7841dcd9c 关键信息用途：使 Java 应用程序能够连接 Orac…...

编程日记 2025/9/15 5:49:27

MySQL下200GB大表备份，利用传输表空间解决停服发版表备份问题

问题背景

操作流程

总结

相关文章：