当前位置：首页 > news >正文

AWS数据库迁移实战：本地MySQL零停机上云方案

news 来源：原创 2025/6/28 2:14:54

一、迁移场景

本地环境：自建MySQL 5.7（数据量500GB+），业务要求迁移停机时间<5分钟
目标架构：

二、迁移四步法

步骤1：环境准备（耗时30分钟）

1.1 创建Aurora MySQL

# AWS CLI创建Aurora集群
aws rds create-db-cluster \--db-cluster-identifier my-aurora \--engine aurora-mysql \--engine-version 5.7 \--master-username admin \--master-user-password 'S3cure!2023' \--db-subnet-group my-subnet-group

1.2 配置网络连通

推荐方案：Site-to-Site VPN
- 在AWS VPC控制台创建虚拟私有网关
- 配置客户网关（输入本地防火墙公网IP）
- 建立VPN连接并下载配置文件

步骤2：AWS DMS配置（核心环节）

2.1 创建复制实例

# Python Boto3脚本（自动化创建）
import boto3
dms = boto3.client('dms')response = dms.create_replication_instance(ReplicationInstanceIdentifier='dms-replication-1',AllocatedStorage=100,  # GBReplicationInstanceClass='dms.t3.large',EngineVersion='3.4.7',PubliclyAccessible=False,VpcSecurityGroupIds=['sg-0xxxxxxx']
)

2.2 定义源/目标端点

配置项	源端点（本地MySQL）	目标端点（Aurora）
ServerName	192.168.1.100	`my-aurora.cluster-xxx.rds.amazonaws.com`
Port	3306	3306
SSL	require	require
Extra	`initstmt=SET FOREIGN_KEY_CHECKS=0`	`parallelLoadThreads=4`

步骤3：启动迁移任务（关键代码）

# DMS任务配置模板（YAML格式）
TaskSettings:TargetMetadata:ParallelLoadThreads: 8FullLoadSettings:MaxFullLoadSubTasks: 16ValidationSettings:EnableValidation: trueLogging:EnableLogging: true

任务类型选择：

pietitle 迁移模式选择“全量+增量” ： 75“仅全量” ： 15“仅增量” ： 10

步骤4：切换与验证

4.1 割接流程

停止应用写入
等待DMS延迟归零（CloudWatch查看CDCLatencySource）
修改应用连接串指向Aurora终端节点
重启应用

4.2 数据一致性校验

-- 快速校验脚本
SELECT (SELECT COUNT(*) FROM orders) AS src_count,(SELECT COUNT(*) FROM aurora_db.orders) AS tgt_count,MD5(GROUP_CONCAT(id, amount)) AS src_md5,(SELECT MD5(...) FROM aurora_db.orders) AS tgt_md5;

三、避坑指南

陷阱1：大表迁移超时

症状：DMS卡在Table state: LOADING
解决方案：
1. 调整任务参数：

{"LobMaxSize": 65536,  // 增大LOB字段处理"BatchApplyEnabled": true  // 启用批量提交
}

2.对大表启用分片加载：

ALTER TABLE orders COMMENT='DMS_SPLIT';

陷阱2：时区乱码

预防措施：

# 创建RDS参数组
aws rds create-db-parameter-group \--group-name my-utf8-group \--description "UTF8 settings" \--db-parameter-group-family aurora-mysql5.7
# 设置字符集
aws rds modify-db-parameter-group \--group-name my-utf8-group \--parameters "ParameterName=character_set_server,ParameterValue=utf8mb4"

四、成本优化

资源	配置	月成本（美元）	节省建议
DMS实例	dms.t3.large	$108	迁移后立即删除
Aurora	db.r5.large	$348	启用预留实例-40%
数据传输	500GB	$45	启用压缩节省50%

总成本：迁移期约$500/月，稳定后$200/月

五、增强方案

灾备扩展：启用Aurora跨区复制

aws rds create-db-cluster \--global-cluster-id my-global-db \--source-db-cluster-identifier my-aurora

2.性能监控：CloudWatch仪表盘配置

迁移成果：某电商平台使用此方案：

迁移耗时：3天（含测试）
停机时间：72秒
性能提升：TPS从1200→3500

技术栈参考：AWS DMS文档 |

AWS数据库迁移实战：本地MySQL零停机上云方案

一、迁移场景本地环境：自建MySQL 5.7（数据量500GB），业务要求迁移停机时间<5分钟目标架构： 二、迁移四步法步骤1：环境准备（耗时30分钟） 1.1 创建Aurora MySQL # AWS CLI创…...

编程日记 2025/6/28 2:14:54

windows汇编

今天发现一个很好的视频，讲windows汇编/调试等。是个老太太讲的，但是讲的真好。 Create/Assemble/Link x64 Windows asm exe, Debugging Tools for Windows (WinDbg), stack shadow store. 照例边看边记录边实验。 1. install visual studio 2. instal…...

编程日记 2025/6/27 23:22:33

用 python 开发一个可调用工具的 AI Agent，实现电脑配置专业评价

在人工智能时代，AI Agent凭借其强大的任务处理能力，逐渐成为开发人员手中的得力工具。今天，我们就来一起动手，用Python打造一个能够调用工具的AI Agent，实现根据电脑信息对电脑配置进行专业评价的功能。一、项目创建…...

编程日记 2025/6/27 23:23:52

Java自定义线程池(ThreadPoolExecutor)

Java线程池使用示例下面将展示如何使用自定义线程池(ThreadPoolExecutor)来执行任务，包括提交Runnable任务、Callable任务，处理拒绝策略以及关闭线程池。 import java.util.concurrent.*;public class ThreadPoolDemo {// 自定义线程工厂（…...

编程日记 2025/6/27 23:23:34

386. 字典序排数

386. 字典序排数理解题目要求题目要求我们生成从 1 到 n 的整数的字典序排列，并且要求： 时间复杂度 O(n)：不能使用直接排序（通常指的是使用标准的排序算法（如快速排序、归并排序、堆排序等）对数…...

编程日记 2025/6/27 23:13:35

Kaggle-Plant Seedlings Classification-(多分类+CNN+图形处理)

Plant Seedlings Classification 题意： 就是给出很多图片，预测出图片中的小草是什么类型的。数据处理： 1.去除图片背景，只保留物体。 2.图片数据加强。建立模型： 1.CNN的Sequential()，多层卷积块和…...

编程日记 2025/6/27 23:00:28

Android 应用多语言与系统语言偏好设置指南

文章目录创建语言包以中文包为例以系统为主导的“应用语言偏好设置”从你的应用调到“应用语言偏好设置” 创建语言包我们可以使用一个很蹩脚的办法来实现： 以中文包为例 values是默认values-zh-rCN是简体中文values-zh-rTW是繁体（台湾省&#xff…...

编程日记 2025/6/27 23:02:01

Excel学习01

Excel是微软公司开发的一款电子表格软件，可以广泛应用于数据处理、统计分析、图表制作、财务管理和自动化办公领域等。Excel在实际工作中使用的非常广泛，为此本次开始针对excel的使用进行一系列讲解。展示使用的软件是WPS，它和excel的使用方…...

编程日记 2025/6/27 23:31:03

Loggers 配置解析（log4j.xml)

Loggers 配置解析我们通过下面的例子来理解 log4j 的 Loggers 配置是如何决定日志输出规则的。 <Loggers><Root level"debug"><AppenderRef ref"consoleAppender" level"info"/&g…...

编程日记 2025/6/27 23:40:17

Matplotlib 绘图库使用技巧介绍

目录前言 Matplotlib 简介快速入门图形结构解剖常用绘图函数子图与布局单行多列子图： 网格布局： 自定义位置： 样式与标注中文字体与科学计数图例、网格、坐标轴动态图与动画三维绘图常见问题与技巧前言 Matplotli…...

编程日记 2025/6/27 23:27:10

服务器如何从http升级到https（nginx）

1.证书申请可以到阿里云或者华为云去申请证书，申请完下载证书是个压缩包，然后解压可以到到几个文件夹，找到 .Nginx 文件夹打开会有两个文件，将这两个文件上传至nginx/conf/cert文件夹下（cert需要手…...

编程日记 2025/6/27 6:48:54

解决戴尔电脑No bootable devices found问题

解决戴尔电脑No bootable devices found问题一、调整BIOS设置 1、在关机状态下，打开计算机电源，在出现 Dell 徽标时按 F2 键以引导至 BIOS 设置菜单。 2、选择 Boot sequence（引导顺序 ）并将选项从 Legacy（传统 &…...

编程日记 2025/6/27 3:55:45

FPGA基础 -- Verilog 行为级建模之条件语句

Verilog 的行为级建模（Behavioral Modeling）中的条件语句（Conditional Statements），逐步从基础到实际工程应用，适合有RTL开发基础但希望深入行为建模的人。一、行为级建模简介行为级建模（Beh…...

编程日记 2025/6/27 22:46:53

最大公约数

题目描述输入两个正整数a,b,求a,b的最大公约数。输入输入正整数a和b,中间用空格隔开输出输出最大公约数样例输入 144 84样例输出 12程序分析 ：运用辗转相除法（欧几里得算法） 用较大数除以较小数，取余数&#xff1b…...

编程日记 2025/6/27 23:26:01

springboot入门之路(一)

文章目录 1.Spring Boot介绍2.开发你的第一个Spring Boot应用2.1创建POM2.2yml和properties的配置区别yml配置properties配置 2.3springbootDemo代码2.4创建一个可执行jar 参考文档：SpringBoot参考指南；SpringBoot实战 1.Spring Boot介绍 Spring Boot使…...

编程日记 2025/6/27 23:09:37

vue | vue 插件化机制，全局注册和局部注册

组件插件化：提升组件的可复用性、扩展性和独立性组件插件化实现方式 ├── 注册机制 │ ├── 全局注册（app.use）→ install, 循环注册, 配置项 │ └── 局部注册（import components） │ ├── 插件化能力…...

编程日记 2025/6/27 23:20:41

技术与情感交织的一生（八）

目录融合东西厂公接风宴头痛 “巴巴罗萨” 突击推进助攻 96小时寒冬食堂反攻消耗 Delphi 西厂内困外患 “敦刻尔克” 多线作战大撤退资源融合东西厂公初次来到纸箱厂，是主厂区，感觉很大，相对西面正在…...

编程日记 2025/6/27 13:10:11

#让我们的电脑可以支持服务访问 #需要一个web框架 #pip install Flask from flask import Flask, render_template,request from random import randint app Flask(__name__) app.route(/index) def index():uname request.args.get("uname")return f"主页&am…...

编程日记 2025/6/27 17:16:02

利用Java进行验证码的实现——算数验证码

我主要使用使用 Java Swing 库创建一个 GUI 窗口，然后在窗口中显示生成的算术验证码图片，并提供一个文本框和一个按钮，输入验证码并验证显示结果。代码如下： package calculate; import javax.swing.*; import java.awt.*; imp…...

编程日记 2025/6/27 22:46:55

OpenStack入门体验

1.1云计算概述相信大家都听到很多的阿里云、腾讯云、百度云等等这些词,那到底什么是云计算?云计算又能做什么? 1.1.1什么是云计算云计算(cloud computing)是一种基于网络的超级计算模式,基于用户的不同需求,提供所需的资源,包括计算资源、存储资源、网络资源等。云计算…...

编程日记 2025/6/27 23:36:13

实时中值滤波 + 低通滤波示例程序（STM32环境）

一、功能概述本示例实现两个滤波器： 中值滤波器（Median Filter）：对短期异常值（如尖峰噪声）有良好的抑制能力；低通滤波器（Low-Pass Filter）：对数据进行平滑…...

编程日记 2025/6/27 23:10:57

AppBarLayout+ CoordinatorLayout，ViewPager2为什么不会覆盖AppBarLayout

<?xml version"1.0" encoding"utf-8"?> <layout xmlns:android"http://schemas.android.com/apk/res/android"xmlns:app"http://schemas.android.com/apk/res-auto"xmlns:tools"http://schemas.android.com/tools&quo…...

编程日记 2025/6/27 23:10:11

C语言——枚举

目录一、枚举的基本概念 1. 定义与语法 2. 枚举变量的声明二、枚举的特性 1. 整型常量的本质 2. 作用域规则 3. 内存占用三、枚举的使用场景 1. 替代宏定义常量 2. 状态机实现 3. 函数返回值类型四、枚举与其他类型的对比五、高级技巧与注意事项 1. 位掩码枚…...

编程日记 2025/6/27 23:27:56

148. 排序链表

题目： 给你链表的头结点 head ，请将其按升序排列并返回排序后的链表。示例1： 解题思路： 这道题是一道综合题，考察了链表中间节点合并有序链表。首先我们链表中间节点，然后从中间结点的前一个节点处断…...

编程日记 2025/6/27 13:10:43

26.【.NET8 实战--孢子记账--从单体到微服务--转向微服务】--单体转微服务--角色权限管理

在现代企业级应用中，角色权限管理是保障系统安全和提升用户体验的核心基础功能。一个高效的角色权限系统不仅能够有效防止越权访问，还能简化系统的维护和扩展。本文将系统性介绍角色权限管理的核心实现思路，包括架构设计、性能优化、安全机制…...

编程日记 2025/6/27 5:08:34

flowable查询最新定义的流程梳理

背景。使用ruoyi-flowable-plus进行二次开发。将项目与流程绑定后查询相关流程表单时发现问题。于是梳理逻辑汇总了下面的思维导图和相关代码。查询逻辑。流程定义Key 最流程新版本(orderByProcessDefinitionVersion) 取第一条流程实例最新的一条版本记录。这里一定要用流程…...

编程日记 2025/6/27 23:28:30

kafka消费的模式及消息积压处理方案

目录 1、kafka消费的流程 2、kafka的消费模式 2.1、点对点模式 2.2、发布-订阅模式 3、consumer消息积压 3.1、处理方案 3.2、积压量 4、消息过期失效 5、kafka注意事项 Kafka消费积压(Consumer Lag)是指消费者处理消息的速度跟不上生产者发送消息的速度，导致消息在…...

编程日记 2025/6/27 23:12:16

基于多模态文档解析与RAG的行业知识库构建技术指南

1. 技术背景随着企业非结构化数据（扫描件、PDF、图像等）占比超过80%，传统关键词检索已无法满足精准问答需求。本文提出融合**计算机视觉（CV）与大语言模型（LLM）**的解决方案，关键技…...

编程日记 2025/6/27 21:43:43

UVa1408/LA4018 Flight Control

UVa1408/LA4018 Flight Control 题目链接题意分析AC 代码题目链接本题是2007年icpc亚洲区域赛成都赛区的F题题意有一个N行M列的数组(1 ≤ N ≤ 50, 1 ≤ M ≤ 9)记录机场各个航班的飞行传感数据，其每个元素都是整数。如果某元素小于等于0，则其一定不…...

编程日记 2025/6/27 23:35:16

【STM32 HAL库】使用HAL库操作FLASH

操作顺序先解锁Flash，再擦除片区，再写入，写完了别忘了加锁。 HAL_FLASH_Unlock(); HAL_FLASHEx_Erase(); HAL_FLASH_Program(); HAL_FLASH_Lock();擦除操作首先有个问题，我们为什么要擦除，不能直接覆写吗&#xf…...

编程日记 2025/6/27 23:02:11

【学习笔记】2.2 Encoder-Decoder

参考资料：https://github.com/datawhalechina/happy-llm 在 Transformer 中，使用注意力机制的是其两个核心组件——Encoder（编码器）和 Decoder（解码器）。 2.2.1 Seq2Seq 模型 Seq2Seq（序列到…...

编程日记 2025/6/27 22:46:58

批量创建tmux tmux批量

目录获取空进程 tmux 获取空进程tmux并关闭批量创建tmux 批量创建tmux 设置CUDA_VISIBLE_DEVICES： python 读取CUDA_VISIBLE_DEVICES 获取空进程 tmux for session in $(tmux ls -F #S); dopid=$(tmux list-panes -t "$session" -F "#{pane_pid}"…...

编程日记 2025/6/27 23:26:47

7.索引库操作

mapping映射属性 mapping是对索引库中文档的约束常见的mapping属性包括： type 字段数据类型，常见的简单类型有： 字符串：text(可分词的文本) keyword(精确值，例如：品牌、国家，ip地址) 数值&…...

编程日记 2025/6/27 2:24:56

Transformer-BiGRU、Transformer、CNN-BiGRU、BiGRU、CNN五模型多变量时序预测

Transformer-BiGRU、Transformer、CNN-BiGRU、BiGRU、CNN五模型多变量时序预测目录 Transformer-BiGRU、Transformer、CNN-BiGRU、BiGRU、CNN五模型多变量时序预测预测效果基本介绍程序设计参考资料预测效果基本介绍 Transformer-BiGRU、Transformer、CNN-BiGRU、BiGRU、CN…...

编程日记 2025/6/27 2:40:07

ROS2 笔记汇总（2）通信接口

在 ROS 系统中，通信接口（Interface） 是节点之间传递信息的标准“语言协议”，确保了不同功能节点之间可以正确理解和使用彼此传送的数据内容。我们可以将其理解为“数据结构格式定义”，贯穿于话题（Topic&…...

编程日记 2025/6/27 23:34:25

更新已打包好的 Spring Boot JAR 文件中的 class 文件

# 1. 解压原始 JAR unzip -q original-app.jar -d temp # 2. 替换 class 文件 cp ~/projects/new-classes/*.class temp/BOOT-INF/classes/com/example/ # 3. 保留原始清单 cp temp/META-INF/MANIFEST.MF . # 4. 重新打包 jar -cf0m new-app.jar MANIFEST.MF -C temp/ . # …...

编程日记 2025/6/27 22:46:56

matlab实现求解兰伯特问题

求解兰伯特问题的matlab代码，非常好用 solve_lambertLYP.m , 1899 StumpffC.m , 136 StumpffdF.m , 294 StumpffF.m , 151 StumpffS.m , 167 Stumpffy.m , 96 text2.m , 104...

编程日记 2025/6/27 23:05:01

英福康INFICON VGC501, VGC502, VGC503 单通道、双通道和三通道测量装置

英福康INFICON VGC501, VGC502, VGC503 单通道、双通道和三通道测量装置...

编程日记 2025/6/27 23:12:21

解决IDEA插件使用Lombok找不到符号问题

https://juejin.cn/post/7013998800842784782 -Djps.track.ap.dependenciesfalse...

编程日记 2025/6/27 23:31:21

ULVAC DC-10-4P 400V input 10kW DC Pulse power supply 爱发科直流电源

ULVAC DC-10-4P 400V input 10kW DC Pulse power supply 爱发科直流电源...

编程日记 2025/6/27 23:27:25

pip安装python第三方库报错

ERROR: Could not install packages due to an OSError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。: C:\\Users\\Lenovo\\AppData\\Local\\Temp\\pip-unpack-9i5hs6ml\\tensorflow-2.10.1-cp310-cp310-win_amd64.whl Consider using the --user optio…...

编程日记 2025/6/27 23:19:28

湖南大学CS-2024期末考试解析

【前言】这是一张引流贴，标准答案跳转至23级同学的博客。但需要指出，本人没来得及校准答案。感谢23级同学做出的开源贡献。【参考答案】湖南大学CS-2024期末考试解析-CSDN博客...

编程日记 2025/6/27 2:22:55

SpringBoot-Thymeleaf

大佬写的真好：Thymeleaf一篇就够了-阿里云开发者社区...

编程日记 2025/6/27 23:11:23

Docker镜像之windows系统

https://github.com/dockur/windows 在 Docker 容器中运行 Windows 功能 ISO 下载器KVM 加速基于网页的查看器使用方法启动容器并通过浏览器连接到端口 8006。整个安装过程将全自动完成，无需手动干预。当桌面界面出现时，表示 Windows 安装已完成&a…...

编程日记 2025/6/27 23:28:04

学到新的日志方法mp

使用mp技术的时候可以在类上加上注解Slf4j 就可以使用日志不需要在定义变量log,注意日志只能在方法内使用，不能在方法外进行使用...

编程日记 2025/6/27 23:34:38

PythonWeb项目开发脚手架

项目技术选型 1、FastAPI python web开发框架 2、SQLAlchemy ORM框架 (MySQL) 3、Dynaconf 配置管理 4、JWT Passlib(hash加密) 码云地址： pyhappy: Python Web 项目开发脚手架...

编程日记 2025/6/27 23:01:09

相机--相机标定

教程相机标定分类相机标定分为内参标定和外参标定。内参标定目的作用原理外参标定...

编程日记 2025/6/27 23:16:09

IoTGateway项目生成Api并通过swagger和Postman调用

IoTGateway项目生成Api并通过swagger和Postman调用-CSDN博客...

编程日记 2025/6/27 23:22:44

vscode code runner 使用python虚拟环境

转载如下： zVS Code插件Code Runner使用python虚拟环境_coderunner python-CSDN博客...

编程日记 2025/6/27 1:53:51

IEE754标准，double和int转换，在线计算器

1.在线计算器在线进制转换-IEE754浮点数16进制转换 2.标准解释西门子PLC接收的ModbusRTU数据帧中IEEE754 格式4字节数据转为浮点数转换程序_西门子modbus读取32位浮点数-CSDN博客浮点数表示（IEEE 754）_浮点数举个例子-CSDN博客 IEEE754 浮点数&a…...

编程日记 2025/6/27 23:38:00