当前位置: 首页 > news >正文

如何优化MySQL主从复制的性能?

优化MySQL主从复制的性能需要从硬件、配置、架构设计和运维策略等多方面入手。以下是详细的优化方案:

一、减少主库写入压力

1. ‌主库优化‌

二进制日志(binlog)优化‌:

  • 使用 binlog_format=ROW 以获得更高效的复制和更少的数据冲突(但日志量可能增大)。
  • 设置 sync_binlog=1 确保事务提交时同步写入binlog(牺牲部分性能换取数据安全)。
  • 设置 innodb_flush_log_at_trx_commit=1 保证事务持久性(同样可能牺牲性能)。

延迟写入优化‌:

  • 启用组提交(Group Commit): MySQL 5.6+默认开启,减少磁盘I/O次数。
  • 使用异步写入(innodb_flush_log_at_trx_commit=2)提高性能,但可能丢失最近1秒的数据。

2. ‌应用层优化‌

  • 批量写入‌: 合并多个写操作为批量事务,减少事务提交次数。
  • 读写分离‌: 将读操作路由到从库,减轻主库压力。

二、提升从库复制性能

1. ‌并行复制(Multi-Threaded Replication)‌

配置并行复制‌(MySQL 5.6+支持):


# 从库配置 my.cnf
slave_parallel_workers=4      # 并行线程数(建议设置为CPU核心数的50%~70%)
slave_parallel_type=LOGICAL_CLOCK  # 基于事务依赖关系的并行(MySQL 5.7+)

监控并行复制效率‌:

SHOW STATUS LIKE 'Slave_parallel_workers%';

2. ‌从库硬件优化‌

  • 使用SSD‌: 提升磁盘I/O性能,尤其是中继日志(relay log)的写入。
  • 增加内存‌: 配置更大的 innodb_buffer_pool_size(通常为物理内存的70%~80%)。

3. ‌优化中继日志‌

  • 设置 relay_log_recovery=1 确保从库崩溃后自动恢复。
  • 定期清理中继日志(需确保复制已完成):
STOP SLAVE; RESET SLAVE; START SLAVE;

三、网络优化

1. ‌减少网络延迟‌

  • 主从库部署在同一机房或低延迟网络环境中。
  • 使用专用网络带宽,避免与其他服务共享。

2. ‌压缩二进制日志‌

  • 启用binlog压缩(MySQL 8.0+):
binlog_transaction_compression=ON
  • 使用外部工具(如 gzip)压缩备份文件传输。

四、架构优化

1. ‌多级复制(级联复制)‌

主库 → 中间库(分发层) → 多个从库,分散主库压力。

主库(Master) → 中间库(Relay Slave) → 从库1(Slave1)↘ 从库2(Slave2)

2. ‌半同步复制‌

  • 确保至少一个从库收到binlog后再提交事务(减少数据丢失风险):
# 主库配置
plugin_load="rpl_semi_sync_master=semisync_master.so"
rpl_semi_sync_master_enabled=1# 从库配置
plugin_load="rpl_semi_sync_slave=semisync_slave.so"
rpl_semi_sync_slave_enabled=1

3. ‌分片架构‌

  • 将数据按业务分片(Sharding),分散写入压力。

五、配置与监控

1. ‌关键参数调整‌

  • 从库配置 read_only=1 防止误写入。
  • 设置 slave_net_timeout=60(默认3600秒),减少网络超时等待。

2. ‌监控工具‌

  • 内置命令‌:
SHOW SLAVE STATUS\G    -- 检查复制状态与延迟
SHOW PROCESSLIST;      -- 查看复制线程
  • 外部工具‌:
    Percona Monitoring and Management(PMM)
    Prometheus + Grafana + MySQL Exporter

3. ‌延迟处理‌

  • 自动跳过错误‌(谨慎使用):
SET GLOBAL sql_slave_skip_counter=1;  -- 跳过单个错误

重新同步数据‌:通过 mysqldump 或 xtrabackup 重建从库。

六、高级优化策略

1. ‌GTID复制‌

启用GTID(全局事务标识符)简化故障切换:

# 主从库配置
gtid_mode=ON
enforce_gtid_consistency=ON

2. ‌过滤复制‌

仅复制必要数据(减少从库负载):

# 从库配置
replicate_do_db=db1,db2       -- 仅复制指定库
replicate_ignore_table=db1.logs  -- 忽略特定表

3. ‌Proxy中间件‌

  • 使用 ‌ProxySQL‌ 或 ‌MaxScale‌ 实现自动读写分离和负载均衡。

七、性能优化对比表

优化方向‌具体措施‌适用场景‌‌风险/成本‌
并行复制设置 slave_parallel_workers高并发写入,从库延迟严重配置不当可能导致数据不一致
半同步复制启用 rpl_semi_sync_master要求数据强一致性增加主库响应时间
二进制日志压缩binlog_transaction_compression=ON网络带宽不足仅支持MySQL 8.0+
多级复制级联架构分散压力大规模从库集群运维复杂度增加

八、注意事项

  • 测试环境验证‌: 所有优化操作需先在非生产环境验证。
  • 逐步调整参数‌: 避免一次性修改多个关键参数。
  • 监控先行‌: 优化后需持续监控复制延迟和系统负载。

通过以上优化策略,可显著提升MySQL主从复制的性能和稳定性,降低延迟风险,适应高并发场景。需根据实际业务负载和硬件资源灵活调整方案。

相关文章:

如何优化MySQL主从复制的性能?

优化MySQL主从复制的性能需要从硬件、配置、架构设计和运维策略等多方面入手。以下是详细的优化方案: 一、减少主库写入压力 1. ‌主库优化‌ 二进制日志(binlog)优化‌: 使用 binlog_formatROW 以获得更高效的复制和更少的数…...

asp.net客户管理系统批量客户信息上传系统客户跟单系统crm

# crm-150708 客户管理系统批量客户信息上传系统客户跟单系统 # 开发背景 本软件是给郑州某企业管理咨询公司开发的客户管理系统软件 # 功能 1、导入客户数据到系统 2、批量将不同的客户分配给不同的业务员跟进 3、可以对客户数据根据紧急程度标记不同的颜色&#xff0c…...

PCIe | TLP | 报头 / 包格式 / 地址转换 / 配置空间 / 寄存器 / 配置类型

注:本文为 “PCIe - TLP” 相关文章合辑。 英文引文,机翻未校。 中文引文,未整理去重。 图片清晰度受引文原图所限。 略作重排,如有内容异常,请看原文。 PCIe - TLP Header, Packet Formats, Address Translation, Co…...

ip和域名

好的,我来依次回答你的问题: 域名和 IP 地址是什么关系? IP 地址 (Internet Protocol Address):可以想象成互联网上每台设备(比如服务器、电脑、手机)的门牌号码。它是一串数字(例如 IPv4 地址 …...

《解锁GCC版本升级:开启编程新世界大门》

《解锁GCC版本升级:开启编程新世界大门》 一、引言:GCC 版本升级的魔法钥匙 在编程的广阔天地里,GCC(GNU Compiler Collection)宛如一座灯塔,为无数开发者照亮前行的道路。它是一款开源且功能强大的编译器集合,支持 C、C++、Objective - C、Fortran、Ada 等多种编程语言…...

前端跨域问题怎么在后端解决

目录 简单的解决方法: 添加配置类: 为什么会跨域 1. 什么是源 2. URL结构 3. 同源不同源举🌰 同源例子 不同源例子 4. 浏览器为什么需要同源策略 5. 常规前端请求跨域 简单的解决方法: 添加配置类: packag…...

生成式 AI 的工作原理

在科技浪潮汹涌澎湃的当下,生成式 AI 宛如一颗璀璨的新星,照亮了我们探索未知的征程。它不再仅仅是科幻电影中的幻想,而是已经悄然融入我们生活的方方面面,从智能客服的贴心应答,到艺术创作的天马行空,生成式 AI 正以一种前所未有的姿态重塑着世界。然而,你是否曾好奇,…...

DeepSeek辅助学术写作之修订与校稿以及发表与推广相关提示词分享祝你顺利毕业~

目录 1.修订与校对 2.发表与推广 大家好这里是AIWritePaper官方账号,官网👉AIWritePaper~ 宝子们可以使用小编精选的“ChatGPT研究论文提示词”集合来创建研究论文。利用ChatGPT的智能回应生成详尽有效的内容,这样可以加快研究论文的策划、…...

叠层阻抗线框

1.阻抗介绍 特性阻抗:又称“特征阻抗”,它不是直流电阻,属于长线传输中的概念。在高频范围内,信号传输过程中,信号沿到达的地方,信号线和参考平面(电源或地平面)间由于电场的建立&am…...

大数据:驱动技术创新与产业转型的引擎

📝个人主页🌹:慌ZHANG-CSDN博客 🌹🌹期待您的关注 🌹🌹 在全球数字化转型的浪潮中,大数据已经成为推动各行各业革新的核心力量。随着信息技术的迅猛发展,数据的收集、存储、处理和分析能力不断提升,大数据不仅改变了企业的运营模式,更引领了技术创新和产业结构…...

C++继承基础总结

引言 在编写多个类时,类之间可能会存在多个相同的成员变量,导致代码冗余度过高,C继承的出现,使得我们可以在已有类的基础上构建新类,从而实现代码复用与结构扩展。 一、继承的基本概念 继承是指子类(派生…...

2025年斯诺克世锦赛——“75三杰”在1/4决赛作为对手的概率

“在最近的斯诺克世锦赛中,中国两名球员成功挺进前8强。此外,前8强也出现令人感慨的一幕:75三杰全部进入到了八强,这也是历史第5次,50岁正是打拼的年纪!传奇之旅继续!”——摘自50岁正是打拼的年…...

Python绘制地球的重力地图

文章目录 Boule重力地图从ensaio下载重力数据Boule boule中定义了多种参考椭球,可用于表示地球、火星等星体的重力分布。可通过pip安装 pip install bouleboule中已经定义的椭球如下 椭球GRS80WGS84MARSMERCURYMOONVENUSVESTA星体地球地球火星水星月球金星灶神星这些椭球可直…...

多端定制系统开发:打造高效全平台覆盖的APP解决方案

在移动互联网时代,用户需求日益多样化,企业若想触达更广泛的受众,仅靠单一平台的应用已远远不够。无论是iOS、Android、Web端,还是智能手表、车载设备等新兴终端,多端适配已成为企业数字化转型的刚需。多端定制系统开发…...

WGDI-分析WGD及祖先核型演化的集成工具-文献精读126

WGDI: A user-friendly toolkit for evolutionary analyses of whole-genome duplications and ancestral karyotypes WGDI:一款面向全基因组重复事件与祖先核型演化分析的易用工具集 摘要 在地球上大多数主要生物类群中,人们已检测到全基因组复制&…...

旋转矩阵公式理解

这里给出其中一种理解方法: 设原始直角坐标系下的坐标为(x,y),我们可以将它分解为两个向量(x,0)和(0,y)。接下来将两个向量分别顺时针旋转θ度,二者就会分别变成:(xcosθ,xsinθ)和(-ysinθ,ycosθ)。 也就是说,二者…...

网络Tips20-002

1..某主机接口的IP地址为192.16.7.131/26.则该IP地址所在网络的广播地址是:192 16.7.191 广播地址是指在特定网络上发送广播消息的地址。它用于向网络上的所有设备发送信息。 方法1:广播地址掩码取反和网络地址的或运算 方法2:广播地址将网…...

firewall docker 冲突问题解决(亲测有效)

# 关闭iptables,使用firewall systemctl disable iptables # 禁用服务 systemctl stop iptables # 关闭服务 systemctl status iptables # 查看服务状态 systemctl enable firewalld # 设置防火墙开机自启动 systemctl start firewalld # 开启服务 systemctl s…...

SwiftUI-MLX本地大模型开发(二)

介绍 在 SwiftUI-MLX本地大模型开发一文中,我们已经详细讲了如何利用 MLX 进行本地大模型的开发。但是通过案例可以发现 2 个问题: MLX 内置的大模型数量有限。每次大模型都需要从 HuggingFace 下载。 如何解决这 2 个问题,方案是&#xff1a…...

基于「骑手外卖系统」串联7大设计原则

你说得对!这些设计原则听起来都很抽象、很“玄”,如果不是实际开发过系统,很难理解“到底为什么要这样设计”。 那我现在就用一个你能想象得很清楚的真实例子,帮你把这7个设计原则一一落地到具体情境里,你会一眼明白。…...

泰迪杯特等奖案例学习资料:基于时空图卷积网络的城市排水系统水位精准重建与异常检测

(第十四届泰迪杯数据挖掘挑战赛A题特等奖案例解析) 一、案例背景与核心挑战 1.1 应用场景与行业痛点 城市排水系统(Urban Drainage Network, UDN)是城市基础设施的重要组成部分,其运行效率直接影响防洪排涝能力和水环境质量。然而,实际运维中面临以下难题: 监测数据稀…...

嵌入式Linux应用项目----智能网关

一、网关概述: Linux网关的作用在于,通过蓝牙、LoRa、串口、CAN等接口,与哪些无法连接网络的设备建立联系,将它们的数据转发至服务器。这过程中,网关充当了数据的桥梁,将下级设备所产生的数据发送至服务器。…...

C++ 中的继承

目录 前言 一、继承的概念及定义 二、基类和派生类对象赋值转换 三、继承中的作用域 四、派生类的默认成员函数 五、继承与友元 六、继承与静态成员 七、复杂的菱形继承及菱形虚拟继承 (一)单继承与多继承 (二)菱形继承 …...

【中间件】brpc_基础_用户态线程上下文

文章目录 context介绍1 简单介绍2 主要功能2.1 上下文结构定义2.2 上下文切换实现2.3 协程栈管理2.4 平台兼容性处理2.5 性能优化 3 关键代码逻辑示例3.1 上下文初始化 (bthread_make_fcontext)3.2 上下文切换 (bthread_jump_fcontext) 4 与 BRPC 其他模块的协作5 性能与稳定性…...

蟋蟀的叫声,大自然的温度计

夏夜草丛中,蟋蟀的鸣叫声此起彼伏。有趣的是,它们的叫声频率竟然与气温有关!根据图片中的公式: 气温 ( X 8 ) 5 9 \text{气温} \frac{(X 8) \times 5}{9} 气温9(X8)5​ 只需记录蟋蟀在 15 秒内的鸣叫次数( X X X…...

文献总结:TPAMI端到端自动驾驶综述——End-to-End Autonomous Driving: Challenges and Frontiers

端到端自动驾驶综述 1. 文章基本信息2. 背景介绍3. 端到端自动驾驶主要使用方法3. 1 模仿学习3.2 强化学习 4. 测试基准4.1 真实世界评估4.2 在线/闭环仿真测试4.3 离线/开环测试评价 5. 端到端自动驾驶面临的挑战5.1 多模态输入5.2 对视觉表征的依赖5.3 基于模型的强化学习的世…...

二极管反向恢复的定义和原理

二极管的反向恢复定义 二极管的反向恢复是指二极管从正向导通状态切换到反向阻断状态时,电流从正向变为负向并最终回到零所需的时间。具体过程如下: 正向导通:当二极管正向偏置时,电流可以顺利通过,此时二极管处于导…...

# 基于词袋模型(BoW)的猫狗图像分类实践

基于词袋模型(BoW)的猫狗图像分类实践 在计算机视觉领域,图像分类是一项基础且重要的任务。本文将介绍如何使用词袋模型(Bag of Words, BoW)结合支持向量机(SVM)实现猫狗图像分类。通过详细的代…...

Vscode+git笔记

1.U是untracked m是modify modified修改了的。 2.check out 查看观察 3 status changed 暂存区 4.fetch v 取来拿来 5.orangion 起源代表远程分支 git checkout就是可以理解为进入的意思。...

生成式 AI 的未来

在人类文明的长河中,技术革命始终是推动社会跃迁的核心引擎。从蒸汽机解放双手,到电力点亮黑夜,再到互联网编织全球神经网络,每一次技术浪潮都在重塑人类的生产方式与认知边界。而今天,生成式人工智能(Generative AI)正以一种前所未有的姿态登上历史舞台——它不再局限于…...

进程间通信(IPC)

进程间通信(IPC)是操作系统中非常重要且基础的概念,涉及到不同进程之间如何交换数据和同步操作。下面我会一个一个地详细讲解这几种常见的IPC方式:管道(包含匿名管道和有名管道)、消息队列、共享内存、信号量、Socket通信,内容尽量用通俗易懂的语言,并结合具体原理、优…...

C语言奇幻指南:宏、头文件与变量的秘密世界

&#x1f31f; C语言奇幻指南&#xff1a;宏、头文件与变量的秘密世界 &#x1f31f; 一、写一个“比小”宏&#xff1a;三目运算符的魔法 目标&#xff1a;定义一个宏&#xff0c;返回两个参数中较小的值。 代码&#xff1a; #define MIN(a, b) ((a) < (b) ? (a) : (b))…...

【开源免费】二维码批量识别-未来之窗——C#-仙盟创梦IDE

二维码批量识别工具&#xff0c;借助先进图像识别技术&#xff0c;能快速准确读取大量二维码信息。适用于物流与供应链管理&#xff0c;如库存盘点和货物追踪&#xff1b;可用于资产管理&#xff0c;像固定资产盘点与设备巡检&#xff1b;还能助力数据收集与市场调研&#xff0…...

n8n工作流自动化平台的实操:解决中文乱码

解决问题&#xff1a; 通过ftp读取中文内容的文件&#xff0c;会存在乱码&#xff0c;如下图&#xff1a; 解决方案 1.详见《安装 iconv-lite》 2.在code节点&#xff0c;写如下代码&#xff1a; const iconv require(iconv-lite);const items $input.all(); items.forEa…...

MCP 探索:MCP 集成的相关网站 Smithery、PulseMCP 等

简简单单 Online zuozuo :本心、输入输出、结果 文章目录 MCP 探索:MCP 集成的相关网站 Smithery、PulseMCP 等前言一、MCP 集成基础二、利用热门资源平台集成三、集成常见 MCP 服务四、管理集成的 MCP 能力五、集成示例借鉴六、数据交互与安全管理MCP 探索:MCP 集成的相关网…...

linux的时间轮

时间轮&#xff1a;高效管理海量定时任务的利器 1. 引言&#xff1a;为什么需要时间轮&#xff1f; 在许多应用场景中&#xff0c;我们都需要管理大量的定时任务&#xff0c;例如&#xff1a; 网络连接的超时检测。分布式系统中的心跳检测。缓存条目的过期淘汰。需要延迟执行…...

《操作系统真象还原》第十二章(2)——进一步完善内核

文章目录 前言可变参数的原理实现系统调用write更新syscall.h更新syscall.c更新syscall-init.c 实现printf编写stdio.h编写stdio.c 第一次测试main.cmakefile结果截图 完善printf修改main.c 结语 前言 上部分链接&#xff1a;《操作系统真象还原》第十二章&#xff08;1&#…...

MIT6.S081-lab8前置

MIT6.S081-lab8前置 注&#xff1a;本部分除了文件系统还包含了调度的内容。 调度 调度涉及到保存寄存器&#xff0c;恢复寄存器&#xff0c;就这一点而言&#xff0c;和我们的 trap 很像&#xff0c;但是实际上&#xff0c;我们实现并不是复用了 trap 的逻辑&#xff0c;我…...

Java从入门到精通 - Java语法

Java 语法 此笔记参考黑马教程&#xff0c;仅学习使用&#xff0c;如有侵权&#xff0c;联系必删 文章目录 Java 语法01 变量详解1. 变量里的数据在计算机中的存储原理1.1 二进制1.2 十进制转二进制的算法1.3 计算机中表示数据的最小单元总结1.4 字符在计算机中是如何存储的呢…...

【CF】Day50——Codeforces Round 960 (Div. 2) BCD

B. Array Craft 题目&#xff1a; 思路&#xff1a; 有点意思的构造 首先题目告诉我们 y < x&#xff0c;这是一个重要的条件 我们先来考虑简单情况&#xff0c;假如可以放0进去&#xff0c;那么我们只需要在 y ~ x 之间全放 1 &#xff0c;其余都是 0 即可&#xff0c;但…...

MySQL 日期加减函数详解

MySQL 日期加减函数详解 1. DATE_ADD 函数 基本语法 DATE_ADD(date, INTERVAL expr unit)功能 在指定日期/时间上添加一个时间间隔 参数说明 date&#xff1a;要处理的日期/时间值&#xff08;可以是DATE, DATETIME或TIMESTAMP类型&#xff09;expr&#xff1a;要添加的间…...

NV189NV195美光固态闪存NV197NV199

NV189NV195美光固态闪存NV197NV199 在存储技术持续迭代的2025年&#xff0c;美光固态闪存NV189、NV195、NV197、NV199系列凭借其差异化的性能定位&#xff0c;正在重新定义数据存储的边界。本文将从技术参数、场景适配、行业价值等维度&#xff0c;为不同领域的专业人士提供深度…...

C语言-回调函数

回调函数 通过函数指针调用函数&#xff0c;而这个被调用的函数称为回调函数 回调函数是C语言中一种强大的机制&#xff0c;允许将函数作为参数传递给其他函数&#xff0c;从而在特定时机由后者调用。它的核心在于函数指针的使用 以下是回调函数的使用例子 先创建好一个函数…...

启发式算法-蚁群算法

蚁群算法是模拟蚂蚁觅食行为的仿生优化算法&#xff0c;原理是信息素的正反馈机制&#xff0c;蚂蚁通过释放信息素来引导同伴找到最短路径。把问题的元素抽象为多条路径&#xff0c;每次迭代时为每只蚂蚁构建一个解决方案&#xff0c;该解决方案对应一条完整的路径&#xff0c;…...

DeepSeek与MySQL:开启数据智能新时代

目录 一、引言&#xff1a;技术融合的力量二、DeepSeek 与 MySQL&#xff1a;技术基石2.1 DeepSeek 技术探秘2.2 MySQL 数据库深度解析 三、DeepSeek 与 MySQL 集成&#xff1a;从理论到实践3.1 集成原理剖析3.2 集成步骤详解 四、应用案例&#xff1a;实战中的价值体现4.1 电商…...

Modbus 通讯协议(超详细,简单易懂)

目录 一、协议中的寄存器定义 二、协议概述 三、使用串口的Modbus 报文帧 ​编辑 3.1、Modbus ASCII 模式 3.2、Modbus RTU 模式 3.3、功能码概要 3.4、Modbus 报文分析 四、什么是RS-485 RS-232&#xff1f; 一、协议中的寄存器定义 阅读 Modbus 协议时会发现它的概念别扭…...

单细胞测序试验设计赏析(一)

单细胞测序试验设计赏析&#xff08;一&#xff09; 单细胞测序试验设计中&#xff0c;单细胞测序技术通常会结合其它的技术来共同说明问题&#xff0c;或者结合年龄、性别等临床数据&#xff0c;进行分层分析说明问题以下以发表文章来进行一定的分析。 Single-cell RNA seque…...

ES6入门---第二单元 模块三:对象新增、

一&#xff1a;对象简洁语法&#xff1a; 1、变量简洁 <script>let name Strive;let age 18;let json {name, //name:name,age //age:age};console.log(json);</script> 2、函数简洁 let json {name, //name:name,age, //age:age/* showA:functi…...

多元随机变量协方差矩阵

主要记录多元随机变量数字特征相关内容。 关键词&#xff1a;多元统计分析 二元随机变量(X, Y) 说明&#xff1a;可以理解变量中的 X为身高、Y为体重 总体协方差 σ X Y c o v ( X , Y ) E [ ( X − μ X ) ( Y − μ Y ) ] E ( X Y ) − μ X μ Y \sigma_{XY}cov(X, Y)E[…...

计算机网络-同等学力计算机综合真题及答案

计算机网络-同等学力计算机综合真题及答案 &#xff08;2003-2024&#xff09; 2003 年网络 第二部分 计算机网络&#xff08;共 30 分&#xff09; &#xff08;因大纲变动因此 2004 年真题仅附真题&#xff0c;不作解析。&#xff09; 一、填空题&#xff08;共 10 分&#…...