MySQL 主从同步延迟:原因剖析与解决之道
在现代数据库应用中,MySQL 的主从同步是一种常见且重要的架构模式,它能提供数据备份、读写分离等诸多优势,有效提升系统的可用性和性能。然而,主从同步延迟问题却常常困扰着数据库管理员和开发者,严重时甚至会影响业务的正常运行。本文将深入探讨 MySQL 主从同步延迟的原因,并提供相应的解决办法。
一、MySQL 主从同步延迟的原因
(一)硬件资源瓶颈
- CPU 性能不足
主库在高并发场景下会产生大量事务,这些事务的处理和二进制日志(binlog)的记录都依赖 CPU。从库在同步时,需要解析主库的 binlog 并执行相应 SQL 语句,同样消耗 CPU 资源。若从库 CPU 性能差,无法及时处理 SQL 语句,就会造成同步延迟。例如,一个电商网站在促销活动期间,主库产生大量订单事务,从库 CPU 处理不过来,导致同步跟不上主库更新速度。 - 磁盘 I/O 性能低
主库写入数据时,会将数据和 binlog 写入磁盘。从库同步时,要把接收到的 binlog 写入本地磁盘,再读取执行。如果磁盘 I/O 性能差,如使用机械硬盘且读写速度慢,会使从库写入和读取 binlog 时间变长,从而产生延迟。比如,某小型企业数据库服务器使用普通机械硬盘,在数据量增大时,主从同步延迟明显增加。 - 网络带宽限制
主从库之间的数据传输依赖网络。若网络带宽不足,主库的 binlog 传输到从库会变慢。特别是在数据量较大时,如主库进行批量数据更新,网络传输成为瓶颈,导致从库不能及时获取最新的 binlog,进而产生同步延迟。例如,跨地域的主从架构,网络质量不稳定且带宽有限,同步延迟问题较为突出。
(二)主从库配置差异
- 参数设置不一致
MySQL 有很多影响性能的参数,如innodb_buffer_pool_size
、sync_binlog
等。如果主从库这些参数设置不一致,可能导致主从库性能差异较大。例如,主库的innodb_buffer_pool_size
设置较大,能缓存更多数据,写入性能好;而从库该参数设置较小,缓存数据有限,处理数据速度慢,就会出现同步延迟。 - 数据库版本差异
不同版本的 MySQL 在性能和功能上可能存在差异。如果主从库使用不同版本的 MySQL,可能会导致兼容性问题,影响同步效率。比如,主库使用较新的版本,某些功能和优化在从库版本中没有,可能导致从库处理 binlog 时出现异常,产生同步延迟。
(三)业务逻辑问题
- 大事务操作
主库执行大事务时,如一次性插入大量数据、批量更新操作等,会产生大量的 binlog。从库需要按照主库的事务顺序执行这些操作,大事务会使从库执行时间变长,从而导致同步延迟。例如,在月末财务结算时,对大量订单数据进行批量更新,主从同步可能会出现明显延迟。 - 锁竞争
主库在执行某些操作时可能会加锁,如行锁、表锁等。如果主库存在频繁的锁竞争,会影响事务的执行速度,进而影响 binlog 的生成速度。从库在同步时需要等待主库的事务完成并获取完整的 binlog,这就会导致同步延迟。比如,在高并发场景下,多个事务同时对同一行数据进行更新,会产生锁竞争,影响主从同步。
二、MySQL 主从同步延迟的解决办法
(一)优化硬件资源
- 升级 CPU
对于 CPU 性能不足的情况,可以考虑升级从库的 CPU。选择性能更好、核心数更多的 CPU,提高从库处理 SQL 语句的能力。例如,将从库的 CPU 从双核升级为四核或八核,能显著提升处理速度,减少同步延迟。 - 改善磁盘 I/O
使用高性能的磁盘,如固态硬盘(SSD)代替机械硬盘。SSD 具有更快的读写速度,能有效减少从库写入和读取 binlog 的时间。同时,可以对磁盘进行合理的分区和优化,提高磁盘的使用效率。 - 提升网络带宽
增加主从库之间的网络带宽,确保数据传输的高效性。可以与网络服务提供商协商提高网络带宽,或者采用专线连接主从库,减少网络延迟和丢包现象。
(二)统一主从库配置
- 参数设置一致
确保主从库的重要参数设置一致,如innodb_buffer_pool_size
、sync_binlog
等。可以参考 MySQL 的官方文档和最佳实践,根据服务器的硬件配置和业务需求,合理设置这些参数。例如,将主从库的innodb_buffer_pool_size
都设置为服务器内存的 70% 左右。 - 统一数据库版本
尽量使用相同版本的 MySQL 作为主从库,避免因版本差异导致的兼容性问题。在进行数据库升级时,要确保主从库同时升级,并且进行充分的测试,确保升级后主从同步正常。
(三)优化业务逻辑
- 拆分大事务
将大事务拆分成多个小事务,减少每个事务产生的 binlog 量。例如,将一次性插入大量数据的操作拆分成多次小批量插入,这样从库可以更快地处理这些小事务,减少同步延迟。 - 减少锁竞争
优化业务逻辑,减少锁的使用和锁竞争。可以采用乐观锁代替悲观锁,或者对数据进行合理的分区和索引,减少锁的范围。例如,在高并发场景下,使用乐观锁机制,避免因锁竞争导致的主从同步延迟。
(四)其他解决方法
- 并行复制
MySQL 从 5.6 版本开始支持并行复制功能,通过并行复制可以提高从库的同步效率。可以根据实际情况开启并行复制,并合理配置相关参数,如slave_parallel_type
和slave_parallel_workers
等。 - 监控与预警
建立完善的监控系统,实时监控主从同步延迟情况。可以使用 MySQL 自带的监控工具,如SHOW SLAVE STATUS
命令,或者使用第三方监控工具,如 Zabbix、Prometheus 等。设置合理的预警阈值,当同步延迟超过阈值时及时通知管理员进行处理。
三、总结
MySQL 主从同步延迟是一个复杂的问题,涉及硬件资源、配置差异和业务逻辑等多个方面。通过深入分析延迟的原因,并采取相应的解决办法,如优化硬件资源、统一主从库配置、优化业务逻辑等,可以有效减少主从同步延迟,提高数据库系统的可用性和性能。同时,建立完善的监控和预警机制,能及时发现和解决同步延迟问题,保障业务的正常运行。希望本文能为解决 MySQL 主从同步延迟问题提供一些有益的参考。
分享
如何监控和排查 MySQL 主从同步延迟问题?
详细介绍一下 MySQL 主从同步延迟的监控指标。
除了上述原因,还有哪些情况可能导致 MySQL 主从同步延迟?
相关文章:
MySQL 主从同步延迟:原因剖析与解决之道
在现代数据库应用中,MySQL 的主从同步是一种常见且重要的架构模式,它能提供数据备份、读写分离等诸多优势,有效提升系统的可用性和性能。然而,主从同步延迟问题却常常困扰着数据库管理员和开发者,严重时甚至会影响业务…...
C语言数据结构—二叉树的链式结构实现
目录 1、建立二叉树 1.1 二叉树的结构 1.2 手动建立二叉树 2、二叉树的遍历 2.1 二叉树的三种遍历方式 2.1.1 前序遍历 2.1.2 中序遍历 2.1.2 后序遍历 3、求二叉树的结点数和二叉树的高度 3.1 求二叉树结点数 3.2 求二叉树叶子结点 3.3 求二叉树第k层结点的个数 …...
sysbench压测pgsql数据库 —— 筑梦之路
这里主要使用sysbench工具对Pgsql数据库进行基准测试。 1. 创建数据库和用户名 # 创建用户和数据库CREATE USER sysbench WITH PASSWORD 123456;CREATE DATABASE sysbench owner sysbench;# 给用户授权访问 vim pg_hba.confhost sysbench sysbench 127…...
超级详细Spring AI运用Ollama大模型
大模型工具Ollama 官网:https://ollama.com/ Ollama是一个用于部署和运行各种开源大模型的工具; 它能够帮助用户快速在本地运行各种大模型,极大地简化了大模型在本地运行的过程。用户通过执行几条命令就能在本地运行开源大模型,如Lama 2等; 综上&#x…...
CF934B A Prosperous Lot
算法:贪心 rating : 1200 思路: 题目要求输出的数不能超过10^18; 10^18共有19位,那么不超过范围的前提下最多能输出几个环呢? 环最多为2个,也就是数字8,不超过数据范围的情况下能输出18个8…...
四步彻底卸载IDEA!!!
各位看官早安午安晚安呀 如果您觉得这篇文章对您有帮助的话 欢迎您一键三连,小编尽全力做到更好 欢迎您分享给更多人哦 大家好,我们今天来学习四步彻底卸载IDEA!!! 首先我要提醒各位 如果你想删除 IDEA 相关…...
基于Spring Boot的健康医院门诊在线挂号系统设与实现(LW+源码+讲解)
专注于大学生项目实战开发,讲解,毕业答疑辅导,欢迎高校老师/同行前辈交流合作✌。 技术范围:SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:…...
快速搭建SOCKS5代理服务器教程(一键多ip脚本)
文章目录 前言环境要求一、先看效果二、使用一键脚本总结 前言 华为云服务器一键搭建一拖10 或者20 ip 脚本 环境要求 操作系统:CentOS 7.8服务器:建议至少1核1G配置云服务器 可多ip 搭建一键输出 一、先看效果 二、使用一键脚本 yum install -y wge…...
鸿蒙ArkTS页面如何与H5页面交互?
鸿蒙页面如何与H5页面交互? 先看效果前言通信功能介绍Web组件使用问题 Harmony OS NEXT版本(接口及解决方案兼容API12版本或以上版本) 先看效果 功能介绍 点击Click Me按钮可以接收展示鸿蒙传递给html的内容点击霓虹灯按钮可以同步更新底部鸿蒙页面的按…...
深度解析SmartGBD助力Android音视频数据接入GB28181平台
在当今数字化时代,视频监控与音视频通信技术在各行各业的应用愈发广泛。GB28181协议作为中国国家标准,为视频监控设备的互联互通提供了规范,但在实际应用中,许多Android终端设备并不具备国标音视频能力,这限制了其在相…...
软件安全测评报告内容和作用简析,如何获取权威安全测评报告?
软件安全测评报告是对软件系统进行安全性评估后形成的一份详细文档。它通过对软件系统的设计、实现及运行环境等多个方面进行系统性分析,以识别潜在的安全风险和漏洞。该报告不仅包含漏洞的详细信息和修复建议,也是对软件开发者和管理者的重要决策支持工…...
leetcode 207. 课程表
题目如下 数据范围 做题之前先搞清楚一个概念:拓扑序列 即在一个简单图内找一个入度为0的节点, 删除这个节点并删去与之相连接的边并把这条边连接的节点入度减一(如果存在)。 如此循环往复直到图内不存在节点我们认为拓扑序列存在。 那么在本题中参与课程的要求…...
第4章 4.4 EF Core数据库迁移 Add-Migration UpDate-Database
4.4.1 数据库迁移原理 总结一下就是: 1. 数据库迁移命令的执行,其实就是生成在数据库执行的脚本代码(两个文件:数字_迁移名.cs 数字_迁移名.Designer.cs),用于对数据库进行定义和修饰。 2. 数据库迁移…...
PyEcharts 数据可视化:从入门到实战
一、PyEcharts 简介 PyEcharts 是基于百度开源可视化库 ECharts 的 Python 数据可视化工具,支持生成交互式的 HTML 格式图表。相较于 Matplotlib 等静态图表库,PyEcharts 具有以下优势: 丰富的图表类型(30)动态交互功…...
数仓搭建实操(传统数仓oracle):DWD数据明细层
数据处理思路 DWD层, 数据明细层>>数据清洗转换, 区分事实表,维度表 全是事实表,没有维度表>>不做处理 数据清洗>>数据类型varchar 变成varchar2, 日期格式统一(时间类型变成varchar2); 字符数据去空格 知识补充: varchar 存储定长字符类型 ; 存储的数据会…...
《Mycat核心技术》第17章:实现MySQL的读写分离
作者:冰河 星球:http://m6z.cn/6aeFbs 博客:https://binghe.gitcode.host 文章汇总:https://binghe.gitcode.host/md/all/all.html 星球项目地址:https://binghe.gitcode.host/md/zsxq/introduce.html 沉淀,…...
区块链(14):FISCO BCOS配置及使用控制台
1 获取控制台并回到fisco目录 cd ~/fisco && curl -LO https://github.com/FISCO-BCOS/console/releases/download/v2.9.2/download_console.sh && bash download_console.sh 2 拷贝控制台配置文件 若节点未采用默认端口,请将文件中的20200替换成节点对应的…...
react路由总结
目录 一、脚手架基础语法(16~17) 1.1、hello react 1.2、组件样式隔离(样式模块化) 1.3、react插件 二、React Router v5 2.1、react-router-dom相关API 2.1.1、内置组件 2.1.1.1、BrowserRouter 2.1.1.2、HashRouter 2.1.1.3、Route 2.1.1.4、Redirect 2.1.1.5、L…...
Python爬虫处理网页中的动态内容
文章目录 前言一、Python环境搭建1.Python安装2.选择Python开发环境 二、Python爬虫处理网页中的动态内容1. 使用 Selenium 库2. 使用 Pyppeteer 库3. 分析 API 请求 前言 在网页中,动态内容通常是指那些通过 JavaScript 在页面加载后动态生成或更新的内容…...
Lineageos 22.1(Android 15)Launcer简单调整初始化配置
一、前言 Launcer的初始化配置主要在如下的xml文件夹下,默认读取的5x5 这里我们把device_profiles调整一下,然后新建一个default_workspace_my.xml作为我们自己的配置就行。 二、配置 注意Lineageos 的Launcer是在lineageos/packages/apps/Trebuchet…...
计算机毕业设计SpringBoot+Vue.js教师工作量管理系统(源码+LW文档+PPT+讲解)
温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 作者简介:Java领…...
【Scrapy】Scrapy教程7——存储数据
上一节我们对爬虫程序的默认回调函数parse做了改写,提取的数据可以在Scrapy的日志中打印出来了,光打印肯定是不行的,还需要把数据存储,数据可以存到文件,也可以存到数据库,我们一一来看。 存储数据到文件 首先我们看看如何将数据存储到文件,在讲[[【Scrapy】Scrapy教程…...
使用Socket编写超牛的http服务器和客户端(一)
实现一个高性能的基于 IOCP(I/O Completion Ports)的 HTTP 服务器,支持多线程、动态线程池调整和路由处理。 主要功能和特性 IOCP 模型: 使用多个 IOCP 句柄(IOCP_COUNT),将客户端连接均匀分配到不同的 IOCP 上,减少线程竞争。 工作线程使用 GetQueuedCompletionStatu…...
centos服务器巡检脚本
服务器巡检脚本 系统负载shell脚本python将txt文件转换成excel,不正常巡检结果标记红色 系统负载shell脚本 #!/bin/bash#文件路径 path"/root/monitor.txt"#yum -y install bc sysstat net-tools lrzsz #获取主机名 system_hostname$(hostname | awk {pr…...
Linux-Ansible模块完结
文章目录 User和GroupHostname、Cron、Yum和Service 🏡作者主页:点击! 🤖Linux专栏:点击! ⏰️创作时间:2025年02月23日19点59分 User和Group User和Group模块实践 ansible 192.168.1.100 -m …...
厦大团队:DeepSeek大模型概念、技术与应用实践 140页PDF完整版下载
DeepSeek使用教程系列: 厦门大学: DeepSeek大模型概念、技术与应用实践 140页PDF完整版文件 厦大团队:DeepSeek大模型概念、技术与应用实践(140页PPT读懂大模型).pdf https://pan.baidu.com/s/1de4UIxqPsvMBIYcpen_M-…...
跟据spring boot版本,查看对应的tomcat,并查看可支持的tomcat的版本范围
一 查看springboot自带的tomcat版本: 可直接在项目中找到Maven Dependencies中找到tomcat版本 二、查看SpringBoot内置tomcat版本的支持范围 我这边是跟据maven仓库查看的 首先跟据链接打开maven仓库:https://mvnrepository.com/ 然后搜索:…...
小米AX3000T 路由器如何开启 SSH 安装 OpenWRT 系统,不需要降级 v1.0.91 (2025)
小米AX3000T 路由器如何开启 SSH 安装 OpenWRT 系统,不需要降级 v1.0.91 (2025) 本文内容需要你有一定的 Linux 操作基础,最好是程序员那种,英文水平足够用才行。一般人不需要使用这么复杂的路由器操作系统,…...
跳格子游戏
跳格子游戏 真题目录: 点击去查看 E 卷 100分题型 题目描述 地上共有N个格子,你需要跳完地上所有的格子,但是格子间是有强依赖关系的,跳完前一个格子后,后续的格子才会被开启,格子间的依赖关系由多组steps数组给出,steps[0]表示前一个格子,steps[1]表示steps[0]可以开…...
抓包工具是什么?
抓包工具是一种用于捕获和分析网络数据包的软件或硬件设备。它可以帮助用户监控网络通信过程,查看网络中传输的数据内容、协议类型、源地址、目的地址等信息。以下是关于抓包工具的一些详细解释: 1. 主要功能 捕获数据包:抓包工具能够实时捕…...
【用deepseek和chatgpt做算法竞赛】——还得DeepSeek来 -Minimum Cost Trees_5
往期 【用deepseek和chatgpt做算法竞赛】——华为算法精英实战营第十九期-Minimum Cost Trees_0:介绍了题目和背景【用deepseek和chatgpt做算法竞赛】——华为算法精英实战营第十九期-Minimum Cost Trees_1:题目输入的格式说明,选择了邻接表…...
edge浏览器将书签栏顶部显示
追求效果,感觉有点丑,但总归方便多了 操作路径:设置-外观-显示收藏夹栏-始终...
[漏洞篇]文件上传漏洞详解
[漏洞篇]文件上传漏洞详解 一、介绍 1. 概念 文件上传漏洞是指用户上传了一个可执行的脚本文件,并通过此脚本文件获得了执行服务器端命令的能力。这种攻击方式是最为直接和有效的,“文件上传” 本身没有问题,有问题的是文件上传后…...
计算机毕业设计SpringBoot+Vue.js企业客户管理系统(源码+LW文档+PPT+讲解+开题报告)
温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 作者简介:Java领…...
【多模态处理篇三】【DeepSeek语音合成:TTS音色克隆技术揭秘】
最近帮某明星工作室做AI语音助手时遇到魔幻需求——要求用5秒的咳嗽声克隆出完整音色!传统TTS系统直接翻车,生成的语音像得了重感冒的电音怪物。直到祭出DeepSeek的TTS音色克隆黑科技,才让AI语音从"机器朗读"进化到"声临其境"。今天我们就来扒开这个声音…...
华为 网络安全 认证
🍅 点击文末小卡片 ,免费获取网络安全全套资料,资料在手,涨薪更快 华为 网络安全 认证:保障信息安全的重要一环 在数字化时代的今天,网络安全成为了企业和个人都需要高度重视的问题。尤其是在企业信息化的…...
计算机视觉:经典数据格式(VOC、YOLO、COCO)解析与转换(附代码)
第一章:计算机视觉中图像的基础认知 第二章:计算机视觉:卷积神经网络(CNN)基本概念(一) 第三章:计算机视觉:卷积神经网络(CNN)基本概念(二) 第四章:搭建一个经典的LeNet5神经网络(附代码) 第五章࿱…...
开源嵌入式实时操作系统uC/OS-II介绍
一、uC/OS-II的诞生:从开源实验到行业标杆 背景与起源 uC/OS-II(Micro-Controller Operating System Version II)诞生于1992年,由嵌入式系统先驱Jean J. Labrosse开发。其前身uC/OS(1991年)最初作为教学工…...
QT基础八、与时间相关的UI控件
目录 一、时间类:QTime 1. 创建 QTime 对象 2. 获取当前时间 3. 设置时间 4. 时间格式化 5. 时间加减操作 6. 时间比较 7. 计算时间间隔 8. 判断时间是否有效 9. 使用 QElapsedTimer 测量时间间隔 二、日期类:QDate 1. 创建 QDate 对象 2. 获…...
大道至简 少字全意 易经的方式看 缓存 mybatis缓存 rendis缓存场景 案例
目录 介绍 mybatis缓存 一级缓存 1.是什么 2.特点 3.场景 mybatis 二级缓存 1.是什么 2.特点 3.配置步骤 注意 一级缓存问题 二级缓存问题 扩展 1.MyBatis集成 Redis 2.直接使用Redis redis 缓存 一、String 字符串 二、Llst 列表 三、Hash 哈希 四、Set…...
Python爬虫selenium验证-中文识别点选+图片验证码案例
1.获取图片 import re import time import ddddocr import requests from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service from selenium.webdriver.support.wait import WebDriverWait from …...
设计模式Python版 中介者模式
文章目录 前言一、中介者模式二、中介者模式示例 前言 GOF设计模式分三大类: 创建型模式:关注对象的创建过程,包括单例模式、简单工厂模式、工厂方法模式、抽象工厂模式、原型模式和建造者模式。结构型模式:关注类和对象之间的组…...
docker-compose Install deepseek
前言 deepseekAI助手。它具有聊天机器人功能,可以与用户进行自然语言交互,回答问题、提供建议和帮助解决问题。DeepSeek 的特点包括: 强大的语言理解能力:能够理解和生成自然语言,与用户进行流畅的对话。多领域知识&…...
Ubuntu 下 nginx-1.24.0 源码分析 - ngx_process_options
ngx_process_options 声明在 src\core\nginx.c static ngx_int_t ngx_process_options(ngx_cycle_t *cycle); 定义在 src\core\nginx.c static ngx_int_t ngx_process_options(ngx_cycle_t *cycle) {u_char *p;size_t len;if (ngx_prefix) {len ngx_strlen(ngx_prefix);p …...
vue:vite 代理服务器 proxy 配置
Vite 代理服务器(Proxy)的配置通常用于开发环境,以解决跨域请求等问题。以下是一个详细的配置步骤: 通过以上步骤,你就可以在 Vite 项目中配置代理服务器,以便在开发过程中方便地访问后端服务。 找到 Vi…...
【数据结构】快指针和慢指针
一、 给你单链表的头结点 head ,请你找出并返回链表的中间结点。如果有两个中间结点,则返回第二个中间结点。 要求:只遍历一遍链表 可以使用快慢指针:fast 一次走两步,slow 一次走一步。当 fast NULL(偶数个结点)或…...
初级渗透测试工程师需要学什么?网络安全零基础入门到精通教程建议收藏!
1、前言 本文主要介绍如何成为一名初级的渗透测试工程师所需要学习的内容,后续也会基于此将自己的学习总结、心得记录下来。相信在不断坚持下,争取在今年五月初成为一名初级的渗透测试工程师。 2、涉及知识领域 基础网络知识: 理解TCP/IP协…...
WSL2下ubuntu开启NFS服务
1. wsl2下ubuntu配置 安装 NFS 服务: sudo apt-get install nfs-kernel-server rpcbindnfs 配置文件/etc/exports: sudo vi /etc/exports打开/etc/exports 以后在后面添加如下所示内容: /home/mk/nfs *(rw,sync,no_subtree_check,no_root…...
superset
开源的BI工具还是选择apache的superset,2021年的是用过davince,结果2023年就不维护了,dataart也是一样的到2023年也没人维护了,dataease国产的人家也要吃饭,社区版也有限制。因而选择用python开发的superset成了唯一的…...
CSS通过webkit-scrollbar设置滚动条样式
查看::-webkit-scrollbar-*各项关系 以下图为例,可以分别定义滚动条背景、滚动轨道、滚动滑块的样式。 需要先给外部容器设置高度,再设置overflow: auto,最后设置三个webkit属性。 <!DOCTYPE html> <html lang"en">…...