当前位置：首页 > news >正文

【高并发】 MySQL锁优化策略

news 来源：原创 2025/7/3 20:10:04

在数据库高并发场景中，行锁、表锁和高并发处理是密切相关的概念，它们共同影响着系统的并发性能和数据一致性。以下是三者的详细解释及高并发处理的策略：

1. 行锁（Row-Level Locking）

行锁是数据库中最小的锁粒度，仅锁定被操作的单一行记录。它允许其他事务同时操作未被锁定的其他行，因此在高并发场景中能显著提升并发性能，减少锁冲突。

特点：

粒度小：只锁定具体的数据行，其他行可以自由操作。
并发性高：适用于频繁更新或删除单条记录的场景。
开销较大：需要更多的内存和管理资源，因为锁的数量可能非常多。
避免死锁风险：由于粒度小，死锁的可能性相对较低，但并非完全避免。

适用场景：

OLTP（在线事务处理）：如电商订单系统中，用户下单时仅锁定该订单记录。
频繁的增删改操作：当多个事务需要同时操作不同行时，行锁能最大化并发。

实现方式（以MySQL InnoDB为例）：

记录锁（Record Lock）：锁定单个记录。
间隙锁（Gap Lock）：锁定索引记录之间的间隙，防止其他事务插入新记录。
临键锁（Next-Key Lock）：记录锁 + 间隙锁，锁定记录及其前后的间隙，用于防止幻读。

2. 表锁（Table-Level Locking）

表锁是数据库中最大的锁粒度，锁定整个表。它简单高效，但会阻塞其他事务对表的所有操作，因此在高并发场景中容易成为性能瓶颈。

特点：

粒度大：锁定整个表，其他事务无法对表进行读写（除非锁类型允许）。
开销小：管理简单，资源消耗低。
并发性低：容易导致阻塞，适合低并发或简单操作。

适用场景：

批量操作：如全表扫描、数据导出等需要独占表资源的操作。
简单系统：当系统并发量较低时，表锁可以简化锁管理。
特定业务场景：如需要保证某个操作对整个表的原子性时（例如某些批量更新）。

实现方式（以MySQL MyISAM为例）：

读锁（READ LOCK）：允许其他事务读，但阻止写操作。
写锁（WRITE LOCK）：阻止其他事务读写。

3. 高并发处理的核心挑战

在高并发场景下，数据库需要同时满足以下要求：

数据一致性：确保多个事务操作的结果正确无误。
高吞吐量：尽可能减少锁竞争，提升系统处理能力。
低延迟：避免事务因等待锁而长时间阻塞。

锁机制的局限性：

行锁竞争：当多个事务频繁操作同一行时，行锁可能导致阻塞。
表锁阻塞：表锁会直接导致整个表的操作被阻塞，严重限制并发能力。
死锁风险：锁的复杂性可能引发死锁，需要数据库自动检测或人工干预。

4. 高并发场景下的锁优化策略

（1）减少锁的粒度

使用行锁而非表锁：尽可能使用行锁，避免不必要的表锁。
合理设计索引：索引能帮助数据库快速定位记录，减少间隙锁的范围，降低锁竞争。例如，对频繁更新的字段建立索引。
避免全表扫描：全表扫描可能触发间隙锁或表锁，改用索引查询。

（2）优化事务

缩短事务持有时间：减少事务的执行时间，尽快释放锁。
按需隔离级别：降低事务的隔离级别（如使用READ COMMITTED）可以减少锁的持有时间，但需权衡数据一致性。
批量操作拆分：将大事务拆分为小事务，减少锁占用时间。

（3）避免死锁

按固定顺序加锁：多个事务操作多行时，按统一顺序申请锁（如按主键顺序）。
设置超时机制：通过SET LOCK_TIMEOUT等命令限制事务等待锁的时间，避免长时间阻塞。

（4）使用乐观锁

版本号机制：通过版本号（如version字段）或时间戳判断数据是否被修改，冲突时重试。
CAS（Compare and Swap）：在更新时检查当前值是否与预期值一致，不一致则放弃更新。

（5）分库分表

水平分表：将数据分散到多个表或数据库中，减少单表锁竞争。
读写分离：通过主从架构分离读写压力，减少主库的锁竞争。

（6）队列与异步处理

消息队列：将高并发的写操作放入队列，异步处理（如秒杀系统用Redis队列）。
缓存层：使用缓存（如Redis）减少直接访问数据库的频率。

（7）数据库设计优化

避免热点数据：通过哈希分片或业务逻辑分散热点（如订单表按用户ID分片）。
选择合适的锁类型：根据业务需求选择共享锁（S锁）或排他锁（X锁），例如读操作使用共享锁。

（8）数据库配置调整

调整锁表阈值：某些数据库允许配置锁的阈值，超过阈值时自动升级为表锁（如MySQL的innodb_lock_wait_timeout）。
使用高性能存储引擎：例如MySQL的InnoDB支持行锁，而MyISAM仅支持表锁。

5. 典型场景与解决方案

场景1：电商秒杀

问题：大量用户同时抢购同一商品，导致行锁竞争激烈。
解决方案：
- 缓存+队列：用Redis缓存库存，库存不足时将请求放入队列异步处理。
- 乐观锁：通过版本号控制库存更新，失败则重试。
- 分库分表：将商品库存分散到不同分表，减少单表锁竞争。

场景2：高并发写入日志

问题：大量并发写入同一日志表，导致行锁或表锁阻塞。
解决方案：
- 分表：按时间或业务分片，分散写入压力。
- 异步写入：通过消息队列将日志写入操作异步化。
- 批量插入：将多个写入操作合并为一个事务，减少锁的申请次数。

场景3：银行转账

问题：两个账户的余额同时被多个事务操作，可能导致死锁。
解决方案：
- 固定加锁顺序：总是先锁定余额较小的账户，再锁定较大的账户。
- 缩短事务：快速完成转账操作，减少锁持有时间。

6. 其他锁相关概念

（1）共享锁（S锁）与排他锁（X锁）

共享锁：允许其他事务读，但阻止写操作（读锁）。
排他锁：阻止其他事务读写（写锁）。
兼容性：多个共享锁可以共存，但排他锁与其他锁互斥。

（2）死锁（Deadlock）

定义：两个或多个事务互相等待对方释放锁，导致系统僵局。
解决：数据库通常会自动检测并回滚其中一个事务，开发者需通过合理设计减少死锁概率。

（3）锁升级（Lock Escalation）

机制：某些数据库（如Oracle）在事务持有大量行锁时，自动升级为表锁，减少锁管理开销。
影响：需谨慎使用，可能引发更大范围的阻塞。

7. 不同数据库的锁机制

MySQL InnoDB

默认行锁：支持行级锁，适合高并发场景。
间隙锁：在RR隔离级别下防止幻读，但可能增加锁竞争。

Oracle

行级锁：通过TM（DML）锁和TX（事务）锁实现。
锁升级：当行锁数量超过阈值时自动升级为表锁。

PostgreSQL

多版本并发控制（MVCC）：通过版本号实现无锁读，减少锁竞争。
行锁与表锁：支持行锁，但某些操作（如SELECT FOR UPDATE）可能触发表锁。

Redis

单线程特性：所有操作串行化，通过原子命令（如INCR）避免锁竞争。
RedLock算法：分布式锁方案，用于跨节点的分布式场景。

8. 总结

行锁：适合高并发场景，但需注意索引设计和事务优化。
表锁：仅在低并发或特定批量操作时使用。
高并发处理：需结合锁机制、数据库设计、缓存、队列等技术，平衡性能与一致性。

通过合理选择锁粒度、优化事务逻辑、减少热点数据、利用异步处理等手段，可以有效提升高并发场景下的数据库性能，同时保证数据的一致性和可用性。

【高并发】 MySQL锁优化策略

在数据库高并发场景中，行锁、表锁和高并发处理是密切相关的概念，它们共同影响着系统的并发性能和数据一致性。以下是三者的详细解释及高并发处理的策略： 1. 行锁（Row-Level Locking） 行锁是数据库中最小的锁粒度&…...

编程日记 2025/7/3 20:10:04

C语言——填充矩阵

C语言——填充矩阵一、问题描述二、格式要求1.输入形式2.输出形式3.样例三、实验代码一、问题描述编程实现自动填充nn矩阵元素数值，填充规则为：从第一行最后一列矩阵元素开始按逆时针方向螺旋式填充数值1，2，…，nn…...

编程日记 2025/6/29 12:28:22

CSS3 基础（背景-文本效果）

二、背景效果属性功能示例值说明background设置背景颜色或渐变background: linear-gradient(45deg, #4CAF50, #FF5722);设置背景颜色、图片或渐变效果。background-size调整背景图片大小background-size: cover;设置背景图片的显示大小，如 cover 或 contain。back…...

编程日记 2025/7/3 20:05:46

点云配准算法之NDT算法原理详解

一、算法概述 NDT（Normal Distributions Transform）最初用于2D激光雷达地图构建（Biber & Straer, 2003），后扩展为3D点云配准。它将点云数据空间划分为网格单元（Voxel），在每个体…...

编程日记 2025/7/3 20:05:00

springboot在eclipse里面运行 run as 是Java Application还是 Maven

在 Eclipse 里运行 Spring Boot 项目时，既可以选择以“Java Application”方式运行，也可以通过 Maven 命令来运行，下面为你详细介绍这两种方式及适用场景。以“Java Application”方式运行操作步骤在项目中找到带有 SpringBootApplicat…...

编程日记 2025/6/29 12:08:07

Redis 基础和高级用法入门

redis 是什么？ Redis是一个远程内存数据库，它不仅性能强劲，而且还具有复制特性以及为解决问题而生的独一无二的数据模型。Redis提供了5种不同类型的数据结构，各式各样的问题都可以很自然地映射到这些数据结构上&#xff1a…...

编程日记 2025/6/29 12:25:10

使用vue2开发一个在线旅游预订平台-前端静态网站项目练习

hello,大家好，今天给大家再分享一个前端vue2练习项目-在线旅游预订平台。我们在学习编程的时候，除了学习编程的基础知识，为了让我们快速的掌握一门编程技术，肯定离不开各种项目的练习，今天分享的这个前端练习项目&…...

编程日记 2025/6/29 9:52:35

Ext Direct 功能与使用详解

Ext Direct 是 Ext JS 框架中的一个功能模块，旨在简化前端 JavaScript 应用与后端服务器之间的通信。其核心思想是通过远程过程调用（RPC）协议，将服务器端的方法透明地映射为前端可直接调用的 JavaScript 函数，从而减少手动编写 Ajax 请求和处理响应的代码量。一、Ext Dir…...

编程日记 2025/7/3 20:06:27

Android移动应用开发入门示例：Activity跳转界面

介绍如何使用LinearLayout布局实现基本的UI设计，并实现两个Activity之间的跳转，适合刚接触Android Studio的新手学习。我们将使用Java语言开发，布局采用XML文件。以下为完整源码与运行说明： 案例前的准备工作： 1.1XM…...

编程日记 2025/6/29 9:45:11

【hadoop】HBase分布式数据库安装部署

一、HBase集群的安装与配置步骤： 1、使用XFTP将HBase安装包hbase-1.2.0-bin.tar.gz发送到master机器的主目录。 2、解压安装包： tar -zxvf ~/hbase-1.2.0-bin.tar.gz 3、修改文件夹的名字，将其改为hbase，或者创建软连接也可…...

编程日记 2025/6/29 9:52:04

理解npm的工作原理：优化你的项目依赖管理流程

目录什么是npm npm核心功能 npm 常用指令及其作用执行npm i 发生了什么? 1. 解析命令与参数 2. 检查依赖文件 3. 依赖版本解析与树构建 4. 缓存检查与包下载 5. 解压包到 node_modules 6. 更新 package-lock.json 7. 处理特殊依赖类型 8. 执行生命周期脚本 9. …...

编程日记 2025/7/3 20:09:24

【Python笔记 04】输入函数、转义字符

一、Input 输入函数 prompt是提示，会在控制台显示，用作提示函数。 name input("请输入您的姓名：") print (name)提示你输入任意信息： 输入input test后回车，他输出input test 二、常用的转义字符只讲…...

编程日记 2025/7/3 20:06:27

数据库的操作中，查询是最重要的一、基本查询-数据准备 -- 数据准备 create database if not exists mydb2; use mydb2; create table product( pid int primary key auto_increment, pname varchar(20) not null, price double, category_id varchar(20) …...

编程日记 2025/7/3 20:05:45

13、性能优化：魔法的流畅之道——React 19 memo/lazy

一、记忆封印术（React.memo） 1. 咒语本质 "memo是时间转换器的记忆晶石，冻结无意义的能量波动！" 通过浅层比较（shallowCompare）或自定义预言契约，阻止组件在props未变时重新渲染。 …...

编程日记 2025/6/29 11:36:14

低代码平台开发手机USB-HID调试助手

项目介绍 USB-HID调试助手是一种专门用于调试和测试USB-HID设备的软件工具。USB-HID设备是一类通过USB接口与计算机通信的设备，常见的HID设备包括键盘、鼠标、游戏控制器、以及一些专用的工业控制设备等。主要功能包括： 数据监控：实时监控和…...

编程日记 2025/6/29 10:33:22

Langchain_Agent+数据库

本处使用Agent数据库，可以直接执行SQL语句。可以多次循环查询问题前文通过chain去联系数据库并进行操作； 通过链的不断内嵌组合，生成SQL在执行SQL再返回。初始化 import os from operator import itemgetterimport bs4 from langchain.ch…...

编程日记 2025/6/29 10:31:02

Code Splitting 分包策略

以下是关于分包策略（Code Splitting）的深度技术解析，涵盖原理、策略、工具实现及优化技巧：一、分包核心价值与底层原理 1. 核心价值矩阵维度未分包场景合理分包后首屏速度需加载全部资源仅加载关键资源缓存效率任意修改导致全量缓存失效按模块变更频率分层缓存并行加载单…...

编程日记 2025/6/29 12:08:28

AI 开发入门之 RAG 技术

目录一、从一个简单的问题开始二、语言模型“闭卷考试”的困境三、RAG 是什么—LLM 的现实世界“外挂”四、RAG 的七步流程第一步：加载数据（Load）第二步：切分文本（Chunking）第三步：向量化&…...

编程日记 2025/6/29 11:10:59

day36图像处理OpenCV

文章目录一、图像预处理18 模板匹配18.1模板匹配18.2 匹配方法18.2.1 平方差匹配18.2.2 归一化平方差匹配18.2.3 相关匹配18.2.4 归一化相关匹配18.2.5 相关系数匹配18.2.6 归一化相关系数匹配 18.3 绘制轮廓18.4案例一、图像预处理 18 模板匹配 18.1模板匹配模板匹配就是…...

编程日记 2025/6/29 12:11:35

系统与网络安全------弹性交换网络（3）

资料整理于网络资料、书本资料、AI，仅供个人学习参考。 STP协议环路的危害单点故障 PC之间的互通链路仅仅存在1个任何一条链路出现问题，PC之间都会无法通信解决办法提高网络可靠性增加冗余/备份链路增加备份链路后交换网络上产生二层环路 …...

编程日记 2025/6/29 9:22:50

FPGA上实现YOLOv5的一般过程

在FPGA上实现YOLOv5 YOLO算法现在被工业界广泛的应用，虽说现在有很多的NPU供我们使用，但是我们为了自己去实现一个NPU所以在本文中去实现了一个可以在FPGA上运行的YOLOv5。 YOLOv5的开源代码链接为 https://github.com/ultralytics/yolov5 为了在FPGA中…...

编程日记 2025/6/29 11:21:41

verilog和system verilog常用数据类型以及常量汇总

int和unsigned 在 Verilog-2001 中，没有 int 和 unsigned 这样的数据类型。这些关键字是 SystemVerilog 的特性，而不是 Verilog-2001 的一部分。 Verilog-2001 的数据类型在 Verilog-2001 中，支持的数据类型主要包括以下几种： …...

编程日记 2025/6/29 12:01:13

wordpress学习笔记

P1 P2 P3...

编程日记 2025/6/29 11:57:52

Rust 学习笔记：编程语言的相关概念

Rust 学习笔记：编程语言的相关概念 Rust 学习笔记：编程语言的相关概念动态类型 vs 静态类型动态类型 (Dynamically Typed)静态类型 (Statically Typed)对比示例强类型 vs 弱类型强类型 (Strongly Typed)弱类型 (Weakly Typed)对比示例编译型语言 vs 解…...

编程日记 2025/6/29 12:14:41

react nativeWebView跨页面通信

场景 react native项目里，有一些移动端的应用喜欢使用h5来开发，会出现需要跨tab和跨页面通信的场景，可以使用pubsub-js来实现通信。实现思路在react native 层实现pubsub的公共API，提供订阅消息、发布消息、取消订阅接口&…...

编程日记 2025/6/29 10:45:54

Python爬虫（3）HTML核心技巧：从零掌握class与id选择器，精准定位网页元素

目录一、背景与意义‌二、class与id的基础概念与语法规则‌2.1 什么是class与id？‌2.2 核心区别总结三、应用场景与实战案例‌3.1 场景1：CSS样式管理‌3.2 场景2：JavaScript交互‌3.3 场景3：SEO优化与语义化‌ 四、常见误区与最…...

编程日记 2025/6/29 9:20:35

BGE（BAAI General Embedding）模型详解

BGE（BAAI General Embedding）模型详解 BGE（BAAI General Embedding）是北京智源人工智能研究院（BAAI）推出的通用文本嵌入模型系列，旨在为各种自然语言处理任务提供高质量的向量表示。一、BGE模…...

编程日记 2025/7/2 23:12:16

【Linux网络】应用层自定义协议与序列化及Socket模拟封装

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/6/29 9:22:35

Rust项目GPG签名配置指南

Rust项目GPG签名配置指南一、环境准备 # 安装Gpg4win（Windows） winget install -e --id GnuPG.Gpg4win二、密钥生成与配置 # 生成RSA4096密钥 gpg --full-generate-key # 类型选RSA and RSA，长度4096，邮箱填z3266420686202216…...

编程日记 2025/6/29 9:20:43

6.第六章：数据分类的技术体系

文章目录 6.1 数据分类的技术架构6.1.1 数据分类的整体流程6.1.2 数据分类的技术组件6.1.2.1 数据采集与预处理6.1.2.2 特征工程与选择6.1.2.3 分类模型构建6.1.2.4 模型评估与优化6.1.2.5 分类结果应用与反馈 6.2 数据分类的核心技术与算法6.2.1 传统机器学习算法6.2.2 深度学…...

编程日记 2025/6/29 10:28:37

Nginx 反向代理，啥是“反向代理“啊，为啥叫“反向“代理？而不叫“正向”代理？它能干哈？

Nginx 反向代理的理解与配置 User 我打包了我的前端vue项目，上传到服务器，在宝塔面板安装了nginx服务，配置了文件 nginx.txt .运行了项目。我想清楚，什么是nginx反向代理？是nginx作为一个中介？中间件来集…...

编程日记 2025/6/29 9:20:37

下篇：深入剖析 BLE GATT / GAP / SMP 与应用层（约5000字）

引言在 BLE 协议栈的最上层，GAP 定义设备角色与连接管理，GATT 构建服务与特征，SMP 负责安全保障，应用层则承载具体业务逻辑与 Profile。掌握这一层，可实现安全可靠的设备发现、配对、服务交互和定制化业务。本文将详解 GAP、GATT、SMP 三大模块，并通过示例、PlantUML 时…...

编程日记 2025/6/29 10:31:27

Linux Awk 深度解析：10个生产级自动化与云原生场景

看图猜诗，你有任何想法都可以在评论区留言哦~ 摘要 Awk 作为 Linux 文本处理三剑客中的“数据工程师”，凭借字段分割、模式匹配和数学运算三位一体的能力，成为处理结构化文本（日志、CSV、配置文件）的终极工具。本文聚…...

编程日记 2025/6/29 11:25:27

无人设备遥控之调度自动化技术篇

无人设备遥控器的调度自动化技术是现代科技发展的重要成果，它通过集成先进的通信、控制、传感器及人工智能技术，实现了对无人设备的高效、精准调度与自动化管理。一、核心技术无线通信技术调度自动化依赖于高速、稳定的无线通信网络（如5…...

编程日记 2025/6/29 10:24:41

STM32F407 HAL库使用 DMA_Normal 模式实现 UART 循环发送（无需中断）

在 STM32 开发中，很多人喜欢使用 DMA 来加速串口发送数据。然而，默认的 DMA 往往配合中断或使用循环模式（DMA_CIRCULAR）使用。但在某些特定需求下，我们希望： 使用 DMA_NORMAL 模式，确保 DMA 每次…...

编程日记 2025/6/29 11:32:37

汽车自动驾驶介绍

0 Preface/Foreword 1 介绍 1.1 FSD FSD: Full Self-Driving，完全自动驾驶 （Tesla） 1.2 自动驾驶级别 L0 - L2：辅助驾驶L3：有条件自动驾驶L4/5 ：高度/完全自动驾驶...

编程日记 2025/6/29 11:26:09

Uniapp-小程序从入门到精通

沉淀UNIAPP项目精华模版 ******************************************************************************************************************************************* 1、数据库的导入SQL **************************************************************************…...

编程日记 2025/6/29 9:25:26

深度剖析操作系统核心（第一节）：从X86/ARM/MIPS处理器架构到虚拟内存、分段分页、Linux内存管理，再揭秘进程线程限制与优化秘籍，助你成为OS高手！

文章目录 OS处理器X86ARMMIPSPowerPC 内存管理虚拟内存内存分段内存分页段页式内存管理Linux 内存管理 OS 处理器常见处理器有X86、ARM、MIPS、PowerPC四种。 X86 X86架构是芯片巨头Intel设计制造的一种微处理器体系结构的统称。如果这样说你不理解，那么当我说…...

编程日记 2025/6/29 12:08:29

基于 EFISH-SBC-RK3588 的无人机通信云端数据处理模块方案‌

一、硬件架构设计‌ ‌核心计算单元（EFISH-SBC-RK3588）‌ ‌异构计算能力‌：搭载 8 核 ARM 架构（4Cortex-A762.4GHz 4Cortex-A551.8GHz），集成 6 TOPS NPU 与 Mali-G610 GPU，支持多任务并行处理…...

编程日记 2025/6/29 11:35:03

Unity 内置Standard Shader UNITY_BRDF_PBS函数分析 (二)

四、BRDF1_Unity_PBS // 主物理基BRDF实现 // 基于Disney工作并以Torrance-Sparrow微面模型为基础 // 公式： // BRDF kD / π kS * (D * V * F) / 4 // I BRDF * (N L) // // * NDF（法线分布函数）可根据 UNITY_BRDF_GGX 选择&#…...

编程日记 2025/6/29 11:45:23