【MySQL 进阶之路】SQL 优化
6.SQL 性能分析笔记
在现代数据库的高并发环境下，SQL 查询优化成为提升系统性能和响应速度的关键。本文将总结常见的 SQL 优化策略，包括插入优化、主键设计、排序优化、GROUP BY 优化等，帮助你在面对大规模数据时，做到高效查询和数据处理。
1. 插入优化
1.1 使用 LOAD DATA LOCAL INFILE
在大批量插入数据时，普通的 INSERT INTO 语句可能会变得非常慢，特别是在数据量很大的时候。相较之下，LOAD DATA LOCAL INFILE 是一种更高效的批量插入方式。
LOAD DATA LOCAL INFILE '/path/test.sql' INTO TABLE tables_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n';
LOAD DATA使用本地文件系统的数据文件（如 CSV、SQL）进行数据加载，效率远高于普通的逐行插入。- 可以跳过数据库的日志和约束检查，使得大量数据插入时性能大幅提升。
1.2 使用自增主键顺序插入
- 使用自增主键可以保证数据按照顺序插入，避免页分裂。
- 设计主键时，尽量选择自增型主键，避免使用像 UUID 这样的无序标识符。
2. 主键设计与优化
2.1 主键长度设计
- 主键设计时，要尽量避免使用过长的数据类型（如长字符串、UUID、MD5等），否则会导致索引占用更多存储空间，查询效率下降。
- 尽量使用数字型（如 INT 或 BIGINT）作为主键。
2.2 主键顺序插入
在 MySQL 中，InnoDB 存储引擎会根据主键顺序进行数据存储，因此插入数据时，保持主键顺序（如自增主键）能有效减少页分裂，提高插入效率。
2.3 页分裂与页合并
页分裂
当一个数据页填满后，InnoDB 会自动将该页分裂成两个页，并重新分配数据，这个过程会导致性能下降。因此，尽量按顺序插入数据，避免频繁的页分裂。
页合并
当数据删除导致某个页的元素数量少于一定阈值时，InnoDB 会将这些页合并。合并操作也会导致性能下降，因此需要避免过度删除数据。
3. ORDER BY 优化
3.1 创建合适的索引
- 在需要排序的字段上创建索引，可以提高排序效率。通常，创建索引时，字段顺序要与
ORDER BY子句中的字段顺序一致。 - 如果
ORDER BY中涉及多个字段，要遵循 最左前缀法则，即从左到右依次覆盖索引的字段。
CREATE INDEX idx_xx_xx ON tb(a ASC, d DESC);
3.2 使用 Using filesort 和 Using index
- Using filesort：如果查询中没有适合的索引，数据库会先进行全表扫描，然后在内存中对结果进行排序，使用的是“文件排序”，这通常比通过索引排序更耗时。
- Using index：如果查询能够直接利用索引的顺序返回结果，就会跳过额外的排序过程，使用索引直接返回排序好的数据，操作效率高。
3.3 避免不必要的排序
尽量避免在查询中做不必要的排序操作，特别是在大量数据的情况下，排序会导致严重的性能瓶颈。
4. GROUP BY 优化
4.1 使用联合索引
在进行 GROUP BY 操作时，最好确保涉及的字段已经建立索引，尤其是联合索引。联合索引可以减少查询的扫描范围，提高查询效率。
CREATE INDEX idx_group_by ON tb(a, b, c);
4.2 遵循最左前缀法则
对于多字段索引，查询的 GROUP BY 字段应该遵循最左前缀法则，确保查询可以充分利用索引来提高性能。
5. LIMIT 优化
5.1 使用覆盖索引和子查询
在使用 LIMIT 限制返回结果集时，可以考虑使用覆盖索引来避免回表操作，提高查询性能。
SELECT id, name FROM tb WHERE status = 1 LIMIT 100;
若能在 id 和 status 上建立联合索引，可以避免访问数据页，只通过索引获取所需数据。
5.2 避免在大数据量下使用 LIMIT
当表中数据量非常大时，LIMIT 查询可能会导致全表扫描，尤其是在没有合适索引的情况下。因此，在查询时，尽量优化索引和查询条件，减少数据的扫描范围。
6. COUNT 优化
6.1 使用 COUNT(*) 替代 COUNT(字段)
COUNT(*)是最优的统计方式，数据库会直接扫描整个数据表，避免了对某个字段的额外操作。- 如果使用
COUNT(字段)，数据库会首先检查该字段的非空值，因此性能会有所下降。
6.2 索引优化
在 COUNT 查询中，如果能利用索引，性能会显著提高。例如，使用主键字段进行 COUNT 会比使用普通字段更高效。
7. UPDATE 优化
7.1 使用索引字段更新
在更新数据时，尽量使用索引字段作为查询条件，这样可以减少数据库扫描的行数，提高更新效率。
UPDATE your_table SET status = 1 WHERE id = 100;
7.2 避免更新非索引字段
如果更新的字段没有索引，数据库会进行全表扫描来找到匹配的记录，造成严重的性能问题。
7.3 行锁和表锁
InnoDB 引擎在更新时会使用行级锁（即针对索引加锁），而非全表锁。要避免索引失效，因为索引失效时，行锁会升级为表锁，严重影响性能。
8. 总结
通过上述优化技巧，你可以大大提高数据库查询的效率，尤其是在大数据量场景下。总结几个关键点：
- 尽量使用高效的插入方法，如
LOAD DATA LOCAL INFILE。 - 设计合理的主键，避免使用 UUID 或过长的字符串。
- 在排序、分组和计数操作中使用合适的索引。
- 更新操作时，应确保查询条件中有索引字段。
- 了解并合理运用数据库的锁机制，减少表锁带来的性能损失。
持续关注数据库优化的最佳实践，不断调整和优化 SQL 查询，将为你的系统带来显著的性能提升。
相关文章：
【MySQL 进阶之路】SQL 优化
6.SQL 性能分析笔记 在现代数据库的高并发环境下，SQL 查询优化成为提升系统性能和响应速度的关键。本文将总结常见的 SQL 优化策略，包括插入优化、主键设计、排序优化、GROUP BY 优化等，帮助你在面对大规模数据时，做到高效查询和…...
本地部署开源趣味艺术画板Paint Board结合内网穿透跨网络多设备在线绘画
文章目录 前言1.关于Paint Board2.本地部署paint-board3.使用Paint Board4.cpolar内网穿透工具安装5.创建远程连接公网地址6.固定Paint Board公网地址 前言 大家好，是不是每次想要在电脑上画画时，都被那些笨重的专业绘图软件搞得头大如斗呢？…...
位图（bitmap）和布隆过滤器（bloom_filter）
1.位图-Bitmap 1.1问题引入 :给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中？ 40亿个无符号整数大约16G的大小，用map或者set显然是无法支持海量数据的存储。那么我们能否不存储数…...
如何使用JDBC向数据库中插入日期数据？？？
在学习JDBC 的过程中很多小明有疑问在IDEA编辑器是如何插入一个日期类型的数据的，此篇一些方法希望可以帮助到你。 示例： import java.text.ParseException; import java.text.SimpleDateFormat; import java.sql.Date; import java.util.Scanner;publi…...
电子系统设计实验4 信号发生电路设计实验
一、实验目的 1. 掌握正弦信号发生器的设计方法。 2. 掌握方波发生器的设计方法。 二、实验内容及结果 1. 实验内容 设计一用于RFID读卡器测试的幅移键控发生器（ASK），其结构如图4-1所示。正弦振荡器输出频率为150kHz，幅度为3V…...
【Docker】Linux与Windows系统安装Docker+Docker上简单安装MySQL
一、Windows安装Docker 由于我在许多平台搜索Windows下安装Docker的方法，都提到了Win10家庭版无法直接安装Docker。个人电脑就是Win10家庭版，本着实践出真知的想法，个人在本机Win10家庭版实验结果为需要采用下述传统手动安装的办法ÿ…...
linux更新镜像源
镜像源地址 1 阿里云 http://mirrors.aliyun.com/ubuntu/ 2 网易源 http://mirrors.163.com/ubuntu/ 3 浙大源 http://mirrors.zju.edu.cn/ubuntu 4 中科大源 http://mirrors.ustc.edu.cn/ubuntu/ 5 清华源 http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ 更新镜像源 此处…...
HarmonyOS 5.0应用开发——UIAbility生命周期
【高心星出品】 文章目录 UIAbility组件创建AbilityUIAbility的生命周期Create状态WindowStageCreate状态Foreground和Background状态WindowStageWillDestroy状态Destroy状态 UIAbility组件 UIAbility组件是一种包含UI的应用组件，主要用于和用户交互。 UIAbility组…...
【Linux】C语言实现简易的Linux shell命令行解释器
我们要实现自己的简易的shel，先了解一下shell运行原理。 1. shell运行原理 shell从用户读入字符串"ls"。shell建立一个子进程，在子进程中运行ls程序并等待进程结束。 然后shell读取新的一行输入，建立一个新的子进程，在…...
构建个人大模型问答助手（基于Streamlit +gpt-4o/o1-mini）：全面解析与实现
在当今人工智能迅猛发展的时代，构建一个个人化的大模型问答助手不仅能够提高工作效率，还能为日常生活带来便利。本篇博客将详细解析如何使用Python和Streamlit框架，结合OpenAI的API，搭建一个类似于ChatGPT的问答系统。我们将分步骤…...
10.请求拦截和响应拦截
文章目录 前言前景回顾拦截器应用请求拦截器响应拦截器测试响应拦截器原理 总结 前言 优秀的设计总是少不了丰富的扩展点, 比如spring可以自动装配, aop扩展, web模块也有拦截器, 甚至对servlet的过滤器都有封装; 再比如netty、doubbo等等都支持在数据流入流出都允许用户自定义…...
github使用SSH进行克隆仓库
SSH 密钥拉取git 查询密钥是否存在 s -al ~/.ssh这个文件夹下 known_hosts 就是存在的密钥文件 创建密钥文件 ssh-keygen -t rsa -b 4096 -C "testtt.com"-t rsa 是 rsa 算法加密 -b 是指定密钥的长度（以位为单位）。 -C 是用于给密钥添加注…...
如何成长为一名工程技术经理
https://medium.com/srivatsan-sridharan/how-to-grow-as-an-engineering-manager-687cad0bcac7 作为一名工程技术经理，你可能已经积累了丰富的团队管理经验，并展示了出色的项目管理、优先级管理和员工指导能力。然而，尽管如此，你…...
前端热门面试题目（四五六七）
1. 使用 import 时，Webpack 如何处理 node_modules 中的依赖？ 依赖解析： Webpack 遇到 import 时，利用 resolve 配置查找依赖。如果是第三方依赖（node_modules），Webpack 会优先查找其主入口&…...
三、使用 Maven：命令行环境
文章目录 1. 第一节 实验一：根据坐标创建 Maven 工程1.1 Maven 核心概念：坐标1.2 实验操作1.3 Maven核心概念：POM1.4 Maven核心概念：约定的目录结构 2. 实验二：在 Maven 工程中编写代码2.1 主体程序2.2 测试程序 3. 执…...
深度学习在网络管理中的应用：智能化的新时代
网络管理在现代信息技术中占据着举足轻重的地位。随着网络规模的扩大和复杂性的增加，传统的网络管理手段已经无法满足日益增长的需求。深度学习作为人工智能的一个重要分支，通过其强大的数据处理和模式识别能力，为网络管理带来了新的契机。本…...
微信小程序日期格式化报错： iOS 下无法正常使用，iOS 只支持 “yyyy/MM/dd“、“yyyy/MM/dd HH:mm:ss“、“yyyy-
微信小程序日期格式化报错 报错内容解决办法 报错内容 at formatDate (http://127.0.0.1:10118/appservice-hotreload/pages/index/index.js?1;:103:18) new Date(“2024-11-27 15:05:23”) 在部分 iOS 下无法正常使用，iOS 只支持 “yyyy/MM/dd”、“yyyy/MM/dd H…...
第K大数求解方案
思想：利用快速排序的思想，从数组S中随机找出一个元素X，把数组分为两部分Sa和Sb。Sa中的元素大于等于X，Sb中元素小于X。这时有两种情况： 1. Sa中元素的个数小于k，则Sb中的第k-|Sa|个元素即为第k大数…...
【AI系统】MobileFormer
MobileFormer 在本文中，将介绍一种新的网络-MobileFormer，它实现了 Transformer 全局特征与 CNN 局部特征的融合，在较低的成本内，创造一个高效的网络。通过本节，让大家去了解如何将 CNN 与 Transformer 更好的结合起来…...
《重生之我学VTK》-- 基本介绍与相关概念
目录 简介 可视化模型 示例（圆锥体） VTK官方用户手册（中文C版）附末尾，有需要的直接划到末尾 简介 VTK（Visualization Toolkit）是一个开源的、跨平台的软件系统，主要用于三维计算机图…...
HTML笔记（）蜘蛛纸牌之卡牌拖拽
效果 代码 <!DOCTYPE html> <html><head><style>body{display: flex;justify-content: center;align-items: center;height: 100vh;background-color: #2b2b2b;position: relative;}.card{/*设置卡牌的外观*/width: 150px;height: 200px;background-…...
记一次跑前端老项目的问题
记一次跑前端老项目的问题 一、前言二、过程1、下载依赖2、启动项目3、打包 一、前言 在一次跑前端老项目的时候，遇到了一些坑，这里记录一下。 二、过程 1、下载依赖 使用 npm install下载很久，然后给我报了个错 core-js2.6.12: core-js…...
041_Compare_Matrix_Squre_Sum_in_MATLAB中矩阵平方和的比较
矩阵平方和的计算 矩阵平方和的定义 矩阵平方和的定义是对矩阵中的每一个元素进行平方，然后求和。 对于一个矩阵 A A A，其平方和定义为： sum ∑ i 1 m ∑ j 1 n A ( i , j ) 2 \text{sum} \sum_{i1}^{m}\sum_{j1}^{n} A(i,j)^2 sumi1∑…...
vue3中 axios 发送请求 刷新token 封装axios
service.js 页面 import axios from axios // 创建axios实例 const instance axios.create({baseURL: http://gcm-test.jhzhkj.cn:8600/h5card/,timeout: 5000, // 请求超时时间headers: {get: {Content-Type: application/x-www-form-urlencoded},post: {Content-Type: appl…...
vue+mars3d叠加展示arcgis动态服务
数据格式：使用arcgis发布的动态服务 叠加和移除arcgis服务图层的方法 //加载arcgis地图服务function arcgisServer(i,d,m,p){i[d.data] new mars3d.layer.ArcGisLayer({name:d.label,url:p,flyTo: true})m.addLayer(i[d.data])}//移除arcgis服务范围线function rem…...
PostgreSQL 中进行数据导入和导出
在数据库管理中，数据的导入和导出是非常常见的操作。特别是在 PostgreSQL 中，提供了多种工具和方法来实现数据的有效管理。无论是备份数据，还是将数据迁移到其他数据库，或是进行数据分析，掌握数据导入和导出的技巧都是…...
Stable Audio Open模型部署教程：用AI打造独家节拍，让声音焕发新活力！
Stable Audio Open 是一个开源的文本到音频模型，允许用户从简单的文本提示中生成长达 47 秒的高质量音频数据。该模型非常适合创建鼓点、乐器即兴演奏、环境声音、拟音录音和其他用于音乐制作和声音设计的音频样本。用户还可以根据他们的自定义音频数据微调模型&…...
python更新程序并部署服务器服务
本地客户端程序 import json import hashlib import os import shutil import requests from pathlib import Pathclass AutoUpdater:def __init__(self, config_path"http://【XXXIP地址】/update_config"):self.config_path config_pathself.config Nonewith op…...
Nmap 扫描技巧：自定义端口、扫描速度与并行化设置
Nmap 扫描技巧：自定义端口、扫描速度与并行化设置 在进行网络安全扫描时，Nmap 是一个非常强大的工具。除了默认扫描 1000 个端口外，你还可以根据需要自定义扫描的端口、调整扫描速度以及优化扫描并行化。今天，我们就来介绍如何通…...
从 HTML 到 CSS：开启网页样式之旅（五）—— CSS盒子模型
从 HTML 到 CSS：开启网页样式之旅（五）—— CSS盒子模型 前言一、盒子模型的组成margin（外边距）：border（边框）：padding（内边距）：conten…...
Linux命令行下载工具
1. curl 1.1. 介绍 curl是一个功能强大的命令行工具，用于在各种网络协议下传输数据。它支持多种协议，包括但不限于 HTTP、HTTPS、FTP、FTPS、SCP、SFTP、SMTP、POP3、IMAP 等，这使得它在网络数据交互场景中有广泛的应用。curl可以模拟浏览器…...
Navicat 连接 SQL Server 详尽指南
Navicat 是一款功能强大的数据库管理工具，它提供了直观的图形界面，使用户能够轻松地管理和操作各种类型的数据库，包括 SQL Server。本文将详尽介绍如何使用 Navicat 连接到 SQL Server 数据库，包括安装设置、连接配置、常见问题排…...
黑马JavaWeb-day06、07、08（SQL部分） _
文章目录 MYSQL概述数据模型SQL简介SQL分类 DDL数据库操作表操作 DML增（INSERT）改（UPDATE）删（DELETE） DQL基本查询条件查询（where）分组查询（group by）排序查询…...
Redis（1）
Redis是一个在内存中存储数据的中间件。 1.在内存中存储数据。 通过数据结构来存储，mysql通过表的方式存储数据，是关系型数据库，redis通过键值对存储，key的类型是string，value的类型是非关系型数据库。 2.可编程的 …...
工具类-列表请求工具 useList
useList 用于列表请求的基于 vue 3 的 hooks，接收请求函数、请求参数等数据，自动生成请求请求函数，分页信息等 本文有涉及到 http 请求工具和接口返回格式的内容： http 工具：一个基于 axios 封装的请求工具Response…...
5G终端自动拔号脚本
5G终端自动拔号脚本 5G终端自动拔号脚本 5G终端自动拔号脚本， 先进入飞行模式，再切出飞行模式， 最后 查询UE IP地址 5G终端自动拔号脚本 input$1 if [ "$input"x "1"x ]; then cmdatcfun1echo "start dialing &…...
3-1 C指针与数组
前言： 基于本人回顾与思考，仅供学习参考 1.0 数组名称的用途 注：可以用于求数组占用的内存空间:sizeof(arrName);此时数组名称代表整个数组 int32 t buffer[5] {1,2,3,4,5};int32 t size sizeof(buffer);printf("sizeof(buffer) %d.\…...
swift 屏幕录制
步骤 1：导入 ReplayKit import ReplayKit步骤 2：开始录屏 let screenRecorder RPScreenRecorder.shared() // 麦克风或系统音频 screenRecorder.isMicrophoneEnabled truefunc startRecording() {guard screenRecorder.isAvailable else {print(&quo…...
Graphviz 的详细介绍
Graphviz 的详细介绍 Graphviz 是一个开源的图形可视化软件，专门用于生成结构化图形。它特别适合用于表示关系图、流程图、依赖关系图和树状结构等类型的图表。Graphviz 使用一种名为 DOT 的脚本语言描述图形，通过解析 DOT 文件生成图像。 Graphviz 的特…...
前端工程化
文章目录 前端工程化模块化与组件化代码规范与风格统一自动化构建与部署性能优化版本控制与团队协作自动化测试 前端工程化 前端工程化是一种将软件工程的方法应用于前端开发的过程，旨在提高开发效率、降低维护成本、优化代码质量，并支持团队协作。以下…...
【LC】41. 缺失的第一个正数
题目描述： 给你一个未排序的整数数组 nums ，请你找出其中没有出现的最小的正整数。 请你实现时间复杂度为 O(n) 并且只使用常数级别额外空间的解决方案。 示例 1： 输入：nums [1,2,0] 输出：3 解释：范围…...
高频面试题（含笔试高频算法整理）基本总结回顾29
干货分享，感谢您的阅读！ （暂存篇---后续会删除，完整版和持续更新见高频面试题基本总结回顾（含笔试高频算法整理）） 备注：引用请标注出处，同时存在的问题请在相关博客留言…...
Hive 的 Hook 机制 完全解析
Hive 的 Hook 是一种扩展机制，允许用户在执行查询时自定义行为，例如日志记录、审计或其他操作。Hook 通常在 Hive 的生命周期中某些关键节点被触发，开发者可以插入自定义代码执行特定任务。 一、Hook 的用途和核心概念 1. 用途 审计&#x…...
远程debug
这里写自定义目录标题 一、首先配置idea二、配置jvm1、将刚才idea生成的jvm指令复制下来，就是如下内容（注意要从你的idea中复制）2、在粘贴之前，要拼接上java-jar命令，还有servery,suspendy命令，最后拼接项目…...
一些常见网络安全术语
1、黑帽 为非法目的进行黑客攻击的人，通常是为了经济利益。他们进入安全网络以销毁，赎回，修改或窃取数据，或使网络无法用于授权用户。这个名字来源于这样一个事实：老式的黑白西部电影中的恶棍很容易被电影观众识别&…...
golang学习，小结
切片 切片，底层就是数组，len（切片的长度）和cap（容量，切片的空间） 从一个数组来得到切片，修改切片会修改原来的数组，数据会收到影响 我们可以通过内置的 append 函数对一…...
【C++ map和set】数据的吟游诗：Map与Set的双城记
公主请阅 set1.序列式容器和关联式容器2.set的介绍3.set的构造和迭代器部分set可以进行去重操作的，在去重的同时可以对插入进来的数字进行排序的操作4.set的增删查inserterasefindupper_bound和 lower_bound 5.multiset和set的差异6相关题目349.两个数组的交集142.环…...
leetcode 之 二分查找（java）（3）
文章目录 5. 81. 搜索旋转排序数组 II6. 378、有序矩阵中第k个小的元素 5. 81. 搜索旋转排序数组 II 题目描述： 已知存在一个按非降序排列的整数数组 nums ，数组中的值不必互不相同。 在传递给函数之前，nums 在预先未知的某个下标 k&#…...
后端返回前端的数据量过大解决方案
后端返回前端的数据量过大解决方案 性能面板(Performance) chrome调试指南 原因 遇到一个页面有好几个表格，部分表格采用虚拟滚动条 数据量有点大 接近快60s了，看一下是哪里导致的慢 后台请求方法执行并不慢 2024-12-04 15:21:52.889 INFO 69948 …...
STL算法之其它算法_下
random_shuffle 这个算法将[first,last)的元素次序随机排列。也就说，在N!中可能的元素排列中随机选出一种，此处N为last-first。 N个元素的序列，其排列方式为N!中，random_shuffle会产生一个均匀分布，因此任何一个排列被…...