6.1 innoDb逻辑存储结构和架构-简介
InnoDB 是 MySQL 默认的存储引擎，以其强大的事务支持、崩溃恢复能力和高效的数据处理能力广受欢迎。本文从逻辑存储结构、内存架构、磁盘结构到后台线程，逐步剖析 InnoDB 的关键概念，帮助您更好地理解和应用。
1. 逻辑存储结构
InnoDB 的数据存储采用多层次的逻辑结构，具有极高的组织性和扩展性。
- 表空间（Tablespace）：InnoDB 数据存储的最高层次，负责组织数据文件。
- 段（Segment）：表空间的子单位，分为数据段（存储表数据）、索引段（存储索引）和回滚段。
- 区（Extent）：每个段由多个区组成，每个区包含 64 个连续的页（Page）。
- 页（Page）：InnoDB 数据存储的基本单位，默认大小为 16KB。
- 行（Row）：页中实际存储的记录数据。
1.1 特点：
- 分层结构使得数据管理更高效。
- 页大小支持调整（4KB、8KB、16KB），以适应不同场景的需求。
1.2 逻辑存储结构图
2. 内存架构
内存架构是 InnoDB 高性能的核心部分。以下是主要组成部分及其作用：
2.1 缓冲池（Buffer Pool）
- 简介：缓冲池是用于缓存表数据和索引的区域，占用 InnoDB 的大部分内存。
- 作用：
- 减少磁盘 I/O：将数据和索引页缓存在内存中，减少磁盘读写。
- 脏页管理：修改后的页（脏页）被延迟写回磁盘，提高性能。
优化建议：
-
合理设置缓冲池大小（
innodb_buffer_pool_size）。 -
查看缓冲池命中率：
SHOW ENGINE INNODB STATUS;
2.2 更改缓冲区（Change Buffer）
- 简介：缓存对非唯一二级索引的修改操作，减少随机写磁盘的次数。
- 作用：
- 延迟写入：对二级索引的插入、更新和删除操作先缓存在更改缓冲区，后续批量写入磁盘。
- 提升性能：在写密集型场景下效果显著。
2.3 自适应哈希索引（Adaptive Hash Index）
- 简介：基于热点数据动态生成的哈希索引，用于加速等值查询。
- 作用：
- 提高 B+ 树索引的查询效率。
- 减少多层索引节点的遍历。
查询是否开启：
SHOW VARIABLES LIKE '%hash_index%';
2.4 日志缓存区
- 简介：存储事务日志的内存区域。
- 作用：
- 加速事务日志写入。
- 支持崩溃恢复。
查看相关参数：
SHOW VARIABLES LIKE '%log_buffer_size%';
SHOW VARIABLES LIKE '%flush_log%';
innodb_flush_log_at_trx_commit 值的含义：
1：每次事务提交时立即写入磁盘，保证数据安全。0：日志保存在内存中，性能高但数据不安全。2：日志写入 OS 缓存，周期性刷盘，性能与安全性折中。
3. 磁盘结构
InnoDB 数据持久化依赖于磁盘结构，其设计确保了高效存储和事务一致性。
3.1 系统表空间
- 简介：存储共享元数据、Undo 数据、事务日志等。
- 作用：管理数据库的核心元数据。
查询指令：
SHOW VARIABLES LIKE '%innodb_data_file_path%';
3.2 独立表空间（File-Per-Table Tablespaces）
- 特点：每个表单独存储在一个
.ibd文件中。 - 优点：
- 更灵活的备份和迁移。
- 减少单个表空间的碎片。
3.3 通用表空间
-
特点：支持多个表共享一个表空间。
-
指令：
-
创建表空间：
CREATE TABLESPACE ts1 ADD DATAFILE 'ts1.ibd' ENGINE=InnoDB; -
表指定表空间：
CREATE TABLE employees (...) TABLESPACE ts1;
-
3.4 Undo 表空间
- 作用：存储回滚信息。
- 特点：在事务回滚和多版本并发控制（MVCC）中发挥重要作用。
3.5 临时表空间
- 简介：存储临时表的数据，仅在会话期间有效。
3.6 双写缓冲区
- 作用：防止写操作中断导致数据损坏。
- 机制：
- 数据页先写入双写缓冲区。
- 双写缓冲区再将数据写入表空间。
3.7 Redo Log 重做日志
- 作用：记录事务的物理变化，用于崩溃恢复。
- 组成：
- Redo Log Buffer：内存中的日志缓冲。
- Redo Log File：磁盘上的日志文件。
4. 后台线程
InnoDB 依靠多个后台线程管理内存、磁盘和事务。
4.1 Master Thread
- 作用：调度和执行主要后台任务，如脏页刷新和更改缓冲区合并。
4.2 IO Thread
- 作用：处理磁盘 I/O 请求。
- 分类：
| 类型 | 作用 | 默认线程数量 |
|---|---|---|
| Read Thread | 处理读请求（从缓冲池读取页） | 默认 4（可配置） |
| Write Thread | 处理写请求（刷新脏页到磁盘） | 默认 4（可配置） |
| Insert Buffer Thread | 合并插入缓冲区的更改 | 1 |
| Log Thread | 刷新事务日志到磁盘 | 1 |
注：
- Read Thread 和 Write Thread：
- 数量：默认均为 4，负责处理 I/O 操作，适用于大规模的并发读写。
- 可配置参数 ：
innodb_read_io_threads：配置读线程数量。innodb_write_io_threads：配置写线程数量。- 作用：这些线程负责从磁盘读取数据页（读线程）或将脏页写入磁盘（写线程）。
- Insert Buffer Thread：
- 数量：固定为 1，无法通过配置改变。
- 作用：在插入数据时，合并更改到二级索引的缓冲区。
- Log Thread：
- 数量：固定为 1。
- 作用：负责将事务日志从缓冲区刷新到磁盘文件（如 redo log 文件）。
- 优化机制：
- 使用了组提交（group commit），提高日志刷新效率。
查看引擎状态：
SHOW ENGINE INNODB STATUS;
4.3 Purge Thread
- 作用：清理不再需要的 Undo 数据，减少表空间占用。
4.4 Page Cleaner Thread
- 作用：刷新脏页到磁盘，减少事务提交时的延迟。
通过对 InnoDB 存储引擎的深入了解，可以更有效地优化 MySQL 数据库性能，提高系统的稳定性和可靠性。
相关文章：
6.1 innoDb逻辑存储结构和架构-简介
InnoDB 是 MySQL 默认的存储引擎，以其强大的事务支持、崩溃恢复能力和高效的数据处理能力广受欢迎。本文从逻辑存储结构、内存架构、磁盘结构到后台线程，逐步剖析 InnoDB 的关键概念，帮助您更好地理解和应用。 1. 逻辑存储结构 InnoDB 的数据…...
论文阅读——量子退火Experimental signature of programmable quantum annealing
摘要：量子退火是一种借助量子绝热演化解决复杂优化问题的通用策略。分析和数值证据均表明，在理想化的封闭系统条件下，量子退火可以胜过基于经典热化的算法（例如模拟退火）。当前设计的量子退火装置的退相干时间比绝热演…...
vue3项目最新eslint9+prettier+husky+stylelint+vscode配置
一、eslint9和prettier通用配置 安装必装插件 ESlint9.x pnpm add eslintlatest -DESlint配置 vue 规则 , typescript解析器 pnpm add eslint-plugin-vue typescript-eslint -DESlint配置 JavaScript 规则 pnpm add eslint/js -D配置所有全局变量 globals pnpm add globa…...
IOS ARKit进行图像识别
先讲一下基础控涧，资源的话可以留言，抽空我把它传到GitHub上，这里没写收积分，竟然充值才能下载，我下载也要充值，牛！ ARSCNView 可以理解画布或者场景 1 配置 ARWorldTrackingConfiguration AR追…...
【el-table】表格后端排序
在需要排序的列添加属性 sortable，后端排序，需将sortable设置为custom 如果需要自定义轮转添加 sort-orders 属性，数组中的元素需为以下三者之一：ascending 表示升序，descending 表示降序，null 表示还原为原…...
【iOS】多线程基础
【iOS】多线程基础 文章目录 【iOS】多线程基础前言进程与线程进程进程的状态进程的一个控制结构进程的上下文切换 线程为什么要用线程什么是线程线程和进程的关系线程的上下文切换 线程和进程的优缺点 小结 前言 笔者由于对于GCD不是很了解，导致了项目中网络请求哪…...
c#控制台项目的发布+相对路径的用法（绝对路径下素材丢失问题）
发布 生成 ->发布选定任务 生成了以后，素材需要手动拖过去 文件相对路径...
Keil5配色方案修改为类似VSCode配色
1. 为什么修改Keil5配色方案 视觉习惯：如果你已经习惯了VSCode的配色方案，尤其是在使用ESP-IDF开发ESP32时，Keil5的默认配色可能会让你感到不习惯。减少视觉疲劳：Keil5的默认背景可能过于明亮，长时间使用可能会导致视…...
网络安全框架及模型-PPDR模型
网络安全框架及模型-PPDR模型 概述： 为了有效应对不断变化的网络安全环境，人们意识到需要一种综合性的方法来管理和保护网络安全。因此，PPDR模型应运而生。它将策略、防护、检测和响应四个要素结合起来，提供了一个全面的框架来处理网络安全问题。 工作原理： PPDR模型的…...
Observability：如何在 Kubernetes pod 中轻松添加应用程序监控
作者：来自 Elastic Jack Shirazi•Sylvain Juge•Alexander Wert Elastic APM K8s Attacher 允许将 Elastic APM 应用程序代理（例如 Elastic APM Java 代理）自动安装到 Kubernetes 集群中运行的应用程序中。该机制使用变异 webhook࿰…...
solana粗略的学习总结
最近在研究solana 的东西，简单做一下总结，很久没有写文章了。写的不对的地方欢迎评论区或者私信。及时改正。 Solana 架构概述 1.0 核心模块 Solana 的架构包括以下核心模块： Proof of History (PoH)：通过时间排序机制优化交易…...
【Pip】完整的 `pip` 配置文件详解：优化你的包管理与环境设置
目录 引言一、pip 配置文件概述1.1 配置文件的位置1.2 配置文件的格式 二、常见配置选项详细说明2.1 设置镜像源2.2 配置超时时间2.3 配置下载缓存2.4 配置安装选项2.5 配置信任主机2.6 配置代理2.7 配置包安装路径 三、pip 配置文件的进阶设置3.1 包源（Channels&am…...
pytorch加载预训练权重失败
问题 给当前模型换了个开源的主干网络，并且删除了某些层后，但是发现预训练权重一直加载不上。strict为True时加载报错，strict为False时又什么都加载不上，然后不知道哪里出问题了。 解决 当strict为False时，load_sta…...
mysql线上问题集合
1、too many connections 连接数量太多，可以先通过以下命令先调整最大连接数，得以连接上mysql进行问题排查。 临时修改： gdb -p mysql进程id -ex "set max_connections500" -batchgdb：这是 GNU 调试器，用于…...
Kafka从指定时间开始消费数据
需求-故障定位：flink消费kafka数据，某个时间点漏数据 背景：kafka数据保留3天，如果第二天，发现程序异常导致数据丢失，需要定位是topic源头无数据，还是程序处理出现异常。 # 1, 设置一个新的gro…...
Android 俩个主题的不同之处 “Theme.AppCompat vs android:Theme.Material.Light.NoActionBar”
这两种主题继承关系有明显的不同，具体区别如下： Theme.AppCompat vs android:Theme.Material.Light.NoActionBar Theme.AppCompat 是 AppCompat 支持库提供的主题，目的是提供向后兼容的支持，适用于较早版本的 Android（…...
FreeSWITCH mod_conference 的按键会控
又是一篇命题作文 mod_conference 官方文档： https://developer.signalwire.com/freeswitch/FreeSWITCH-Explained/Modules/mod_conference_3965534/ 英文不好的可以看中文： http://www.freeswitch.org.cn/books/references/1.7-mod_conference.html…...
LSTM-CNN-BP-RF-SVM五模型咖喱融合策略混合预测模型
目录 效果一览基本介绍程序设计参考资料 效果一览 基本介绍 LSTM-CNN-BP-RF-SVM五模型咖喱融合策略混合预测模型 Matlab代码注释清晰。 程序设计 完整程序和数据获取方式：私信博主回复LSTM-CNN-BP-RF-SVM五模型咖喱融合策略混合预测模型（Matlab&#…...
)
LeetCode 64. 最小路径和(HOT100)
第一次错误代码： class Solution { public:int minPathSum(vector<vector<int>>& grid) {int dp[205][205] {0};int m grid.size(),n grid[0].size();for(int i 1 ;i<m;i){for(int j 1;j<n;j){dp[i][j] min(dp[i][j-1],dp[i-1][j])gr…...
SQL基础语法全解析（上篇）
一、基本概念 1. 数据库术语 数据库（database） - 保存有组织的数据的容器（通常是一个文件或一组文件）。数据表（table） - 某种特定类型数据的结构化清单。模式（schema） - 关于数据库…...
蓝牙定位的MATLAB程序，四个锚点、三维空间
这段代码通过RSSI信号强度实现了在三维空间中的蓝牙定位，展示了如何使用锚点位置和测量的信号强度来估计未知点的位置。代码涉及信号衰减模型、距离计算和最小二乘法估计等基本概念，并通过三维可视化展示了真实位置与估计位置的关系。 目录 程序描述 运…...
vue3-Import declaration conflicts with local declaration of dayjs
同步发布于我的网站 🚀 概述错误描述 原代码报错信息 原因分析解决方案 修改导入语句使用泛型 代码解释总结 概述 在使用 Vue3 和 dayjs 时，可能会遇到一个常见的错误：“Import declaration conflicts with local declaration of ‘dayjs’…...
node.js基础学习-express框架-静态资源中间件express.static（十一）
前言 在 Node.js 应用中，静态资源是指那些不需要服务器动态处理，直接发送给客户端的文件。常见的静态资源包括 HTML 文件、CSS 样式表、JavaScript 脚本、图片（如 JPEG、PNG 等）、字体文件和音频、视频文件等。这些文件在服务器端…...
通过waitress启动flask应用
假设你有一个名为 app.py 的文件，app 是指你的 Flask 应用实例。并且在这个文件中创建了一个 Flask 应用实例，那么你可以这样导入和使用它。 示例结构 假设你的项目结构如下： my_flask_app/ │ ├── app.py ├── waitress_server.py └─…...
linux 获取公网流量 tcpdump + python + C++
前言 需求为，统计linux上得上下行公网流量，常规得命令如iftop 、sar、ifstat、nload等只能获取流量得大小，不能区分公私网，所以需要通过抓取网络包并排除私网段才能拿到公网流量。下面提供了一些有效得解决思路，提供了…...
)
【阅读记录-章节5】Build a Large Language Model (From Scratch)
目录 5. Pretraining on unlabeled data5.1 Evaluating generative text models5.1.1 Evaluating generative text models5.1.2 Calculating the text generation loss评估模型生成文本的质量 5.1.3 Calculating the training and validation set losses 5.2 Training an LLM5.…...
)
神经网络中的优化方法(一)
目录 1. 与纯优化的区别1.1 经验风险最小化1.2 代理损失函数1.3 批量算法和小批量算法 2. 神经网络中优化的挑战2.1 病态2.2 局部极小值2.3 高原、鞍点和其他平坦区域2.4 悬崖和梯度爆炸2.5 长期依赖2.6 非精确梯度2.7 局部和全局结构间的弱对应 3. 基本算法3.1 随机梯度下降(小…...
输出1~n中能被3整除，且至少有一位数字是5的所有整数.:JAVA
链接：登录—专业IT笔试面试备考平台_牛客网 来源：牛客网 输出1~n中能被3整除，且至少有一位数字是5的所有整数. 输入描述: 输入一行，包含一个整数n。(1 < n < 100000) 输出描述: 输出所有满足条件的数，以换…...
MySQL 主从同步一致性详解
MySQL主从同步是一种数据复制技术，它允许数据从一个数据库服务器（主服务器）自动同步到一个或多个数据库服务器（从服务器）。这种技术主要用于实现读写分离、提升数据库性能、容灾恢复以及数据冗余备份等目的。下面将详细…...
html+css网页设计 旅游 马林旅行社3个页面
htmlcss网页设计 旅游 马林旅行社3个页面 网页作品代码简单，可使用任意HTML辑软件（如：Dreamweaver、HBuilder、Vscode 、Sublime 、Webstorm、Text 、Notepad 等任意html编辑软件进行运行及修改编辑等操作）。 获取源码 1&#…...
【短视频矩阵系统==saas技术开发】
在数字媒体领域，短视频的崛起已不可忽视。对于商业实体而言，掌握如何通过短视频平台有效吸引潜在客户并提高转化率，已成为一项关键课题。本文旨在深入剖析短视频矩阵系统的构成与作用机制，以期为企业提供一套系统化的策略…...
MongoDB-BSON 协议与类型
前言： MongoDB 是一个高性能、无模式的 NoSQL 数据库，广泛应用于大数据处理和实时数据存储。作为一个数据库系统，MongoDB 的核心之一就是其使用的 BSON（Binary JSON）格式，它用于存储数据以及在客户端和数据…...
论文：IoU Loss for 2D/3D Object Detection
摘要：在2D/3D目标检测任务中，IoU (Intersection-over- Union)作为一种评价指标，被广泛用于评价不同探测器在测试阶段的性能。然而，在训练阶段，通常采用常见的距离损失(如L1或L2)作为损失函数，以最小化预测值…...
Electron-vue 框架升级 Babel7 并支持electron-preload webapck 4 打包过程记录
前言 我这边一直用的electron-vue框架是基于electron 21版本的，electron 29版本追加了很多新功能，但是这些新功能对开发者不友好，对electron构建出来的软件，使用者更安全，所以，我暂时不想研究electron 29版…...
信创改造 - Redis -》TongRDS 安装方式之单节点模式安装
安装前准备 安装 JDK 参考链接：安装 JDK 8【Linux】 语雀 创建用户 # 用户名可以自己起 useradd rds 上传安装包到服务器 单节点模式是由两个部署单元组成：1 个RDS 服务节点，1 个 RDS 中心节点。 上传到 /home/rds 用户文件夹࿰…...
经典C语言代码——part 19（链表）
【程序72】 题目：创建一个链表。 1.程序分析： 2.程序源代码： /*creat a list*/ #include "stdlib.h" #include "stdio.h" struct list { int data; struct list *next; }; typedef str…...
【Leetcode 每日一题】52. N 皇后 II
问题背景 n n n 皇后问题 研究的是如何将 n n n 个皇后放置在 n n n \times n nn 的棋盘上，并且使皇后彼此之间不能相互攻击。 给你一个整数 n n n，返回 n n n 皇后问题 不同的解决方案的数量。 数据约束 1 ≤ n ≤ 9 1 \le n \le 9 1≤n≤9 解题…...
Scala的模式匹配（1）
package hfdobject Test34_1 {def main(args: Array[String]): Unit {//从数据库中获得数据 1，2，3，4//要显示给用户的是 一等，二等，三等，四等val level1val levelTxtlevel match {case 1>"一等&q…...
Oracle 11G DataGuard GAP 修复过程（通过主库scn增备恢复）
Oracle 11G DataGuard GAP 修复 （通过主库scn增备恢复） 介绍 DG GAP 顾名思义就是：DG不同步，当备库不能接受到一个或多个主库的归档日志文件时候，就发生了 GAP。 那么，如果遇到GAP如何修复呢？…...
redis的应用----缓存
redis的应用----缓存 一、缓存的概念二、使用redis作为缓存2.1使用redis作为缓存的原因2.2缓存机制的访问步骤 三、缓存的更新策略3.1定期更新3.2实时更新3.3淘汰策略 四、缓存常见的问题4.1缓存预热(Cache preheating)4.2缓存穿透(Cache penetration)4.3缓存雪崩(Cache avalan…...
「Mac畅玩鸿蒙与硬件41」UI互动应用篇18 - 多滑块联动控制器
本篇将带你实现一个多滑块联动的控制器应用。用户可以通过拖动多个滑块，动态控制不同参数（如红绿蓝三色值），并实时显示最终结果。我们将以动态颜色调节为例，展示如何结合状态管理和交互逻辑，打造一个高级的…...
SpringBoot两天
SpringBoot讲义 什么是SpringBoot？ Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式…...
基于Java Springboot诗词学习APP且微信小程序
一、作品包含 源码数据库设计文档万字PPT全套环境和工具资源部署教程 二、项目技术 前端技术：Html、Css、Js、Vue、Element-ui 数据库：MySQL 后端技术：Java、Spring Boot、MyBatis 三、运行环境 开发工具：IDEA/eclipse微信开…...
3.建立本地仓库及常用命令
1.建立本地仓库 要使用Git对我们的代码进行版本控制，首先需要获得本地仓库 1）在电脑的任意位置创建一个空目录，作为我们的本地Git仓库 2）进入这个目录，右键点击Git Bash 窗口 3）执行命令git init 4) 如果创…...
【Linux——实现一个简易shell】
黑暗中的我们都没有说话，你只想回家，不想你回家............................................................... 文章目录 前言 一、【shell工作过程】 二、【命令行参数】 2.1、【获取命令行参数】 1、【输出命令行提示符】 2、【输入命令行参数】 2…...
python使用python-docx处理word
文章目录 一、python-docx简介二、基本使用1、新建与保存word2、写入Word（1）打开文档（2）添加标题（3）添加段落（4）添加文字块（5）添加图片（6…...
Typora设置自动上传图片到图床
Typora设置自动上传图片到图床 方法一：使用php 打开设置界面： 自定义命令： php F:/WWW/php-library/TyporaUploadImage.php ${filename}php代码： # TyporaUploadImage.php <?php // Set the API endpoint URL // $apiUrl…...
如何进行Appium实现移动端UI自动化测试呢？
🍅 点击文末小卡片 ，免费获取软件测试全套资料，资料在手，涨薪更快 Appium是一个开源跨平台移动应用自动化测试框架。 既然只是想学习下Appium如何入门，那么我们就直奔主题。文章结构如下： 为什么要使用…...
)
PHP语法学习(第三天)
老规矩，先回顾一下昨天学习的内容 PHP语法学习(第二天) 主要学习了PHP变量、变量的作用域、以及参数作用域。 今天由Tom来打开新的篇章 文章目录 echo 和 print 区别PHP echo 语句实例 PHP print 语句实例 PHP 数组创建数组利用array() 函数 数组的类型索引数组关联…...
mac访达打开终端
选择文件夹打开 选中文件夹，然后右键即可： 在当前文件夹打开 在访达的当前文件夹长按option键 左下角出现当前文件夹路径 右键即可打开终端...