当前位置：首页 > news >正文

【MySQL数据库】InnoDB存储引擎：逻辑存储结构、内存架构、磁盘架构

news 来源：原创 2025/9/6 3:52:58

逻辑存储结构

一个数据库是由一张张表组成的，而表中是由一个个段构成的，一个段是由区构成的，区空间是由页构成的，页是行构成的。

①表空间：.ibd文件，一个mysql实例可以对应多个表空间，用于存储记录、索引等数据。

②段：分为数据段（Leaf node segment）、索引段（Non-leaf node segment）、回滚段（Rollback segment），InnoDB是索引组织表，数据段就是B+树的叶子结点，索引段就是B+树的非叶子结点。段用来管理多个Extent（区）。

③区：表空间的单元结构，每个区大小为1M。默认情况下，InnoDB存储引擎页大小为16K，也就是一个区一共有64各连续的页。

④页：是InnoDB存储引擎磁盘管理的最小单元，每个页大小默认16KB，为了保证页的连续性，InnoDB存储引擎每次从磁盘申请4-5个区。

⑤行：InnoDB存储引擎数据是按行进行存放的。

在每个页中，都会有这么两个隐藏行：

Trx_id: 每次对某条记录进行改动时，都会把对应的事务id赋给trx_id隐藏列

Roll_pointer: 每次对某条记录进行改动时，都会把旧的版本写入到undo日志中，然后这个隐藏列就相当于一个指针，可以通过它来找到该记录修改前的信息。

架构

MySQL5.5版本开始，默认使用InnoDB存储引擎，它擅长事务处理，且具有崩溃恢复特性，在日常开发中使用非常广泛。下面是InnoDB架构图，左侧为内存结构，右侧为磁盘结构。

内存架构

对于上图，我们可以看到，内存结构部分（左侧），很大一部分都是Buffer-即缓冲区。

在内存架构中，标注了四块区域：

①Buffer Pool：缓冲池。

缓冲池是主内存中的一个区域，里面可以缓存磁盘上经常操作的真实数据。在执行增删改查操作时，先操作缓冲池中的数据（若缓冲池中没有数据，则从磁盘加载并缓存），然后再以一定频率刷新到磁盘，从而减少磁盘IO，加快处理速度。

假如没有缓冲池，那么我们每次的增删改查的操作，都要从磁盘空间中去读写，磁盘IO的次数越多，效率就越低，在业务比较复杂的情况下，大量的磁盘IO还都是随机IO，这样非常消耗性能。

我们还可以看到，缓冲池中有着一个一个的小块儿，这个小块儿就是页。缓冲池以Page页为单位，底层采用的是链表的数据结构管理Page。根据状态，将Page分为三种类型：

free page：空闲页，申请但未被使用

clean page：被使用的page，但数据没有被修改过

dirty page：脏页，被使用的page，且数据被修改过，当还没有往磁盘中刷数据的时候，页中数据与磁盘的数据产生了不一致，所以叫做脏页。

②Change Buffer：更改缓冲区

其实在5.x版本的时候还没有更改缓冲区，相反当时有一个插入缓冲区。在8.0之后呢，才引入了Change Buffer更改缓冲区。更改缓冲区主要是针对非唯一的二级索引页，在执行DML语句时，如果这些数据Page没有BufferPool中，不会直接操作磁盘，而是会将数据变更存在更改缓冲区中，在未来数据被读取时，再将数据合并恢复到BufferPool中，再将合并后的数据从缓冲池在某一阶段刷新到磁盘中去。

ChangeBuffer存在的意义是什么呢？

这幅图展示的就是二级索引的一颗B+树结构。跟聚簇索引不同，二级索引通常是不唯一的，并且以相对随机的顺序插入二级索引。同样，删除和更新可能会影响到所引述中不相邻的二级索引页，如果每一次都操作磁盘，会造成大量的磁盘IO，有了ChangeBuffer之后，我们就可以在缓冲池中进行合并处理，减少磁盘IO。

这里我们区分一下BufferPool和ChangeBuffer，我们可以看到ChangeBuffer其实是在Buffer Pool中的一块比较特殊的区域，这块区域专门用来操作当前缓冲池其它区域中所没有的Page页。而BufferPool的话，存储的是已经有的Page页。关键就在于操作的数据所在页新不新。

③Adaptive Hash Index：自适应哈希索引。

提到哈希索引，我们知道InnoDB默认是不支持哈希索引的，它支持的是B+树索引。

这里提到的自适应哈希索引，无需人工干预，是系统根据情况自动完成的（参数： adaptive_hash_index）。主要用于优化Buffer Pool数据的查询。InnoDB存储引擎会监控对表上各索引页的查询，如果观察到hash索引可以提升速度，则建立hash索引，所以称之为自适应的hash索引。

在mysql中使用命令show variables like '%hash_index%';显示变量的值。我们可以看到Value值为ON，也就是开启状态。

④Log Buffer：日志缓冲区

日志缓冲区：用来保存要写入到磁盘中的log日志数据（redo log、undo log），默认大小为16MB，日志缓冲区的日志定期刷新到磁盘中。如果需要更新、插入或删除许多列的事务，增加日志缓冲区的大小可以节省磁盘IO。

参数：

innodb_log_buffer_size:缓冲区大小

innodb_flush_log_at_trx_commit;日志刷新到磁盘时机

对于图2的第二个变量对应的值1：代表日志在每次事务提交时写入并刷新到磁盘。而0则代表每秒将日志写入并刷新磁盘一次，2则代表日志在每次事务提交后写入，并每秒刷新到磁盘一次。

磁盘架构

同样的，看上图中，磁盘结构部分（右侧），很大一部分是TableSpace-即表空间。但磁盘架构不止是表空间，还有Doublewrite Buffer Files-双写缓冲区和 Redo Log-日志。

①System Tablespaces（ibdata1）：

系统表空间：是ChangeBuffer的存储区域。如果表是在系统表空间，而不是每个表文件或通用表空间创建的，它也可能包含表和索引数据。（在MySQL5.x版本，系统表空间还包含InnoDB数据字典，undolog等，在8.0版本之后，重新规划了这块空间）。【参数：innodb_data_file_path】

②File-Per-Table Tablespaces（innodb_file_per_table=ON）

File-Per-Table Tablespaces：每个表的文件表空间包含单个InnoDB表的数据和索引，并存储在文件系统上的单个数据文件中。【参数：innodb_file_per_table】

ON(开启)：代表我们创建的每张表对应的表空间都会独立存储在文件系统（.ibd文件）中，就不会存放在系统表空间了。这个idb文件存储的是表的结构、数据、索引等内容。

③General Tablespaces

通用表空间：需要通过命令：

create tablespace xxx 
add datafile filename -- 关联的表空间文件
engine = engine_name;-- example
create tablespace test_stark add datafile 'mystark.ibd' engine = innodb;

该语法创建通用表空间，在创建表时，可以指定将表建在该表空间，这样就不会单独生成表空间文件了。

create table xxx(...
)tablespace test_stark;

④Undo Tablespaces

撤销表空间，MySQL实例在初始化时会自动创建两个（undo_001 && undo_002）默认的undo表空间（初始为16MB），用于存储undo log日志。

⑤Temporary Tablespaces

临时表空间，InnoDB使用会话临时表空间和全局临时表空间。存储用户创建的临时表等数据。

⑥Doublewrite Buffer Files：

双写缓冲区，innoDB引擎将数据页从Buffer Pool刷新到磁盘前，先将数据页写到双写缓冲区文件，便于系统异常时恢复数据【#ib_16384_0.dblwr && #ib_16384_1.dblwr】

⑦Redo Log

重做日志，是用来实现事务的持久性的。该日志文件由两部分组成：重做日志缓冲（redo log buffer）以及重做日志文件（redo log），前者是在内存中，后者是在磁盘中。当事务提交后会把所有修改信息都存到该日志中，用于在刷新脏页到磁盘时，发生错误时，进行数据恢复使用。

以循环的方式写入重做日志文件，涉及到两个文件：【ib_logfile0 && ib_logfile1】

后台线程

我们独立的学习了内存和磁盘两个结构，那么内存是怎么刷新到磁盘中的呢？这就涉及到操作系统OS的一组后台线程：

后台线程的作用就是将InnoDB存储引擎缓冲池中的数据在合适的时机刷新到磁盘文件中。

四类后台线程：

①Master Thread

核心后台线程，负责调度其它线程，还负责将缓冲池中的数据异步刷新到磁盘中，保持数据一致性。还包括脏页的刷新，合并插入缓存，undo页的回收。

②IO Thread

在InnoDB存储引擎中大量使用了AIO来处理IO请求，这样可以极大地提高数据库的性能，而IO Thread主要负责这些IO请求的回调。

线程类型	默认个数	职责
Read thread	4	负责读操作
Write thread	4	负责写操作
Log thread	1	负责将日志缓冲区刷新到磁盘
Insert buffer thread	1	负责将写缓冲区内容刷新到磁盘

③Purge Thread

主要用于回收事务已经提交了的undo log，在事务提交后，undo log可能不用了，就用它来回收。

④Page Cleaner Thread

协助Master Thread刷新脏页到磁盘的线程，它可以减轻master thread的工作压力，减少阻塞。