当前位置：首页 > news >正文

MYSQL 存储引擎和日志

news 来源：原创 2025/8/28 15:00:22

存储引擎

InnoDB 支持行级别的锁粒度，MyISAM 不支持，只支持表级别的锁粒度。
MyISAM 不提供事务支持。InnoDB 提供事务支持，实现了 SQL 标准定义了四个隔离级别。
MyISAM 不支持外键，而 InnoDB 支持。
MyISAM 不支持 MVCC，而 InnoDB 支持。
虽然 MyISAM 引擎和 InnoDB 引擎都是使用 B+Tree 作为索引结构，但是两者的实现方式不太一样。InnoDB 使用缓冲池（Buffer Pool）缓存数据页和索引页，MyISAM 使用键缓存（Key Cache）仅缓存索引页而不缓存数据页。
MyISAM 不支持数据库异常崩溃后的安全恢复，而 InnoDB 支持。
InnoDB 的性能比 MyISAM 更强大。

慢查询日志有什么用？

性能优化：通过分析慢查询日志，可以发现执行时间长的 SQL，优化索引、调整查询语句或数据库配置。
资源监控：识别占用大量 CPU、内存或 I/O 的查询，避免影响其他业务。
故障排查：定位导致数据库响应延迟的异常 SQL。

binlog 主要记录了什么？

Binlog（二进制日志） 是 MySQL 记录数据库变更的逻辑日志，主要用于：

主从复制：将主库的变更同步到从库。
数据恢复：通过回放 Binlog 恢复数据。
审计：记录所有数据修改操作。

记录内容：

记录 SQL 语句本身（如 UPDATE user SET age=20 WHERE id=1）。
记录具体行的变更（如 id=1 的 age 字段从 18 改为 20）。

特点：

逻辑日志：记录的是 SQL 语义，而非物理数据页。
依赖事务：Binlog 按事务提交顺序记录，保证主从一致性。

写入机制

事务执行过程中，先把日志写到binlog cache，事务提交的时候，再把binlog cache写到 binlog 文件中。
因为一个事务的 binlog 不能被拆开，无论这个事务多大，也要确保一次性写入，所以系统会给每个线程分配一个块内存作为binlog cache。
我们可以通过binlog_cache_size参数控制单个线程 binlog cache 大小，如果存储内容超过了这个参数，就要暂存到磁盘（Swap）。

write 和 fsync 由参数sync_binlog控制，默认是1
write，是指把日志写入到文件系统的 page cache，并没有把数据持久化到磁盘，所以速度比较快
fsync，才是将数据持久化到磁盘的操作

redo log 如何保证事务的持久性？

Redo Log（重做日志） 是 InnoDB 的物理日志，用于保证事务的持久性（Durability）。其核心机制是 Write-Ahead Logging (WAL)：

写日志先于写数据：
事务修改数据时，先将操作记录到 Redo Log 缓冲区（InnoDB 的 ib_logfile 文件）。
Redo Log 缓冲区满或检查点触发时，才会将日志刷盘。
数据页的修改先暂存在 Buffer Pool，再异步刷盘到磁盘。

崩溃恢复：
如果数据库崩溃，重启时通过 Redo Log 重做（Redo）未完成的事务，确保数据一致性。

如何保证持久性？

事务提交时：必须确保 Redo Log 已写入磁盘（fsync），才能返回成功。
检查点（Checkpoint）：定期将内存中的脏页（已修改的页）刷盘，并记录检查点位置，减少崩溃恢复时需要重做的日志量。

页修改之后为什么不直接刷盘呢？刷盘时机

MySQL 中数据是以页为单位，查询一条记录，会从硬盘把一页的数据加载出来，加载出来的数据叫数据页，会放入到 Buffer Pool 中。
后续的查询都是先从 Buffer Pool 中找，没有命中再去硬盘加载，减少硬盘 IO 开销，提升性能。
更新表数据的时候，也是如此，发现 Buffer Pool 里存在要更新的数据，就直接在 Buffer Pool 里更新。
然后会把“在某个数据页上做了什么修改”记录到重做日志缓存（redo log buffer）里，接着刷盘到 redo log 文件里。每条 redo 记录由“表空间号+数据页号+偏移量+修改数据长度+具体修改的数据”组成。

原因：

性能问题：
直接刷盘会导致频繁的磁盘 I/O，显著降低写入性能。

缓冲池（Buffer Pool）的作用：
数据页的修改首先暂存在内存中的 Buffer Pool。
通过批量刷盘（如组提交 Group Commit）减少 I/O 开销。

Redo Log 的保障：
即使系统崩溃，Redo Log 可以重做未持久化的修改，确保数据不丢失。

刷盘时机：

Buffer Pool 中的脏页达到阈值（如 innodb_max_dirty_pages_pct）。

检查点触发，因为InnoDB 定期会执行检查点操作，将内存中的脏数据（已修改但尚未写入磁盘的数据）刷新到磁盘，并且会将相应的重做日志一同刷新，以确保数据的一致性。

服务器正常关闭时。

当事务提交时，log buffer 里的 redo log 会被刷新到磁盘（可以通过innodb_flush_log_at_trx_commit参数控制）默认 1，提交时刷盘。

innodb_flush_log_at_trx_commit 的值有 3 种，也就是共有 3 种刷盘策略：

0：设置为 0 的时候，表示每次事务提交时不进行刷盘操作。这种方式性能最高，但是也最不安全，因为如果 MySQL 挂了或宕机了，可能会丢失最近 1 秒内的事务。
1：设置为 1 的时候，表示每次事务提交时都将进行刷盘操作。这种方式性能最低，但是也最安全，因为只要事务提交成功，redo log 记录就一定在磁盘里，不会有任何数据丢失。
2：设置为 2 的时候，表示每次事务提交时都只把 log buffer 里的 redo log 内容写入 page cache（文件系统缓存）。page cache 是专门用来缓存文件的，这里被缓存的文件就是 redo log 文件。这种方式的性能和安全性都介于前两者中间。

binlog 和 redolog 有什么区别？

写入时机不同：redo log 在事务执行过程中可以不断写入，而 binlog 只有在提交事务时才写入。
Binlog 是逻辑日志，数据恢复，保证数据一致性。Redo Log 是物理日志，崩溃恢复，保证事务持久性。

两阶段提交

两阶段提交是解决两份日志之间的逻辑一致问题：比如执行过程中写完 redo log 日志后，binlog 日志写期间发生了异常，由于 binlog 没写完就异常，这时候 binlog 里面没有对应的修改记录。因此，之后用 binlog 日志恢复数据时，就会少这一次更新，而原库因为 redo log 日志崩溃恢复，恢复出来的数据不一致。
解决方案：将 redo log 的写入拆成了两个步骤prepare和commit，这就是两阶段提交。
使用两阶段提交后，写入 binlog 时发生异常，但是因为 MySQL 根据 redo log 日志崩溃恢复时，发现 redo log 还处于prepare阶段，并且没有对应 binlog 日志，就会回滚该事务。

Undo log (回滚日志)

每一个事务对数据的修改都会被记录到 undo log ，当执行事务过程中出现错误或者需要执行回滚操作的话，MySQL 可以利用 undo log 将数据恢复到事务开始之前的状态。

MySQL InnoDB 引擎使用 undo log(回滚日志) 来保证事务的原子性。

undo log 属于逻辑日志，记录的是 SQL 语句

比如说事务执行一条 DELETE 语句，那 undo log 就会记录一条相对应的 INSERT 语句。同时，undo log 的信息也会被记录到 redo log 中，因为 undo log 也要实现持久性保护。

并且，undo-log 本身是会被删除清理的，例如 INSERT 操作，在事务提交之后就可以清除掉了；UPDATE/DELETE 操作在事务提交不会立即删除，会加入 history list，由后台线程 purge 进行清理。

undo log 如何保证事务的原子性？

Undo Log 记录数据修改前的旧值，用于事务回滚和 MVCC：

事务回滚：
当事务执行 ROLLBACK 或因错误终止时，通过 Undo Log 将数据恢复到修改前的状态。

MVCC 读一致性：
读操作通过 Undo Log 访问历史版本数据，避免读到未提交或已回滚的修改。

原子性保证：
如果事务未提交，其他事务无法看到其修改（通过 Undo Log 的版本控制）。
事务回滚时，通过 Undo Log 撤销所有已做的修改。

MYSQL 存储引擎和日志

存储引擎 InnoDB 支持行级别的锁粒度，MyISAM 不支持，只支持表级别的锁粒度。MyISAM 不提供事务支持。InnoDB 提供事务支持，实现了 SQL 标准定义了四个隔离级别。MyISAM 不支持外键，而 InnoDB 支持。MyISAM 不支持 MVCC&#xff0c…...

编程日记 2025/8/28 15:00:22

【2022】【论文笔记】太赫兹量子阱——

前言类型太赫兹 + 量子阱太赫兹 + 量子阱太赫兹+量子阱期刊红外与毫米波学报红外与毫米波学报红外与毫米波学报作者张真真 ,...

编程日记 2025/8/28 14:57:24

【NLP 面经 7、常见transformer面试题】

目录 1. 为何使用多头注意力机制？ 2. Q和K使用不同权重矩阵的原因 3. 选择点乘而非加法的原因 4. Attention进行scaled的原因 5. 对padding做mask操作 6. 多头注意力降维原因 7. Transformer Encoder模块简介 8. 乘以embedding size的开方的意义 9. 位置编码 10. 其…...

编程日记 2025/8/28 14:58:39

数组 uniqueArray 简单数组去重 /*** 简单数组去重* param arr* returns*/ export const uniqueArray <T>(arr: T[]) > [...new Set(arr)];const arr1 [1,1,1,1 2, 3];uniqueArray(arr); // [1,2,3]uniqueArrayByKey 根据 key 数组去重 /*** 根据key数组去重* …...

编程日记 2025/8/28 14:00:24

第四章 react-redux，@reduxjs/toolkit依赖，学习

redux系列文章目录第一章简单学习redux,单个reducer 第二章简单学习redux,多个reducer 第三章 redux和react-redux，reduxjs/toolkit依赖结合使用第五章两张图告诉你redux常使用的api有哪些前言本章将使用react-redux，reduxjs/toolkit依赖创…...

编程日记 2025/8/28 11:27:11

雅思7分听说读写专项书籍推荐

对于目标 7分以上的雅思考生（中高级水平），选对资料真的事半功倍。下面按照听力、阅读、写作、口语、综合书籍五大类来分别列举高分推荐书籍，每本书包括：适合人群、核心内容、推荐理由，并贴合7分目标。 …...

编程日记 2025/8/27 6:14:15

C++容器使用说明

C标准库提供了多种容器，分为序列容器、关联容器、无序关联容器、容器适配器及其他相关类型。以下是所有标准容器的分类及简要说明： 1. 序列容器（Sequence Containers） 按线性顺序存储元素，支持随机或顺序访问。 vecto…...

编程日记 2025/8/28 14:55:26

Python-函数

1. 函数基础 1.1 定义函数在Python中，使用def关键字来定义函数： def greet():"""简单的问候函数"""print("Hello, World!")1.2 调用函数定义函数后，可以通过函数名加括号来调用： …...

编程日记 2025/8/28 14:55:25

【Redis】数据的淘汰策略

目录淘汰策略方案（8种） LRU和LFU策略的区别使用建议手搓LRU算法方式一方式二大家好，我是jstart千语。今天和大家回来聊一下redis，这次要讲的是它的淘汰策略。为什么需要淘汰策略呢，就是当redis里面的内存占…...

编程日记 2025/8/28 14:55:26

第七章：从类库到服务的分布式基石_《凤凰架构：构建可靠的大型分布式系统》

第七章：从类库到服务的分布式基石一、服务发现（Service Discovery） 核心目标：解决分布式系统中服务实例动态变化时如何定位可用服务的问题。 1. 服务发现的意义动态环境挑战： 微服务架构中，服务实例的…...

编程日记 2025/8/25 12:02:38

spring-ai-alibaba第九章使用Milvus构建大模型RAG应用

1、pom文件 <dependencies><dependency><groupId>com.alibaba.cloud.ai</groupId><artifactId>spring-ai-alibaba-starter</artifactId><version>${spring-ai-alibaba.version}</version></dependency><dependency&g…...

编程日记 2025/8/24 19:50:30

手撕LLM（一）：从源码出发，探索LLM推理全流程

2025年，大模型爆发元年，各种各样的大模型、框架、工具层出不穷，不断刷新人们应用大模型的门槛，短短10行代码，就能完成“加载模型加载数据集推理强化学习”的全流程训练，但其底层的运行机制也被高度抽象的接…...

编程日记 2025/8/28 14:59:08

讯飞语音听写（流式版）开发指南

语音交互大模型的功能越来越受到重视。讯飞语音听写（流式版）为开发者提供了一种高效、准确的语音识别解决方案。本文将基于 Home.vue、iat_xfyun.js 和 sparkChat.js 这三个文档，详细阐述讯飞语音听写（流式版）的开发逻…...

编程日记 2025/8/28 12:45:47

P3654 First Step (ファーストステップ)

题目描述可是……这个篮球场，好像很久没有使用过的样子啊…… 里面堆满了学校的各种杂物呢…… 我们 Aqours 的成员要怎么在里面列队站下呢？ 我们浦之星女子学院的篮球场是一个 R 行 C 列的矩阵，其中堆满了各种学校的杂物 (用 # 表示)&a…...

编程日记 2025/8/28 14:55:40

MySQL篇（六）MySQL 分库分表：应对数据增长挑战的有效策略

MySQL篇（六）MySQL 分库分表：应对数据增长挑战的有效策略 MySQL篇（六）MySQL 分库分表：应对数据增长挑战的有效策略一、引言二、为什么需要分库分表2.1 性能瓶颈2.2 存储瓶颈2.3 高并发压力三、分库分表的方…...

编程日记 2025/8/28 9:37:54

SonarQube 配置SQL Server 数据库遇到的问题

之前本机跑了一套SonarQube的社区版，默认使用的是H2数据库，那么我把它练到我机器上的SQL Server数据库了，期间遇到以下两个问题，并在配置过程中解决掉，特将这个过程记录下来。一、JDBC连接SQL Server问题 1. 问题出…...

编程日记 2025/8/28 14:55:25

23种设计模式-行为型模式-备忘录

文章目录简介问题解决代码关键实现要点功能扩展方向总结简介备忘录是一种行为设计模式， 允许在不暴露对象实现细节的情况下保存和恢复对象之前的状态。问题假如你正在开发一款文字编辑器应用。你想加入撤销功能。你可以采用直接的方式来实现: 程序在执行任…...

编程日记 2025/8/28 14:55:43

IDEA/WebStrom操作之commit前批量清除console.log()与debugger

前言： 在前端开发过程中，往往需要频繁用到console.log()与debugger，来观察数据具体情况以及断点调试。在经历了水生火热的开发动作后，往往会残留一地console.log()和debugger，若开发者还得手动在多个文件中一个个去除…...

编程日记 2025/8/28 14:55:41

每日算法-250405

34. 在排序数组中查找元素的第一个和最后一个位置题目思路本题的核心思路是二分查找。解题过程问题分析：在一个升序排列的数组中查找一个目标值 target 的起始和结束位置。这是一个典型的二分查找应用场景。核心转换：题目要求找到 target 的第一个…...

编程日记 2025/8/28 14:55:23

设计模式简述（四）模板方法模式

模板方法模式描述基本定义使用描述当一系列业务的基本流程是相同的，对于不同的业务可以在各自子类实现所谓模板方法指的就是父类中固定的那部分代码其实这里的思想和前面设计原则中开闭原则的描述是一致的，父类中的模板代码就是稳定的部分&#x…...

编程日记 2025/8/28 14:57:23

论文修改时有哪些需要注意的问题？

论文修改是学术写作中不可或缺的环节，直接影响成果的专业性和说服力。许多作者因忽略细节或急于定稿，导致论文质量大打折扣。那么，如何修改才能提升论文的严谨性与可读性呢？ 一、逻辑结构论文修改时，先从头到尾通读…...

编程日记 2025/8/27 21:36:12

JAVA阻塞队列

目录一、什么是阻塞队列？特点是什么？ 二、阻塞队列的两种创建方式： 1、使用 ArrayBlockingQueue<>( ) : 2、使用 LinkedBlockingQueue<>( ) ： 三、阻塞队列方法的使用： 阻塞队列关键的两个方法&…...

编程日记 2025/8/28 14:55:25

tomcat与spring-web

文章目录 SpringServletContainerInitializerWebApplicationInitializerWebApplicationInitializer接口AbstractContextLoaderInitializer抽象类AbstractDispatcherServletInitializer抽象类AbstractAnnotationConfigDispatcherServletInitializer抽象类 WebApplicationContext…...

编程日记 2025/8/28 14:55:42

将电脑控制手机编写为MCP server

文章目录电脑控制手机后，截屏代码复习MCP server构建修改MCP的config文件测试效果困惑电脑控制手机后，截屏代码复习 def capture_window(hwnd: int, filename: str = None) -> dict:""&...

编程日记 2025/8/18 0:59:35

[ctfshow web入门]burpsuite的下载与使用

下载吾爱破解网站工具区下载burpsuite https://www.52pojie.cn/thread-1544866-1-1.html 本博客仅转载下载链接，下载后请按照说明进行学习使用打开配置 burpsuite配置 burpsuite代理设置添加127.0.0.1:8080 浏览器配置如果是谷歌浏览器，打开win…...

编程日记 2025/8/17 22:31:49

文章记单词 | 第25篇（六级）

一，单词释义 mathematical：形容词，意为 “数学的；数学上的；运算能力强的；关于数学的”trigger：名词，意为 “（枪的）扳机；（炸弹的&…...

编程日记 2025/8/22 1:28:51

讯飞语音合成(流式版)语音专业版高质量的分析

一、引言在现代的 Web 应用开发中，语音合成技术为用户提供了更加便捷和人性化的交互体验。讯飞语音合成（流式版）以其高效、稳定的性能，成为了众多开发者的首选。本文将详细介绍在 Home.vue 文件中实现讯飞语音合成（流…...

编程日记 2025/8/28 1:12:43

【MediaPlayer】基于libvlc+awtk的媒体播放器

基于libvlcawtk的媒体播放器 libvlc下载地址 awtk下载地址代码实现libvlc相关逻辑接口UI媒体接口实例化媒体播放器注意事项 libvlc 下载地址可以到https://download.videolan.org/pub/videolan/vlc/去下载一个vlc版本，下载后其实是vlc的windows客户端&#xff0…...

编程日记 2025/8/26 11:28:52

复古未来主义屏幕辉光像素化显示器反乌托邦效果PS(PSD)设计模板样机 Analog Retro-Futuristic Monitor Effect

这款模拟复古未来主义显示器效果直接取材于 90 年代赛博朋克电影中的黑客巢穴，将粗糙的屏幕辉光和像素化的魅力强势回归。它精准地模仿了老式阴极射线管显示器，能将任何图像变成故障频出的监控画面或高风险的指挥中心用户界面。和……在一起 2 个完全可编…...

编程日记 2025/8/22 9:36:06

Kafka 如何保证消息有序性？

Kafka 保证消息顺序性，是基于 Partition（分区）级别的顺序来实现的。下面我们详细拆解一下： ✅ 同一个 Partition 内，消息是严格有序的 Kafka 在同一个分区（Partition）内，消息是按…...

编程日记 2025/8/22 7:44:46

【积木画】——第十三届蓝桥杯（2022）T7思路解析

题目描述关键词递推、dp 思路显然这是一道递推题。但是为什么我还要写在这呢？因为我虽然看了题解但是还是没想明白，综合了下面两篇参考文献我才初步理解这题的精髓。所以还是自己写一遍为好。我们把最终结果记为F(n)。情况1 直接以一个竖着…...

编程日记 2025/8/20 22:45:28

Android studio xml布局预览中 Automotive和Autotive Distant Display的区别

在 Android Studio 中，Configure Hardware Profile 设置中的 Device Type 选项有两个不同的设置：Android Automotive 和 Android Automotive Distant Display，它们的含义和用途如下： 1. Android Automotive 含义：这个…...

编程日记 2025/8/28 3:33:25

第十三章:持久化存储_《凤凰架构：构建可靠的大型分布式系统》

第十三章持久化存储一、Kubernetes存储设计核心概念 （1）存储抽象模型 PersistentVolume (PV)：集群级别的存储资源抽象（如NFS卷/云存储盘）PersistentVolumeClaim (PVC)：用户对存储资源的声明请求&#…...

编程日记 2025/8/28 10:24:33

Nginx 基础使用（2025）

一、Nginx目录结构 [rootlocalhost ~]# tree /usr/local/nginx /usr/local/nginx ├── client_body_temp # POST 大文件暂存目录 ├── conf # Nginx所有配置文件的目录 │ ├── fastcgi.conf # fastcgi相…...

编程日记 2025/8/20 22:23:18

Docker基础1

本篇文章我将从系统的知识体系讲解docker的由来和在linux中的安装下载随后的文章会介绍下载镜像、启动新容器、登录新容器如需转载，标记出处 docker的出现就是为了节省资本和服务器资源当企业需要一个新的应用程序时，需要为它买台全新的服务器。这样…...

编程日记 2025/8/28 4:24:30

【奇点时刻】GPT4o新图像生成模型底层原理深度洞察报告

个人最近一直在关注openai的新图像生成特性，以下内容基于现阶段社区及研究者们对 GPT-4O 图像生成功能的公开测试、逆向分析与技术推测综合而成，OpenAI 并未正式发布完整的技术报告，因此本文为非官方推断总结。但从多方信息与技术背景出发&am…...

编程日记 2025/8/23 6:56:00

Java的Selenium的特殊元素操作与定位之模态框

Modal Dialogue Box，又叫做模式对话框，是指在用户想要对对话框以外的应用程序进行操作时，必须首先对该对话框进行响应。如单击【确定】或【取消】按钮等将该对话框关闭。 alert（警告） //访问本地的HTML文件 chromeDr…...

编程日记 2025/8/23 20:36:42

回归预测 | Matlab实现NRBO-Transformer-LSTM多输入单输出回归预测

回归预测 | Matlab实现NRBO-Transformer-LSTM多输入单输出回归预测目录回归预测 | Matlab实现NRBO-Transformer-LSTM多输入单输出回归预测预测效果基本介绍程序设计参考资料预测效果基本介绍 1.【JCR一区级】Matlab实现NRBO-Transformer-LSTM多输入单输出回归预测&#xf…...

编程日记 2025/8/25 18:31:40

Python菜鸟教程(小程序)

目录一.简易计算器二.学生成绩分级三.密码设置四.作业选择点赞收藏,评论支持一.简易计算器 print(-------使用的运算符-------\n) print(1.加号) print(2.减号) print(3.乘号) print(4.除号) Aint(input(请输入第一个数: )) Bint(input(请输入第二个数: )) Fi…...

编程日记 2025/8/27 12:14:39

类的（多态性、虚函数）基础练习

练习1：（简单） #include <iostream> using namespace std; class Vehicle { public: virtual void run() const0; }; class Car: public Vehicle { public: void run() const { cout << "run a car. "<<…...

编程日记 2025/8/24 1:32:24

特殊的质数肋骨--dfs+isp

1.dfs全排列组数，an记得还原 2.如果范围确定且只比较质数，isp比线性筛快，主要这个范围太大了 https://www.luogu.com.cn/problem/P1218 #include<bits/stdc.h> using namespace std; #define N 100011 typedef long long ll; typed…...

编程日记 2025/8/21 14:18:00

智能体开发实战指南：提示词设计、开发框架与工作流详解

在大语言模型（LLM）驱动的智能体（Agent）快速发展的今天，构建一个实用、智能的Agent已不再遥不可及。无论你是开发法律助手、租房合同分析器，还是通用办公自动化助手，理解提示词工程（P…...

编程日记 2025/8/28 13:48:33

jetson orin nano学习(torch+OpenCV+yolov5+)

一：入门第一件事：跟着商家教程配置哈哈指令：nvidia-smi -h 帮助命令 sudo jtop --查看nvidia的gpu状态 Tip:教程下载的pytorth,cuda,cudnn版本不一定是你项目符合的，要提前想好 1.2 安装虚拟环境包（要安…...

编程日记 2025/8/25 20:45:23

client-go如何监听自定义资源

如何使用 client-go 监听自定义资源在 Kubernetes 中使用 client-go 监听自定义资源（Custom Resource，简称 CR）需要借助 Dynamic Client 或 Custom Informer，因为 client-go 的标准 Clientset 只支持内置资源（如 Pod…...

编程日记 2025/8/21 16:23:13