物理日志和逻辑日志
在 MySQL 的日志系统中,物理日志 和 逻辑日志 是两种不同类型的日志记录方式,它们的设计目标和实现方式有本质区别。以下是它们的详细解释和对比:
1. 物理日志
定义
物理日志记录的是数据页(Page)的物理修改,即直接在磁盘数据页的某个位置写入的具体字节内容。
- 例如:
-
- 修改某表空间第
100
号数据页,偏移量10
的位置,将值从0x1234
改为0x5678
。 - 插入一条记录到索引的某个位置,记录其物理位置信息。
- 修改某表空间第
特点
- 与存储引擎强相关:
-
- 物理日志直接描述数据页的物理结构,因此与存储引擎的实现紧密绑定(如 InnoDB 的 redo log)。
- 不同存储引擎的物理日志格式可能完全不同。
- 高效恢复:
-
- 物理日志可以直接将修改应用到数据页,恢复时无需解析 SQL 逻辑,效率极高。
- 例如:崩溃恢复时,只需按顺序重放 redo log 中的物理修改。
- 幂等性:
-
- 物理日志的操作是幂等的(多次执行结果一致)。例如:无论执行多少次“将页号 100 的偏移量 10 写入值 0x5678”,最终结果都是确定的。
典型应用:Redo Log
- InnoDB 的 redo log 是物理日志的典型代表,用于保证事务的持久性。
- 在事务提交时,先将修改的物理日志(redo log)写入磁盘,再异步将脏页刷盘。即使系统崩溃,也能通过 redo log 恢复未刷盘的修改。
2. 逻辑日志(Logical Log)
定义
逻辑日志记录的是操作的逻辑语义,即事务执行的具体操作(如 SQL 语句或反向操作)。
- 例如:
-
- 记录一条反向 SQL:
UPDATE users SET name = 'Alice' WHERE id = 1
(用于回滚)。 - 记录一个操作:“删除某条记录,主键为 100”。
- 记录一条反向 SQL:
特点
- 与存储引擎解耦:
-
- 逻辑日志不依赖底层数据页的物理结构,仅描述操作逻辑,因此可以跨存储引擎使用。
- 例如:MySQL 的 binlog 是逻辑日志,支持主从复制,无论主库和从库使用何种存储引擎。
- 灵活但低效:
-
- 逻辑日志需要解析操作逻辑,恢复时可能需要重新执行 SQL 或反向操作,效率较低。
- 例如:回滚事务时,需根据逻辑日志逆向执行 SQL。
- 非幂等性:
-
- 逻辑日志的操作可能不是幂等的。例如:多次执行
UPDATE users SET balance = balance + 100
会导致结果不一致。
- 逻辑日志的操作可能不是幂等的。例如:多次执行
典型应用:Undo Log
- InnoDB 的 undo log 是逻辑日志的典型代表,用于支持事务回滚和 MVCC。
- 当执行
UPDATE
或DELETE
时,undo log 会记录反向操作(如旧值或原始 SQL),以便回滚时恢复数据。
3. 物理日志 vs 逻辑日志对比
特性 | 物理日志(Redo Log) | 逻辑日志(Undo Log/Binlog) |
记录内容 | 数据页的物理修改(如字节变化) | 操作的逻辑语义(如 SQL 或反向操作) |
恢复方式 | 直接覆盖数据页的物理内容 | 重新执行 SQL 或反向操作 |
幂等性 | 幂等(多次执行结果一致) | 非幂等(多次执行结果可能不同) |
存储依赖 | 与存储引擎强相关(如 InnoDB 的 redo log 格式固定) | 与存储引擎无关(如 binlog 支持跨引擎复制) |
性能 | 高效(直接操作物理页) | 较低(需解析逻辑) |
主要用途 | 崩溃恢复(保证持久性) | 事务回滚、MVCC、主从复制(保证原子性、一致性) |
4. 为什么需要两种日志?
(1)分工协作
- Redo Log(物理日志):
解决崩溃恢复的效率问题,直接重放物理修改,确保数据持久性。 - Undo Log(逻辑日志):
解决事务回滚和 MVCC 的灵活性需求,记录逻辑操作,支持多版本数据读取。
(2)性能与灵活性的平衡
- 物理日志的高效性适合高频写入场景(如事务提交时的快速刷盘)。
- 逻辑日志的灵活性适合跨事务、跨引擎的协作(如主从复制或一致性读)。
(3)事务的 ACID 保障
- Redo Log:确保已提交事务的修改不丢失
- Undo Log:确保未提交事务的修改可回滚,并为读操作提供多版本数据
5. 实际场景示例
场景 1:事务提交与崩溃恢复
- 事务提交时:
-
- 先写 undo log(逻辑日志,记录旧值)。
- 再写 redo log(物理日志,记录新值到数据页)。
- 系统崩溃后:
-
- 通过 redo log 重放所有已提交事务的物理修改。
- 通过 undo log 回滚未提交事务的逻辑操作。
场景 2:MVCC 实现
- 事务 A 查询数据时,若该数据被事务 B 修改但未提交:
-
- InnoDB 通过 undo log(逻辑日志)找到旧版本数据返回给事务 A。
- redo log 不参与此过程,因为它仅负责物理恢复。
6. 总结
- 物理日志是“物理层”的记录,直接操作数据页的字节内容,高效但缺乏跨引擎兼容性。
- 逻辑日志是“逻辑层”的记录,描述操作语义,灵活但性能较低。
- Redo Log 和 Undo Log 的协作:
-
- Redo Log 确保数据不丢失(持久性)。
- Undo Log 确保事务可回滚(原子性)和读一致性(隔离性)。
- 两者的结合,使得 MySQL 在保证事务 ACID 特性的同时,兼顾性能和灵活性。
相关文章:
物理日志和逻辑日志
在 MySQL 的日志系统中,物理日志 和 逻辑日志 是两种不同类型的日志记录方式,它们的设计目标和实现方式有本质区别。以下是它们的详细解释和对比: 1. 物理日志 定义 物理日志记录的是数据页(Page)的物理修改&#x…...
[Deep-ML]Reshape Matrix(重塑矩阵)
Reshape Matrix(重塑矩阵) 题目链接: Reshape Matrix(重塑矩阵)https://www.deep-ml.com/problems/3 题目描述: 难度: easy(简单)。 分类: Linear Alg…...
Linux文件系统中的Page Cache和内存管理中的Page之间的关系
Linux文件系统中的Page Cache和内存管理中的Page之间有密切的关联,两者在底层机制上紧密结合,共同实现高效的内存和文件系统管理。以下是它们的关系和关键点: 核心关系 Page Cache的底层是内存Page Page Cache是由内存管理中的物理内存页&…...
day25-回溯__491.递增子序列 __46.全排列__47.全排列 II
491.递增子序列 这道题要求输出一个数组的所有非递减子序列,并且数组中是可以存在重复元素的,那么我们需要考虑的就一定是之前的树层去重的方法 并且要求非递减,所以我们每次添加元素到path要先判断两个条件: 该元素的值是否在同…...
微型导轨的制造工艺中,热处理的目的是什么?
热处理是指将金属或合金加热到一定温度,保温一段时间,然后通过适当的冷却方式使其发生物理变化,从而使其性能发生改变的加工技术,而在微型导轨的制造工艺中,热处理是必须的,那么热处理的目的是什么呢&#…...
学透Spring Boot — 018. 优雅支持多种响应格式
这是我的专栏《学透Spring Boot》的第18篇文章,想要更系统的学习Spring Boot,请访问我的专栏:学透 Spring Boot_postnull咖啡的博客-CSDN博客。 目录 返回不同格式的响应 Spring Boot的内容协商 控制器不用任何修改 启动内容协商配置 访…...
数据结构与算法----顺序表和复杂度
嘻嘻,我们用c语言来手撕顺序表!!!全程高能比喻代码实战,保证你笑着学会!!! 引言 1、数据结构是计算机存储、组织数据的方式。算法是一系列计算步骤,用来将输入数据转化…...
Android studio局域网屏幕共享(旧手机可以用来当监控啦)
项目地址 https://github.com/Anyuersuper/ScreenSharing 百度网盘 通过网盘分享的文件:ScreenSharing-master.zip 链接: https://pan.baidu.com/s/1URQnyI8zJF-IFl5_-ttXBg?pwdyuer 提取码: yuer 📱 屏幕分享应用 (ScreenSharing) 📋 项目…...
Redis持久化之RDB
RDB持久化是将当前进程数据生成快照保存到硬盘的过程,触发RDB持久化过程分为手动触发和自动触发。 1.触发机制 手动触发费别对应save和bgsave命令: save命令:阻塞当前Redis服务器,直到RDB过程完成为止,对于内存比较…...
Ubuntu 64-bit 交叉编译 FFmpeg(高级用户指南)
适用于 ARM (aarch64)、Windows (mingw)、Android、Raspberry Pi 等平台的交叉编译。 🔹 1. 安装交叉编译工具链 ARM (aarch64) 示例 sudo apt update sudo apt install gcc-aarch64-linux-gnu g-aarch64-linux-gnu binutils-aarch64-linux…...
YOLO V8中的“中心点邻近区域 + 动态IoU匹配“
它是联合优化正样本分配的策略,旨在更精准地匹配预测框与真实目标的位置关系。以下分步详解其原理: 1. 中心点邻近区域(Central Region) 1.1 目标中心区域定义 基础思想:将真实边界框ÿ…...
【MySQL | 八、 事务管理】
文章目录 什么是事务?事务的特性:事务的意义事务的提交查看事务提交方式事务的自动提交事务的手动提交开始事务执行SQL操作事务操作提交事务示例: 事务的隔离级别并发访问的基本概念并发事务的典型问题对ACID特性的影响查看和设置隔离属性各个…...
Ubuntu 下搭建 MCU 开发环境全流程指南(以 STM32 为例)
在嵌入式开发中,许多工程师都习惯于在 Windows 平台使用 Keil、IAR 等 IDE。然而,随着对自动化、可定制性以及开放工具链的需求增长,越来越多的开发者开始尝试在 Linux 环境下进行 MCU 开发。 本篇文章将以 STM32F1 系列 为例,手把手带你在 Ubuntu 下搭建一个完整的 MCU 开…...
Redis淘汰策略详解!
目录 一、为什么需要淘汰策略? 🤔二、Redis 的淘汰策略详解 👇三、如何选择合适的淘汰策略? 🤔➡️✅四、如何切换 Redis 的淘汰策略? ⚙️🔧五、总结 🎉 🌟我的其他文章…...
基于51单片机和TM1638模块的小游戏《打地鼠》
目录 系列文章目录前言一、效果展示二、原理分析三、各模块代码1、TM1638模块2、定时器03、定时器1 四、主函数总结 系列文章目录 前言 有两个版本,普中开发板版本和最小系统板版本,两个版本差别在于晶振频率不一样,其他的都相同。 本文代码…...
机器学习之数据预处理(一):缺失值处理和异常值识别的几种常用方法
始终致力于将复杂知识通俗化的不断追求中,不足之处欢迎批评指正。 1、噪声处理 噪声是一个测量变量中的随机错误或偏差,是观测值和真实值之间的误差,包括错误值或偏离期望的孤立点值。对于噪声的处理,通常可以采用数据平滑技术来…...
25/4/6 算法笔记<仿真O2DES>基础知识学习
此文章就来整理一下我学习到的O2DES仿真框架的一些核心知识 核心概念: 模拟器(Simulator):模拟器是O2DES框架的核心组件,用来管理模拟时钟,事件调度和执行。可以通过Simulator类创建模拟环境&#…...
Three.js 系列专题 3:光照与阴影
内容概述 光照是 3D 场景真实感的关键。Three.js 提供了多种光源类型,每种光源有不同的效果和用途。本专题还将介绍如何启用和优化阴影效果,提升场景的深度感。 学习目标 理解不同光源类型及其应用场景。掌握在 Three.js 中添加光源并启用阴影。学会调整阴影效果以平衡真实…...
接口自动化学习五:mock工具使用
Moco简介: Mock是一个简单搭建模拟服务器的框架,可以用来模拟http、https、socket等协议。 原理: Mock会根据一些配置,启动一个真正的HTTP服务(会监听本地的某个端口),当发起的请求满足某个条件时…...
Java学习——day22(Java反射基础入门)
文章目录 1.反射的定义2. 认识反射的关键API2.1 Class2.2 Field2.3 Method2.4 Constructor 3. 示例代码讲解与分析4. 编写反射示例代码的步骤4.1 定义测试类4.2 编写主程序,使用反射获取信息4.3 通过反射创建对象并调用方法 5. 总结6.今日生词 Java反射笔记 1.反射的…...
字符串、列表、元组、字典
字符串 双引号或者单引号中的数据,就是字符串 字符串输入 之前在学习input的时候,通过它能够完成从键盘获取数据,然后保存到指定的变量中; 注意:input获取的数据,都以字符串的方式进行保存,即…...
数据分析-Excel-学习笔记
Day1 复现报表聚合函数:日期联动快速定位区域SUMIF函数SUMIFS函数环比、同比计算IFERROR函数混合引用单元格格式总结汇报 拿到一个Excel表格,首先要看这个表格个构成(包含了哪些数据),几行几列,每一列的名称…...
Nginx 常见面试题
一、nginx常见错误及处理方法 1.1 404 bad request 一般原因:请求的Header过大 解决办法: 配置nginx.conf 相关设置1. client_header_buffer_size 16k; 2. large_client_header_buffers 4 64k;1.2 413 Request Entity Too Large 一般原因࿱…...
Spring 中的 @Autowired 和 @Resource
🧩 一、Autowired 和 Resource 的基本作用 注解来源作用AutowiredSpring 提供(org.springframework.beans.factory.annotation.Autowired)按类型 自动注入ResourceJDK 提供(javax.annotation.Resource)默认按名称 注入…...
IAGCN:登上《Nature》的深度学习可解释性情感分析模型突破
IAGCN:登上《Nature》的深度学习可解释性情感分析模型突破 一、技术突破背景 社交媒体时代,用户生成内容的情感分析需求激增。传统方面级情感分析模型在复杂语境下存在特征交互捕捉不足、情感极性判定偏差等问题。微软亚洲研究院联合清华大学提出的交互…...
Go 学习笔记 · 进阶篇 · 第一天:接口与多态
🐶Go接口与多态:继承没了,但自由炸裂! 最近翻 Go 的代码,突然看到这么一段: type Animal interface {Speak() string }我一愣,咦?这不就是 Java 里常见的“接口”吗? …...
模运算:数字世界中的时空扭曲法则——从密码学到量子计算的跨维演绎
一、模宇宙基本定理:重构数字时空的底层逻辑 1.1 同余关系的时空折叠效应 在模运算创造的离散时空中,数字呈现出环状拓扑结构。当我们在模7空间观察时,12与5通过时空折叠达成量子纠缠:12 ≡ 5 (mod 7)。这种性质使得RSA加密算法…...
0303hooks-react-仿低代码平台项目
文章目录 1. 副作用2.其他内置hooks2.1 useEffect2.2 useRef2.3useMemo2.4 useCallback 3.自定义hooks4. 第三方hooks5. hooks使用原则6. hooks闭包陷阱7. 总结结语 1. 副作用 当组件渲染完成时,加载一个Ajax网络请求当某个state更新时,加载一个Ajax网络…...
Batch Normalization:深度学习训练的加速引擎
引言 在深度学习的发展历程中,训练深度神经网络一直是一项极具挑战性的任务。随着网络层数的增加,梯度消失、梯度爆炸以及训练过程中的内部协变量偏移(Internal Covariate Shift)问题愈发严重,极大地影响了模型的收敛…...
nacos的地址应该配置在项目的哪个文件中
在 Spring Boot 和 Spring Cloud 的上下文中,Nacos 的地址既可以配置在 bootstrap.yml 中,也可以配置在 application.yml 中,但具体取决于使用场景和需求。以下是两者的区别和最佳实践: 1. bootstrap.yml vs application.yml …...
【数据集】 PBMC(Peripheral Blood Mononuclear Cells)数据集
🧬 一、PBMC 数据集简介 内容描述名称Peripheral Blood Mononuclear Cells(外周血单个核细胞)细胞类型包括 B 细胞、T 细胞、NK 细胞、单核细胞等技术平台通常由 10x Genomics 提供(例如 3k、4k、6k、10k 版本)数据类…...
3. go-zero中如何使用redis
问题 go-zero项目相关文档中redis是这样配置的: Name: account.rpc ListenOn: 0.0.0.0:8080 Etcd:Hosts:- 127.0.0.1:2379Key: account.rpcMysql:Host: xxxx:3306User: rootPass: xxxData: mall-userCharset: utf8mb4Cache: - Host: 192.168.145.10:6379Type: nod…...
Redis基础知识
Redis基础知识 一、Redis简介 1.1 什么是Redis? Redis是一个开源的、基于内存的数据结构存储系统,可以用作: 数据库缓存消息中间件分布式锁 1.2 Redis特点 高性能:基于内存操作支持多种数据结构支持数据持久化支持主从复制支…...
每日c/c++题 备战蓝桥杯(求解三个数的最大公约数与最小公倍数)
求解三个数的最大公约数与最小公倍数(C/C实现) 引言 在数学计算和编程问题中,求多个数的**最大公约数(GCD)和最小公倍数(LCM)**是常见需求。本文将探讨如何高效求解三个数的GCD和LCMÿ…...
解决Win11耳机没有声音的问题
方法一:更新驱动程序(有效) 进入 “设置”(快捷键:WinX),点击 “Windows 更新” → “高级选项” 点击 “可选更新” ,然后点击 “驱动程序更新” 【注】:更新后可能会出…...
滤波电容的正负极线宽需要一致吗?
今天看到一个项目的滤波电容的正端采用铺铜处理增大过流能力,但是负极却仅仅打了两个地过孔,不仅产生疑问,这样做是否合理,滤波电容的正负极线宽需要一致吗? 搜寻资料的时候看到这样一个类似的问题: 这些人…...
使用 `pandas` 库来读取 Excel 文件,并实现六种算法的遍历计算
以下是一个满足你需求的 Python 程序示例。在这个示例中,我们假设已经有了处理数据的函数,并且生成的 Excel 文件中包含了观测数据和推算数据。我们将使用 pandas 库来读取 Excel 文件,并实现六种算法的遍历计算。 import pandas as pd# 模拟…...
【Linux】文件描述符访问Open、Read、Write
每个运行的程序被称为进程(process),它有一些与之关联的文件描述符。我们可以通过这些文件描述符来访问打开的文件或者设备。 一、文件描述符 什么是文件描述符? 概念:文件描述符(File Descriptor&#x…...
在 VS2022 中修复 Linux CMake 项目构建失败:从 Ninja 迁移到 Makefile
问题背景 在使用 Visual Studio 2022 开发跨平台 C 项目时,许多开发者会选择通过 WSL (Windows Subsystem for Linux) 直接在本地调试 Linux 环境下的程序。然而,近期在配置一个 CMake 项目时,遇到了以下报错࿱…...
ctf-show-mics2
下载文件用zip解压,将文件修改为flp文件 新建虚拟机,把文件添加到软盘 再次打开虚拟机会显示flag flag:flag{ctfshow}...
STM32_USB
概述 本文是使用HAL库的USB驱动 因为官方cubeMX生成的hal库做组合设备时过于繁琐 所以这里使用某大神的插件,可以集成在cubeMX里自动生成组合设备 有小bug会覆盖生成文件里自己写的内容,所以生成一次后注意保存 插件安装 下载地址 https://github.com/alambe94/I-CUBE-USBD-Com…...
Java 基础-32-枚举-枚举的应用场景
在Java编程中,枚举(Enum)提供了一种强大的方式来定义一组固定的常量。它们不仅限于简单的用途,还可以包含构造函数、方法和字段等高级功能,使其适用于多种不同的应用场景。本文将探讨几种常见的使用枚举的场景…...
新潮透明液体水珠水滴失真故障扭曲折射特效海报字体标题设计ps样机动作素材 Bubble Photoshop Templates
只需单击几下即可创建引人注目的视觉效果!您需要做的就是将您的文本或图像放入智能对象中并应用作。 包中包含: 15 个静态 Photoshop 模板(PS 2019 及更高版本) 01-05 垂直布局 (22504000)06-10 水平布局…...
学透Spring Boot — 017. 魔术师—Http消息转换器
本文是我的专栏《学透Spring Boot》的第17篇文章,了解更多请移步我的专栏: 学透 Spring Boot_postnull咖啡的博客-CSDN博客 目录 HTTP请求和响应 需求—新的Media Type 实现—新的Media Type 定义转换器 注册转换器 编写Controller 测试新的medi…...
stable diffusion 量化加速点
文章目录 一、导出为dynamic shape1)函数讲解(函数导出、输出检查)2)代码展示二、导出为static shape1)函数讲解(略)2)代码展示三、序列化为FP32测速1)测速2)代码四、序列化为FP16测速1)测速2)代码同上五、发现并解决解决CLIP FP16溢出,并测速1)如何找到溢出的算子…...
Xorg内存管理机制深度解析
Xorg内存管理机制深度解析 一、客户端资源生命周期管理 Xorg 采用 客户端绑定型资源管理 机制,所有资源(窗口、像素图、字体等)的生命周期与客户端连接状态强关联。 资源 ID 分配机制: • 每个资源由 32位标识符 表示,格式:0xBBCCDDEE ◦ BB:客户端 ID(ClientIndex)…...
第五期:深入理解 Spring Web MVC [特殊字符]( 前后端交互的综合性练习)
✨ 前言:从理解到实战,彻底掌握 Spring MVC 前后端交互 当我们学习了 Spring MVC 中的各种注解、参数绑定、请求方式、编码处理以及 Cookie/Session 操作之后,下一步就是 —— 动手实践! 理论再多,不如亲自敲一次代码…...
ansible可视化自动化平台-semaphore
1、简介 Semaphore UI 是一个开源的CI/CD工具,专注于简化和自动化软件交付流程,可轻松管理和运行 Ansible playbook,提供了一个直观的 Web 用户界面(UI),帮助DevOps团队轻松管理任务、部署和流水线。 官网…...
手撕LLM(二):从源码出发,探索LoRA加载、推理全流程
接上回接着说,前面我们通过分析源码,了解了大模型推理的详细流程,包括提示词从输入,到对话模版包装,到tokenID转换,到Embedding词向量转换;通过大模型推理,再将大模型输出进行最后一…...
数据库连接JDBC
概述 ✅概念 JDBC(JavaDataBaseConnectivityjava数据库连接)是⼀种⽤于执⾏SQL语句的JavaAPI,可以为多种关系型数据库提供 统⼀访问,它是由⼀组⽤Java语⾔编写的类和接⼝组成的。 本质 其实就是java官⽅提供的⼀套规范(接⼝)。⽤于帮助开发⼈员快速实现…...