当前位置：首页 > news >正文

mysql 基于chunk机制是如何支持运行期间，动态调整buffer pool大小的

news 来源：原创 2025/5/24 14:31:55

mysql 基于chunk机制是如何支持运行期间，动态调整buffer pool大小的

MySQL 的 InnoDB 存储引擎确实支持在运行期间动态调整缓冲池（buffer pool）的大小，但其机制与自定义缓存系统有所不同。InnoDB 通过内部优化和配置参数来实现这一功能。

实际上mysql 设计了一个chunk机制，也就是说buffer pool是由很多chunk组成的，他的大小是innodb_buffer_pool_chunk_size参数控制的，默认值就是128MB。

所以实际上我们可以来做一个假设，比如现在我们给buffer pool设置一个总大小是8GB，然后有4个buffer pool，那

么每个buffer pool就是2GB，此时每个buffer pool是由一系列的128MB的chunk组成的，也就是说每个buffer pool会有16个chunk。

然后每个buffer pool里的每个chunk里就是一系列的描述数据块和缓存页，每个buffer pool里的多个chunk共享一套

free、flush、lru这些链表.

以下是 MySQL 基于 chunk 机制动态调整 buffer pool 大小的关键点：

动态调整 Buffer Pool 大小的命令
从 MySQL 5.7 开始，InnoDB 支持在运行期间动态调整 innodb_buffer_pool_size 参数。你可以使用以下 SQL 命令来调整缓冲池大小：

SET GLOBAL innodb_buffer_pool_size = new_size;

例如，将缓冲池大小设置为 16GB：

SET GLOBAL innodb_buffer_pool_size = 16 * 1024 * 1024 * 1024;

Chunk 机制
InnoDB 使用分块（chunk）机制来管理缓冲池的扩展和收缩。每个 chunk 是一个固定大小的内存块，默认情况下是 128MB。当需要增加或减少缓冲池大小时，InnoDB 会以 chunk 为单位进行操作。
2.1 扩展缓冲池
添加新 Chunk：当需要增加缓冲池大小时，InnoDB 会逐步添加新的 chunk。
平滑扩展：每次添加一个 chunk 后，InnoDB 会等待一段时间（默认为 1 秒），然后继续添加下一个 chunk，直到达到目标大小。这样可以避免一次性分配大量内存对系统性能造成冲击。
2.2 收缩缓冲池
移除旧 Chunk：当需要减少缓冲池大小时，InnoDB 会逐步移除现有的 chunk。
渐进式收缩：每次移除一个 chunk 后，InnoDB 会等待一段时间（默认为 1 秒），然后继续移除下一个 chunk，直到达到目标大小。这同样是为了避免一次性释放大量内存对系统稳定性的影响。
相关配置参数
为了更好地控制缓冲池的动态调整行为，InnoDB 提供了以下几个关键配置参数：
innodb_buffer_pool_chunk_size
设置每个 chunk 的大小，默认为 128MB。
可以根据服务器的内存情况调整这个值，但建议保持默认值以确保最佳性能。
innodb_buffer_pool_resize_delay
设置每次调整后等待的时间（以毫秒为单位），默认为 1000 毫秒（即 1 秒）。
如果需要更快地完成调整，可以减小这个值；如果担心对性能的影响，可以增大这个值。
innodb_buffer_pool_instances
设置缓冲池实例的数量，默认为 8。
更多的实例可以减少锁争用，提高并发性能。
注意事项
内存限制：确保服务器有足够的可用内存来支持新的缓冲池大小。如果内存不足，可能会导致 OOM（Out of Memory）错误。
性能影响：频繁调整缓冲池大小可能会影响性能，因此应尽量减少调整频率，并选择合适的时间窗口进行调整。
数据一致性：InnoDB 在调整过程中会确保数据的一致性和完整性，不会丢失或损坏数据。
实际应用场景
假设你有一个正在运行的 MySQL 服务器，当前 innodb_buffer_pool_size 设置为 8GB，你想将其调整为 16GB。你可以按照以下步骤操作：
检查当前配置：

   SHOW VARIABLES LIKE 'innodb_buffer_pool_size';

调整缓冲池大小：

   SET GLOBAL innodb_buffer_pool_size = 16 * 1024 * 1024 * 1024;

验证调整结果：
```
   SHOW VARIABLES LIKE 'innodb_buffer_pool_size';
```
1. 监控性能：使用 SHOW ENGINE INNODB STATUS 或其他监控工具来观察调整后的性能变化，确保没有负面影响。
  通过上述方法，MySQL 的 InnoDB 存储引擎可以在运行期间动态调整缓冲池大小，同时利用 chunk 机制确保调整过程的平稳性和高效性。如果你有更多具体需求或问题，请进一步说明。

mysql 基于chunk机制是如何支持运行期间，动态调整buffer pool大小的

mysql 基于chunk机制是如何支持运行期间，动态调整buffer pool大小的 MySQL 的 InnoDB 存储引擎确实支持在运行期间动态调整缓冲池（buffer pool）的大小，但其机制与自定义缓存系统有所不同。InnoDB 通过内部优化和配置参数来实现这…...

编程日记 2025/5/24 14:31:55

梳理你的思路(从OOP到架构设计)_简介设计模式

目录 1、模式(Pattern) 是较大的结构编辑 2、结构形式愈大通用性愈小编辑 3、从EIT造形组合出设计模式 1、模式(Pattern) 是较大的结构组合与创新達芬奇說：簡單是複雜的終極形式 (Simplicity is the ultimate form of sophistication) —Leonardo d…...

编程日记 2025/5/21 3:07:33

什么是缓存 https://tech.meituan.com/2017/03/17/cache-about.html Spring Data Redis Spring Data Redis提供了从Spring应用程序轻松配置和访问Redis的功能。引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>sp…...

编程日记 2025/5/24 12:38:15

基于 PyCharm 和 Navicat 的新闻管理系统

# 用于创建连接池 pip3 install mysql-connector-python # 改变终端打印颜色 pip3 install colorama 1.创建连接池文件地址：db/mysql_db.py 首先建立一个与 MySQL 数据库的连接池，以便在应用程序中复用连接，提高性能。如果连接池创建失败…...

编程日记 2025/5/24 1:59:05

＜QNAP 453D QTS-5.x＞日志记录：优化性能内存管理修改swap优先顺序 swap放在ssd 网络稳定性进程出错管理

起因几个月前，开始重学编程，往 NAS 的 docker 里放了些 containers ，每一个用来跑练习的 App。为了放更多的app，上个月加了 4GB 内存。最近只放了两个，NAS 就会时不时的闪断。codes 全存在网络驱动器上，当…...

编程日记 2025/5/22 2:35:15

一区牛顿-拉夫逊算法+分解+深度学习！VMD-NRBO-Transformer-GRU多变量时间序列光伏功率预测

一区牛顿-拉夫逊算法分解深度学习！VMD-NRBO-Transformer-GRU多变量时间序列光伏功率预测目录一区牛顿-拉夫逊算法分解深度学习！VMD-NRBO-Transformer-GRU多变量时间序列光伏功率预测预测效果基本介绍程序设计参考资料预测效果基本介绍 1.中科院一区…...

编程日记 2025/5/21 13:18:22

本地部署webrtc应用怎么把http协议改成https协议？

环境： WSL2 Ubuntu22.04 webrtc视频聊天应用问题描述： 本地部署webrtc应用怎么把http协议改成https协议？ http协议在安卓手机浏览器上用不了麦克风本，来地应用webrtc 本来是http协议，在安卓手机上浏览器不支持使…...

编程日记 2025/5/18 4:09:53

React简单了解

原理简化了解 import React from "react" import { createRoot } form "react-dom/client"const element React.createElement(p,{id: hello},Hello World! )const container document.querySelector(#root) const root createRoot(container) root.r…...

编程日记 2025/5/20 5:14:41

基于LabVIEW的USRP信道测量开发

随着无线通信技术的不断发展，基于软件无线电的设备（如USRP）在信道测量、无线通信测试等领域扮演着重要角色。通过LabVIEW与USRP的结合，开发者可以实现信号生成、接收及信道估计等功能。尽管LabVIEW提供了丰富的信号处理工具和图形…...

编程日记 2025/5/22 13:04:13

Docker挂载

目录数据卷挂载本地目录挂载数据卷挂载宿主机默认的存放所有容器数据卷的目录：/var/lib/docker/volumes nginx容器静态文件目录：/usr/share/nginx/html 配置文件目录：/etc/nginx/nginx.conf 修改宿主机的内容，进入到容器查…...

编程日记 2025/5/24 14:13:16

使用Java结合经纬度位置计算目标点的日出日落时间

目录前言一、应用示例 1、天安门升旗时间 2、湖南省日出日落信息二、JAVA日出日落计算 1、在线API 2、使用Java进行计算三、总结前言随着城市化进程的加速，城市环境与人类生活的联系日益紧密。城市不仅承载着居住、工作、休闲等多种功能，也…...

编程日记 2025/5/24 14:28:25

八字精批api接口_php获取生成八字和批注的方法研究

八字算命 API 介绍这个八字算命 API 提供了一种便捷的方式，让用户通过 GET 或 POST 请求获取详细的八字信息。API 返回的数据格式为 JSON，包含多种命理分析和建议，适合对传统命理学感兴趣的用户。 API 功能五行分析： 提供用户…...

编程日记 2025/5/19 16:31:33

docker run 命令参数

user docker run -it --nameubn18 --gpus all --privilegedtrue --shm-size 8G ubuntu:18.04 /bin/bash-it 是什么意思 4o 在运行 docker run 命令时，-it 是两个选项的组合，用于更好地与容器进行交互： -i 或 --interactive：这个选…...

编程日记 2025/5/23 4:50:21

智能外呼技术如何改变企业营销方式

智能外呼技术如何改变企业营销方式作者：开源大模型智能呼叫中心系统FreeAICC，Github：https://github.com/FreeIPCC/FreeAICC 在数字化时代，企业营销方式正经历着前所未有的变革。其中，智能外呼技术作为一项前沿的人…...

编程日记 2025/5/20 19:07:31

redis数据转移

可能有时候因为硬件的原因我们我们需要更换服务器，如果更换服务器的话，那我们redis的数据该怎样转移呢，按照一下步骤即可完成redis数据的转移 1.进入redis客户端 2.使用 bgsave命令进行数据的备份，此命令完成后会在你的redis安装目…...

编程日记 2025/5/20 3:47:10

STM32-笔记5-按键点灯（中断方法）

1、复制03-流水灯项目，重命名06-按键点灯（中断法） 在\Drivers\BSP目录下创建一个文件夹exti，在该文件夹下，创建两个文件exti.c和exti.h文件，并且把这两个文件加载到项目中，打开项目工程文件加载…...

编程日记 2025/5/23 15:47:23

DotNetBrowser 3.0.0 正式发布！

🛠️ 重要消息：DotNetBrowser 3.0.0 正式发布！ 我们很高兴向您介绍全新的 DotNetBrowser 3.0.0 版本。此次更新带来了多项重要功能与优化，进一步提升了 Web 开发的效率和体验。 📢 DotNetBrowser 3.0.0 包含哪些新功…...

编程日记 2025/5/22 10:07:39

MySQL基础笔记（三）

在此特别感谢尚硅谷-康师傅的MySQL精品教程获取更好的阅读体验请前往我的博客主站! 如果本文对你的学习有帮助，请多多点赞、评论、收藏，你们的反馈是我更新最大的动力！ 创建和管理表 1. 基础知识 1.1 一条数据存储的过程存储数据是处理数…...

编程日记 2025/5/20 15:24:52

SEO初学者-搜索引擎如何工作

搜索引擎基础搜索引擎是如何建立索引的搜索引擎如何对网页进行排名搜索引擎是如何个性化搜索结果的搜索引擎的工作方式是使用网络爬虫抓取数十亿个页面。爬虫也称为蜘蛛或机器人，它们在网络上导航并跟踪链接以查找新页面。然后，这些页面会被添加到搜索引…...

编程日记 2025/5/23 23:23:16

在Ubuntu下运行QEMU仿真FreeBSD riscv64系统

在Ubuntu下运行QEMU仿真FreeBSD riscv64系统突发奇想，尝试在Ubuntu下运行QEMU仿真FreeBSD riscv64系统， 参考这篇文档：手把手教你在QEMU上运行RISC-V Linux_qemu 运行 .bin-CSDN博客并参考FreeBSD的Wiki：riscv - FreeBSD Wik…...

编程日记 2025/5/20 13:40:27

SQL 使用带聚集函数的联结

聚集函数用于汇总数据，通常用于从一个表中计算统计信息，但也可以与联结一起使用。以下是一个例子，展示如何使用聚集函数统计每个顾客的订单数。示例 1：使用 COUNT() 函数与 INNER JOIN 假设我们需要检索所有顾客及每个顾客所下…...

编程日记 2025/5/24 14:13:17

Linux网络功能 - 服务和客户端程序CS架构和简单web服务示例

By: fulinux E-mail: fulinux@sina.com Blog: https://blog.csdn.net/fulinus 喜欢的盆友欢迎点赞和订阅！你的喜欢就是我写作的动力！目录概述准备工作扫描服务端有那些开放端口创建客户端-服务器设置启动服务器和客户端进程双向发送数据保持服务器进程处于活动状态设置最小…...

编程日记 2025/5/24 7:26:48

爬取Q房二手房房源信息

文章目录 1. 实战概述2. 网站页面分析3. 编写代码爬取Q房二手房房源信息3.1 创建项目与程序3.2 运行程序，查看结果 4. 实战小结 1. 实战概述本次实战项目旨在通过编写Python爬虫程序，抓取深圳Q房网上的二手房房源信息。我们将分析网页结构，…...

编程日记 2025/5/22 10:36:34

【JavaEE初阶】线程和 thread

本节⽬标认识多线程掌握多线程程序的编写掌握多线程的状态一. 认识线程（Thread） 1概念 1) 线程是什么⼀个线程就是⼀个 "执⾏流". 每个线程之间都可以按照顺序执⾏⾃⼰的代码. 多个线程之间 "同时" 执⾏着多份代码. 还…...

编程日记 2025/5/24 14:28:25

【IMU：视觉惯性SLAM系统】

视觉惯性SLAM系统简介相机（单目/双目/RGBD)与IMU结合起来就是视觉惯性，通常以单目/双目IMU为主。 IMU里面有个小芯片可以测量角速度与加速度，可分为6轴(6个自由度)和9轴（9个自由度）IMU，具体的关于IMU的介…...

编程日记 2025/5/21 16:40:30

【python实现烟花】

可以使用 Python 的 turtle 模块来实现烟花效果。下面是一个简单的示例代码，展示如何用 turtle 绘制烟花： import turtle import random# 设置屏幕 screen turtle.Screen() screen.bgcolor("black")# 创建烟花函数 def draw_firework(x, y):…...

编程日记 2025/5/22 18:50:37

OpenCV学习——图像融合

import cv2 as cv import cv2 as cvbg cv.imread("test_images/background.jpg", cv.IMREAD_COLOR) fg cv.imread("test_images/forground.png", cv.IMREAD_COLOR)# 打印图片尺寸 print(bg.shape) print(fg.shape)resize_size (1200, 800)bg cv.resize…...

编程日记 2025/5/22 3:12:19

CS 144 check6: buiding an IP router

Lecture Notes Exercises 路由器的任务是根据路由表转发接收到的数据报：路由表是一系列规则，用于指导路由器针对任何给定的数据报应如何进行转发。发送出什么接口。下一跳的IP地址。这个check的工作是实现一个路由器，它可以为任何给定的…...

编程日记 2025/5/22 12:48:35

Pytorch | 从零构建ResNet对CIFAR10进行分类

Pytorch | 从零构建ResNet对CIFAR10进行分类 CIFAR10数据集ResNet核心思想网络结构创新点优点应用 ResNet结构代码详解结构代码代码详解BasicBlock 类ResNet 类ResNet18、ResNet34、ResNet50、ResNet101、ResNet152函数训练过程和测试结果代码汇总resnet.pytrain.pytest.py 前…...

编程日记 2025/5/22 3:44:03

Spring整合Redis基本操作步骤

Spring 整合 Redis 操作步骤总结 1. 添加依赖首先，在 pom.xml 文件中添加必要的 Maven 依赖。Redis 相关的依赖包括 Spring Boot 的 Redis 启动器和 fastjson（如果需要使用 Fastjson 作为序列化工具）： <!-- Spring Boot Re…...

编程日记 2025/5/23 22:20:43

java中的方法的重载和重写、构造器

目录方法的重载和重写、构造器1.java的修饰符：2.普通方法3.构造器（也叫构造方法/构造函数）4.方法的重载5.补充6.方法的重写7.类的执行顺序8.再看方法的重写方法的重载和重写、构造器 1.java的修饰符： public修饰的代码&#xf…...

编程日记 2025/5/23 4:34:13

Vite 系列课程|1课程道路，2什么是构建工具

Vite 系列课程 1. 课程导论 1.1 为什么要学习 Vite？ 1.1.1 Webpack vs. Vite：新旧霸主的交替？ Webpack 长期以来一直是前端构建工具的事实标准，拥有庞大的用户群体、成熟的生态系统和丰富的学习资源。然而，随着前端技术…...

编程日记 2025/5/23 12:54:28

【蓝桥杯选拔赛真题96】Scratch风车旋转第十五届蓝桥杯scratch图形化编程少儿编程创意编程选拔赛真题解析

目录 scratch风车旋转一、题目要求编程实现二、案例分析 1、角色分析 2、背景分析 3、前期准备三、解题思路 1、思路分析 2、详细过程四、程序编写五、考点分析六、推荐资料 1、入门基础 2、蓝桥杯比赛 3、考级资料 4、视频课程 5、python资料 scratc…...

编程日记 2025/5/24 2:27:24

SQL血缘解析

Druid 作为使用率特别高的的数据库连接池工具，在具备完善的连接池管理功能外，同时Druid 的 SQL解析功能可以用来防止 SQL注入等安全风险。通过对 SQL 语句进行解析和检查，Druid 可以识别并阻止潜在的恶意 SQL 语句执行，黑名单（阻止特定的 SQL 语句执行）、白名单（仅允许特…...

编程日记 2025/5/22 3:44:03

Docker 部署机器学习模型

1.编写机器学习代码 （1）新建一个 mlmodel.py import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sk…...

编程日记 2025/5/21 5:12:51

leetcode 面试经典 150 题：无重复字符的最长子串

链接无重复字符的最长子串题序号3类型字符串解题方法滑动窗口难度中等题目给定一个字符串 s ，请你找出其中不含有重复字符的最长子串的长度。示例 1: 输入: s “abcabcbb” 输出: 3 解释: 因为无重复字符的最长子串是 “abc”，所以其长度为 3。 …...

编程日记 2025/5/23 10:18:00

LeetCode 283. 移动零 (C++实现)

1. 题目描述给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。请注意 ，必须在不复制数组的情况下原地对数组进行操作。示例 1： 输入: nums [0,1,0,3,12] 输出: [1,3,12,0,0] 示例 …...

编程日记 2025/5/18 17:50:09

基于Spring Boot的个人财务系统

一、系统背景与目的随着全球经济的发展和人们生活水平的提高，个人财务管理变得越来越重要。传统的个人财务软件存在操作复杂、用户体验差、数据不安全等问题，无法满足用户的个性化需求。因此，开发一种基于Spring Boot的个人财务系统&#x…...

编程日记 2025/5/21 6:14:44

【计算机网络2】计算机网络的性能能指标

目录一、计算机网络的性能指标二、具体介绍 1、速率 2、带宽 3、吞吐量 4、时延 5、时延带宽积 6、往返时延 7、信道利用率一、计算机网络的性能指标计算机网络的性能指标就是从不同方面度量计算机网络的性能，有如下7个指标： 速…...

编程日记 2025/5/20 18:04:00

Axure RP9 的详细安装及Axure入门应用

文章目录一、Axure 是什么?二、Axure 的应用场景三、Axure 安装1. 下载安装2. 汉化授权附：下载链接一、Axure 是什么? 1、Axure 是一种强大的原型设计工具，它可以帮助设计师和产品经理快速创建交互式的、高保真度的原型，并进行用户体验…...

编程日记 2025/5/24 2:43:28

Scala学习记录如何打印输出

在Scala中，打印输出可以通过多种方式实现，以下是一些常见的打印输出方法： 1.使用printf()方法： 这是一种传统的C语言风格的打印方式，通过格式化字符串来控制输出的格式。例如，printf("整数&#xff1a…...

编程日记 2025/5/22 12:52:34

内网IP段介绍与汇总

IPV4内网段 IP地址段地址范围地址数量用途描述0.0.0.0/80.0.0.0–0.255.255.25516777216SoftwareCurrent network (only valid as source address).10.0.0.0/810.0.0.0–10.255.255.25516777216Private networkUsed for local communications within a private network.100.64…...

编程日记 2025/5/24 5:59:54

js常用方法之: 预览大图(uniapp原生方法封装)

方法: //预览图片 pic可传单个图片地址字符串或图片数组(带index) previewPic: function(pic, index) {if (!pic) return;if (index undefined) {let array [];array.push(pic);uni.previewImage({urls: array,current: array[0]});} else {uni.previewImage({urls: pic,…...

编程日记 2025/5/24 1:09:56

人脸生成3d模型 Era3D

从单视图图像进行3D重建是计算机视觉和图形学中的一项基本任务，因为它在游戏设计、虚拟现实和机器人技术中具有潜在的应用价值。早期的研究主要依赖于直接在体素上进行3D回归，这往往会导致过于平滑的结果，并且由于3D训练数据的限制&#xff0…...

编程日记 2025/5/23 20:15:48

「Mac畅玩鸿蒙与硬件46」UI互动应用篇23 - 自定义天气预报组件

本篇将带你实现一个自定义天气预报组件。用户可以通过选择不同城市来获取相应的天气信息，页面会显示当前城市的天气图标、温度及天气描述。这一功能适合用于动态展示天气信息的小型应用。关键词 UI互动应用天气预报数据绑定动态展示状态管理一、功能说明自定义…...

编程日记 2025/5/19 21:44:09

深圳龙岗戴尔dell r730xd服务器故障维修

深圳龙岗一台DELL POWEREDGE R730XD服务器系统故障问题处理： 1：客户工厂年底产线整改，时不时的会意外断电，导致服务器也频繁停机， 2：多次异常停机后导致服务器开机后windows server系统无法正常启动了&…...

编程日记 2025/5/19 20:42:41

lxml提取某个外层标签里的所有文本

html如下 <div data-v-1cf6f280"" class"analysis-content">选项D错误：<strong>在衡量通货膨胀时，</strong><strong>消费者物价指数使用得最多、最普遍</strong>。 </div> 解析html文本 fro…...

编程日记 2025/5/20 16:29:54

【AI图像生成网站Golang】项目测试与优化

AI图像生成网站目录一、项目介绍二、雪花算法三、JWT认证与令牌桶算法四、项目架构五、图床上传与图像生成API搭建六、项目测试与优化六、项目测试与优化在开发过程中，性能优化是保证项目可扩展性和用户体验的关键步骤。本文将详细介绍我如何使用一…...

编程日记 2025/5/22 8:52:09

使用Docker启用MySQL8.0.11

目录一、Docker减小镜像大小的方式 1、基础镜像选择 2、减少镜像层数 3、清理无用文件和缓存 4、优化文件复制（COPY和ADD指令） 二、Docker镜像多阶段构建 1、什么是dockers镜像多阶段构建 1.1 概念介绍 1.2 构建过程和优势 2、怎样在Dockerfil…...

编程日记 2025/5/21 23:17:32

部署Mysql、镜像和容器、常见命令

目录部署Mysql 镜像和容器常见命令部署Mysql 可以有多个容器 docker run -d \--name mysql \-p 3306:3306 \-e TZAsia/Shanghai \-e MYSQL_ROOT_PASSWORD123 \mysql docker run -d \--name mysql2 \-p 3307:3307 \-e TZAsia/Shanghai \-e MYSQL_ROOT_PASSWORD123 \mys…...

编程日记 2025/5/19 5:04:27

mysql 基于chunk机制是如何支持运行期间，动态调整buffer pool大小的

相关文章：