当前位置：首页 > news >正文

【项目日记(8)】第三层:页缓存的具体实现(下)

news 来源：原创 2025/7/22 21:24:45

前言

请先看完上一篇文章页缓存的具体实现(上)

1. 地址空间上的内存使用情况

在地址空间中,一共是4GB大小的空间，地址从0000 0000到FFFF FFFF。

第0页的起始地址是0
第一页的起始地址是8*1024KB
…以此类推

在这里插入图片描述

当中心缓存还回来一个span后,假设这个span中的大页内存在地址空间中是在第1000页,并且span的大小是50页,那么这个还回来的span就处于空闲状态了,此时我们只需要去检查地址空间中第999页的内存是否空闲,如果空闲就将1000~1050页和999页合并,形成一个51页的大块儿span,并且要不断向前合并直到遇见正在使用的页.同理,需要检查地址空间的1051页是否空闲,如果是空闲的,那么就将它一起合并过去!

在这里插入图片描述

2. 页缓存合并内存的代码实现

在pagecache.cpp文件中:

// 释放空闲span回到Pagecache，并合并相邻的span
void PageCache::ReleaseSpanToPageCache(Span* span)
{// 大于128页的直接还给系统if (span->_n > NPAGES - 1){void* ptr = (void*)(span->_pageId << PAGE_SHIFT);SystemFree(ptr);//delete span;_spanPool.Delete(span);return;}// 对span前后的页，尝试进行合并，缓解内存碎片问题while (true){PAGE_ID prevId = span->_pageId - 1; // 计算出前一个页号auto ret = _idSpanMap.find(prevId); // 根据页号和span*的映射找出span// 前面的页号没有了，不合并if (ret == _idSpanMap.end()){break;}// 前面相邻页的span正在使用，不合并了Span* prevSpan = ret;if (prevSpan->_isUse = true){break;}// 合并出超过128页的span没办法管理，不合并了if (prevSpan->_n + span->_n > NPAGES - 1){break;}// 开始合并，页号变成了前一个的页号，页数也增多了span->_pageId = prevSpan->_pageId;span->_n += prevSpan->_n;// 合并完之后把之前桶里的给解链_spanList[prevSpan->_n].Erase(prevSpan);// delete prevSpan;_spanPool.Delete(prevSpan);}// 向后合并,过程同上while (true){PAGE_ID nextID = span->_pageId + span->_n;auto ret = _idSpanMap.find(nextID);if (ret == _idSpanMap.end()){break;}Span* nextSpan = ret;if (nextSpan->_isUse == true){break;}if (span->_n + nextSpan->_n > NPAGES - 1){break;}span->_n += nextSpan->_n;_spanList[nextSpan->_n].Erase(nextSpan);//delete nextSpan;_spanPool.Delete(nextSpan);}// 再把合并好的挂起来_spanList[span->_n].PushFront(span);span->_isUse = false;               // 此时没有被使用_idSpanMap[span->_pageId] = span; // 把首尾建立映射，方便其他内存块的合并_idSpanMap[span->_pageId + span->_n - 1] = span;
}

对于代码的解释都在注释当中，大家可以发现整个合并内存的过程中，我们已经将delete操作符替换为了定长池中的free，这也就是完全脱离了free函数，并且当合并后的页数大于了128，此时整个页缓存哈希桶是挂不下的，所以要特别注意这一种情况。

3. 总结以及对代码的拓展

页缓存结构的讲解已经结束，现在回头来看前面设计的这三层缓存结构，可谓是非常之巧妙，第一层线程缓存是无锁的，申请/释放内存非常高效，而第二层中心缓存是用的桶锁，在大多数情况下也没有竞争锁的问题，效率也非常高，所以现在能理解为什么要设计三层而不是两层，甚至是一层，一方面是为了效率的考量，另一方面是为了可以方便合并相邻的空闲页。

对代码的拓展:
在使用到了直接向系统返还内存的函数:

inline static void SystemFree(void* ptr)
{
#ifdef _WIN32VirtualFree(ptr, 0, MEM_RELEASE);
#else// sbrk unmmap等
#endif
}

【项目日记(8)】第三层:页缓存的具体实现(下)

目录前言1. 地址空间上的内存使用情况2. 页缓存合并内存的代码实现3. 总结以及对代码的拓展前言请先看完上一篇文章页缓存的具体实现(上) 1. 地址空间上的内存使用情况在地址空间中,一共是4GB大小的空间，地址从0000 0000到FFFF FFFF。第0页的起始地址是0 第…...

编程日记 2025/7/22 21:24:45

算法题（19）：多数元素

审题： 数组不为空且一定存在众数。需要返回众数的数值思路： 方法一：哈希映射先用哈希映射去存储对应数据出现的次数，然后遍历找到众数并输出当然也可以在第一次映射的过程中就维护一个出现次数最多的数据，这样子就可…...

编程日记 2025/7/23 17:20:03

==、equals、hashcode

和equals区别用于基本数据类型，比较的是值，用于引用类型，比较的是对象的内存地址。java中只有值传递，因此对于引用类型，实际比较的引用的内存地址的值。equals不能用来判断基本数据类型，只能判断引用数据…...

编程日记 2025/7/23 17:18:53

《优势谈判》——阅读笔记

投入思想准备：一个谈判是要双赢的，至少需要让对手这么认为；进行一场谈判，需要看到对面是否真的愿意和你谈判谈判技巧永远不要接受首次报份；如果对方临时变更了要求，则可以通过立刻要求对方做补偿等方…...

编程日记 2025/7/23 17:18:52

mybatis-plus 用法总结

MyBatis-Plus（简称 MP）是 MyBatis 的增强工具，旨在简化开发者的 CRUD 操作。它在 MyBatis 的基础上提供了更多的功能和便利性，如代码生成器、分页插件、性能分析插件等，使开发者能够更高效地进行数据库操作。MyBatis-P…...

编程日记 2025/7/23 17:16:35

华为开源自研AI框架昇思MindSpore应用案例：ICNet用于实时的语义分割

ICNet用于实时的语义分割 ICNet 被广泛应用于实时的语义分割领域。它在处理图像数据时，能够以较高的效率进行语义分割操作，为相关领域的研究和实际应用提供了有力的支持。ICNet 的实时性使其在众多场景中都具有很大的优势，例如在视频处理、自…...

编程日记 2025/7/23 17:18:53

CAN201 Introduction to Networking（计算机网络）Pt.2 传输层

文章目录 3. Transport Layer（传输层）3.1 Multiplexing and demultiplexing（多路复用和多路分解）3.2 Connectionless transport：UDP3.3 Principles of reliable data transfer3.4 Pipelined communication3.5 TCP: con…...

编程日记 2025/7/23 17:17:43

HashMap

一、什么是基于哈希表的数据结构允许以O(1)的时间复杂度进行元素的插入，查询和删除二、底层结构 1.数据结构在1.8以后，数组链表红黑树数组：HashMap底层是一个数组，每个数组元素存放一个链表或红黑树（在JDK 1.…...

编程日记 2025/7/23 17:05:20

JavaScript甘特图 dhtmlx-gantt

背景需求是在后台中，需要用甘特图去展示管理任务相关视图，并且不用依赖vue，兼容JavaScript原生开发。最终使用dhtmlx-gantt，一个半开源的库，基础功能免费，更多功能付费。甘特图需求如图： 调…...

编程日记 2025/7/23 17:08:17

基于无线传感器网络的无线光照强度采集系统（附详细使用教程+完整代码+原理图+完整课设报告）

🎊项目专栏：【Zigbee课程设计系列文章】（附详细使用教程完整代码原理图完整课设报告） 前言 👑由于无线传感器网络（也即是Zigbee）作为🌐物联网工程的一门必修专业课，具有…...

编程日记 2025/7/23 17:08:18

单元测试中创建多个线程测试 ThreadLocal

单元测试中创建多个线程测试 ThreadLocal 在单元测试中，可以通过以下方式创建多个线程来测试 ThreadLocal 的行为。目标验证 ThreadLocal 在多线程环境下是否能正确隔离每个线程的数据。实现步骤定义需要测试的类包含 ThreadLocal 对象的类，提供…...

编程日记 2025/7/22 21:35:45

【 Sonarqube】可视化Java项目单元测试覆盖率统计框架搭建

一、项目背景： 一个小公司的朋友反应他们那边Java项目单元测试有，但还没有可视化统计覆盖率数据，没法统计就不能直观的看到单测的覆盖率，Java的覆盖率统计框架还是比较成熟，部署起来也不是很难，下面我们逐…...

编程日记 2025/7/20 1:30:50

安装CentOS 1. 安装虚拟机 1.1下载虚拟机软件 VMware(VMware by Broadcom - Cloud Computing for the Enterprise) 我们使用的是VMware Workstation VirtualBox(Downloads – Oracle VirtualBox) 如果使用的是Windows系统，下载带for Windows hosts的版本 1.2…...

编程日记 2025/7/22 19:01:11

一起来看--红黑树

【欢迎关注编码小哥，学习更多实用的编程方法和技巧】红黑树是一种自平衡的二叉搜索树，广泛应用于计算机科学中，尤其是在实现关联数组和集合时。它的设计旨在确保在最坏情况下，基本动态集合操作（如插入、删除和查找&am…...

编程日记 2025/7/23 3:23:32

【Hackthebox 中英 Write-Up】通过 POST 请求绕过前端限制：基于 Cookie 的认证与数据提取实操指南

Bypassing Frontend Restrictions with POST Requests: A Practical Guide to Cookie-Based Authentication and Data Extraction 通过 POST 请求绕过前端限制 Objective | 目标 The purpose of this exercise is to understand how POST requests work and how to authentica…...

编程日记 2025/7/19 1:23:41

comctl32.dll没有被指定在window运行怎么解决？

一、文件丢失问题：comctl32.dll没有被指定在Windows上运行怎么解决？ comctl32.dll是Windows操作系统中的一个重要组件，它负责提供用户界面元素，如按钮、对话框和列表视图等。当系统提示“comctl32.dll没有被指定在Windows上运行”…...

编程日记 2025/7/20 23:56:10

EC-Final 2024游记

长篇流水账预警 Day -？ 某天上乒乓课时看到懋神群里了我们队问有时间打ec吗，才知道我们最终还是进ec了，也成为了我们学校唯一一支没有金牌的ec队伍，然而此时整个队伍板子都扔了，一个多月没做过题，我脑子就…...

编程日记 2025/7/21 8:34:31

我的Opencv

1.安装Opencv pip install opencv-python 2.读取图像 3.写图像 4. 显示图像 5.waitKey() 6.读视频并播放视频 7.写视频 8. 获取摄像头视频 9.色彩转换 # BGR to GRAY imgGRAY cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # BGR to RGB imgRGB cv2.cvtColor(img, cv2.COLOR_…...

编程日记 2025/7/23 1:45:41

Pandas-缺失数据处理

文章目录一. 简介1. 缺失数据简介2. NaN简介① 查看NaN，NAN，nan② 两个NaN也不相等③ isnull/isna方法④ notnull/notna 二. 加载缺失值1. 来源2. 加载数据，不包含默认缺失值3.加载数据，手动指定缺失值三.处理缺失值1. 加载数据…...

编程日记 2025/7/21 19:25:50

windows编译llama.cpp GPU版本

Build 指南 https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md 一、Prerequire 具体步骤（以及遇到的坑）： 如果你要使用CUDA，请确保已安装。 1.安装最新的 cmake, git, anaconda， pip 配置pyt…...

编程日记 2025/7/21 22:23:38

绝美的数据处理图-三坐标轴-散点图-堆叠图-数据可视化图

clc clear close all %% 读取数据 load(MyColor.mat) %读取颜色包for iloop 1:25 %提取工作表数据data0(iloop) {readtable(data.xlsx,sheet,iloop)}; end%% 解析数据 countzeros(23,14); for iloop 1:25index(iloop) { cell2mat(table2array(data0{1,iloop}(1,1)))};data(i…...

编程日记 2025/7/18 20:02:48

计算机网络500题2024-2025学年度第一学期复习题库（选择、判断、填空）

一、单选题 1、（ ）是实现两个同种网络互连的设备 A. 网桥 B. 网关 C. 集线器 D. 路由器 2、10M以太网有三种接口标准，其中10BASE-T采用（ ） A. 双绞线 B. 粗同轴电缆 C. 细同轴电缆 D. 光纤 3、HDLC是哪…...

编程日记 2025/7/15 11:38:12

python学opencv|读取图像（二十二）使用cv2.polylines()绘制多边形

【1】引言前序学习进程中，已经掌握了使用pythonopencv绘制线段、矩形和圆形的基本操作，相关链接包括且不限于： python学opencv|读取图像（十八）使用cv2.line创造线段-CSDN博客 python学opencv|读取图像（…...

编程日记 2025/7/21 15:54:23

skywalking配置项indexReplicasNumber不生效问题

indexReplicasNumber: 的配置原来是 indexReplicasNumber: ${SW_STORAGE_ES_INDEX_REPLICAS_NUMBER:0}， 修改为 indexReplicasNumber: ${SW_STORAGE_ES_INDEX_REPLICAS_NUMBER:1} 但从es查询索引显示的副本数还是0，删除es中的数据，重启sk…...

编程日记 2025/7/13 1:23:07

2024年终回顾

前言很久没有更新博客，因为工作内容主要是内场开发，后来有点和互联网脱轨，断断续续上来看一下。这个总结应该也很简单，涉及以下的几个内容进行逐一说明一、就业问题这个问题可能很尖锐，从大环境来说，去…...

编程日记 2025/7/20 8:39:18

【深度学习】卷积网络代码实战ResNet

ResNet (Residual Network) 是由微软研究院的何凯明等人在2015年提出的一种深度卷积神经网络结构。ResNet的设计目标是解决深层网络训练中的梯度消失和梯度爆炸问题，进一步提高网络的表现。下面是一个ResNet模型实现，使用PyTorch框架来展示如何实现基本的…...

编程日记 2025/7/23 13:30:36

算法基础一：冒泡排序

一、冒泡排序 1、定义冒泡排序（英语：Bubble Sort）是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序（如从大到小、首字母从A到Z）错误就把他们交换过来。 …...

编程日记 2025/7/22 9:21:56

第 29 章 - ES 源码篇 - 网络 IO 模型及其实现概述

前言本文介绍了 ES 使用的网络模型，并介绍 transport，http 接收、响应请求的代码入口。网络 IO 模型 Node 在初始化的时候，会创建网络模块。网络模块会加载 Netty4Plugin plugin。而后由 Netty4Plugin 创建对应的 transports&#xff0…...

编程日记 2025/7/19 22:53:43

工作流引擎之Flowable

一、概述 Flowable是一个使用Java编写的轻量级业务流程引擎，专为处理复杂业务流程而设计。作为业务流程管理（BPM）领域的重要工具，Flowable不仅支持BPMN 2.0标准的流程定义，还提供了丰富的API接口和可视化工具&#xf…...

编程日记 2025/7/21 17:16:40

学习threejs，THREE.CircleGeometry 二维平面圆形几何体

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：threejs gis工程师文章目录一、🍀前言1.1 ☘️THREE.CircleGeometry 圆形…...

编程日记 2025/7/19 13:41:15

网络编程UDP—socket实现（C++）

网络编程UDP—socket实现前言UDP客户端和服务端UDP使用场景UDP socket C代码示例服务端接收数据示例（bindrecvfrom 阻塞式接收信息）：bind 绑定-监听函数为什么一般都是监听所有网络接口呢？为什么需要用inet_addr进行转换&#x…...

编程日记 2025/7/20 1:25:38

个人用途虚拟机VM 17安装Ubuntu 16.04.5 图解

1.安装环境软件准备工作 1）下载免费版VMware Pro 17 https://softwareupdate.vmware.com/cds/vmw-desktop/ws/17.6.1/24319023/windows/core/VMware-workstation-17.6.1-24319023.exe.tar 2）Ubuntu 16.04.5 LTS 64位 64-bit PC (AMD64) desktop imag…...

编程日记 2025/7/19 4:52:07

音视频入门基础：MPEG2-TS专题（23）——通过FFprobe显示TS流每个packet的信息

音视频入门基础：MPEG2-TS专题系列文章： 音视频入门基础：MPEG2-TS专题（1）——MPEG2-TS官方文档下载音视频入门基础：MPEG2-TS专题（2）——使用FFmpeg命令生成ts文件音视频入门基础…...

编程日记 2025/7/20 19:25:19

安卓project级别build.gradle和主module的build.gradle

以穿山甲为例讲解如下图 gradle和gradle插件对应关系 Android Gradle 插件 8.7 版本说明 | Android Studio | Android Developers gradle对应在项目里的配置为 gradle插件对应的位置为...

编程日记 2025/7/3 2:22:26

【Qt】多元素控件：QListWidget、QTableWidget、QTreeWidget

目录 QListWidget 核心属性： 核心方法： 核心信号： 例子： QListWidgetItem QTableWidget 核心方法： 核心信号 QTableWidgetItem 例子： QTreeWidget 核心方法： 核心信号&#xff1a…...

编程日记 2025/7/18 20:34:49

服务器nfs文件共享

1. 配置 NFS 服务器（NFS Server）在 Ubuntu/Debian 上： sudo apt update sudo apt install nfs-kernel-server在 CentOS/RHEL 上： sudo yum install nfs-utils1.2 创建共享目录选择一个要共享的目录，并确保该目录的权限正确设置。例如，假设我们要共享 /srv/nfs 目录…...

编程日记 2025/7/17 7:47:10

【hackmyvm】soul靶机wp

tags: HMVrbash绕过图片隐写PHP配置解析 1. 基本信息^toc 文章目录 1. 基本信息^toc2. 信息收集3. 图片解密3.1. 爆破用户名3.2. 绕过rbash3.3. 提权检测 4. 获取webshell4.1. 修改php配置 5. www-data提权gabriel6. gabriel提取到Peter7. Peter提权root 靶机链接 https://ha…...

编程日记 2025/7/18 10:32:06

安装winserver2008R2虚拟机步骤

一、服务器系统介绍 1.1什么是服务器？ 服务器英文名称为“Server”，指的是网络环境下为客户机(Client)提供某种服务的专用计算机，服务器安装有网络操作系统(如Windows 2000 Server、Linux、Unix等)和各种服务器应用系统软件(如Web服务、电子…...

编程日记 2025/7/20 20:17:59

跟着 8.6k Star 的开源数据库，搞 RAG！

过去 9 年里，HelloGitHub 月刊累计收录了 3000 多个开源项目。然而，随着项目数量的增加，不少用户反馈：“搜索功能不好用，找不到想要的项目！” 这让我意识到，仅仅收录项目是不够的，还…...

编程日记 2025/7/21 16:32:35

RCE漏洞

一、课程知识点 1、远程代码执行漏洞原理与利用 2、常见的代码执行函数 3、常见的命令执行函数 4、常见的绕过姿势 5、命令执行漏洞防范二、技术目标 1、掌握命令执行漏洞的原理 2、掌握 PHP 命令执行和代码执行的相关函数 3、掌握常见的绕过姿势 4、掌握代码执行漏洞防御措施…...

编程日记 2025/7/16 21:20:45

数据通信系统的主要性能指标

1.码元速率 n 误码率 2.数据传输速率 n 误比特率 3.时延 n 往返时间 RTT 1. 码元速率 n 码元 ( Code element) n 码元是数字信号的计量单位 （ Signal element ）， 又称为符号（ Symbol ）。 n 码元是指在使用时域表示…...

编程日记 2025/7/20 5:02:40

C语言中的贪心算法

贪心算法（Greedy Algorithm）是一种在每一步选择中都采取当前最优解的算法，希望通过局部最优解的选择，最终得到全局最优解。它常用于解决最优化问题，如最小生成树、最短路径等。本文将从理论到实践，逐步引导…...

编程日记 2025/7/18 9:59:40

使用envoyfilter添加请求头

该envoyfilter实现了这样一个功能，如果请求头中含有Sw8，则添加请求头HasSw8: true。 1. 内嵌lua脚本 apiVersion: networking.istio.io/v1alpha3 kind: EnvoyFilter metadata:name: add-header-filternamespace: demo-bookinfo # 可根据实际情况调整命…...

编程日记 2025/7/22 6:13:14

【机器学习】回归

文章目录 1. 如何训练回归问题2. 泛化能力3. 误差来源4. 正则化5. 交叉验证 1. 如何训练回归问题第一步：定义模型线性模型： y ^ b ∑ j w j x j \hat{y} b \sum_{j} w_j x_j y^b∑jwjxj 其中，( w ) 是权重，( b )…...

编程日记 2025/7/18 7:27:34

Elasticsearch名词解释

文章目录 1.什么是Elasticsearch?2.什么是elastic stack(ELK)?3.什么是Lucene?4.什么是文档(document)？5.什么是词条(term)？6.什么是正向索引？7.什么是倒排索引？8.ES中的索引(index)9.映射(Mapping)10.DSL11.elastcisearch与my…...

编程日记 2025/7/19 1:13:07

把Huggingface下载的arrow数据集转化为json格式

Arrow2json 使用默认的Huggingface路径以allenai/tulu-3-sft-mixture数据集为例。使用load_dataset即可： from datasets import load_dataset# 加载数据集 dataset load_dataset("allenai/tulu-3-sft-mixture")# 指定保存路径 output_dir "~/…...

编程日记 2025/7/19 13:55:28

手机联系人查询添加操作

Android——添加联系人_android 添加联系人-CSDN博客上面连接添加联系人已测试是可以 Android : 获取、添加、手机联系人-ContentResolver简单应用_contentresolver 添加联系人-CSDN博客...

编程日记 2025/7/1 1:13:25

kkFileView集成springboot：使用自定义预览接口（非minio预览接口），发现无法预览资源

目录 1、背景2、原因分析3、解决办法 1、背景按照项目验收要求，需要对minio中存储的数据进行加密之前提供给kkFileView的预览地址都是获取的minio预览地址由于minio中的资源进行了加密处理，所以我们自定义预览接口（进行解密操作&#xff…...

编程日记 2025/7/22 19:09:03

C++ 设计模式：观察者模式（Observer Pattern）

链接：C 设计模式链接：C 设计模式 - 模板方法链接：C 设计模式 - 策略模式观察者模式（Observer Pattern）是一种行为设计模式，它定义了一种一对多的依赖关系，让多个观察者对象同时监听某一个主…...

编程日记 2025/7/23 10:08:27

Mono 和 IL2Cpp的区别

Mono特征: 标准项目中有Assembly-CSharp.dll , 但在更复杂的项目或特定配置中,可能会有其他.dll或结构变更在游戏的数据目录下看到一系列的.dll文件,这些文件的语言一般为中间语言 CE附加 , 查看是否有Mono.dll相关模块目录有MonoBleedingEdge文件夹 IL2Cpp 标准项目应该…...

编程日记 2025/7/20 14:02:21

目录

前言

1. 地址空间上的内存使用情况

2. 页缓存合并内存的代码实现

3. 总结以及对代码的拓展

相关文章：