当前位置：首页 > news >正文

【从零实现高并发内存池】申请、释放内存过程联调测试与大于256KB内存申请全攻略

news 来源：原创 2025/8/16 17:49:45

📢博客主页：https://blog.csdn.net/2301_779549673
📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson
📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
📢本文由 JohnKi 原创，首发于 CSDN🙉
📢未来很长，值得我们全力奔赴更美好的生活✨

在这里插入图片描述

文章目录

🏳️‍🌈一、申请内存过程联调测试
🏳️‍🌈二、释放内存过程联调测试
🏳️‍🌈三、大于256KB内存申请
👥总结

11111111
11111111
11111111
11111111
**** 11111111

测试代码

void TestConcurrentAlloc1() {void* p1 = ConcurrentAlloc(6);void* p2 = ConcurrentAlloc(8);void* p3 = ConcurrentAlloc(1);void* p4 = ConcurrentAlloc(7);void* p5 = ConcurrentAlloc(8);cout << p1 << endl;cout << p2 << endl;cout << p3 << endl;cout << p4 << endl;cout << p5 << endl;ConcurrentFree(p1, 6);ConcurrentFree(p2, 8);ConcurrentFree(p3, 1);ConcurrentFree(p4, 7);ConcurrentFree(p5, 8);
}

🏳️‍🌈一、申请内存过程联调测试

此处进行调试，我们需要调用封装的申请内存函数 ConcurrentAlloc()。每个线程第一次调用该函数都会通过TLS获取到自己专属的thread cache对象，然后每个线程就可以通过自己对应的thread cache申请对象了。

static void* ConcurrentAlloc(size_t size)
{// 通过TLS 每个线程无锁的获取自己的专属的ThreadCache对象if (pTLSThreadCache == nullptr){pTLSThreadCache = new ThreadCache;}cout << std::this_thread::get_id() << ":" << pTLSThreadCache << endl;return pTLSThreadCache->Allocate(size);
}

当线程第一次申请内存时，需要通过TLS获取到自己专属的thread cache对象，然后通过thread cache对象进行内存申请。

在这里插入图片描述

我们第一个申请的内存大小是 6字节 经过 内存对齐 和 索引查找 后， 最后得到的结果是需要向0号桶中申请8字节的内存

在这里插入图片描述

之后我们会进入慢反馈环节，先计算要向 central cache 申请多少个对象，因为这是第一次申请，所以只需要一个8字节对象

这里需要注意一点

然后满反馈环节发力，下一次申请 2 个对象，在下次申请 3 个，一直到512 个对象为止。 就比如说，我们这里依次创建在0号桶中创建了5个对象（这5个对象的大小都不超过8字节），按 1 + 2 + 3来说，我们就一共申请到了 6 个 8字节的内存块，所以，当我们释放空间回自由链表的时候，0号桶中还剩余1个内存块

在这里插入图片描述

在thread cache向central cache申请对象之前，需要先将central cache的0号桶的锁加上，然后再从该桶获取一个非空的span。

在这里插入图片描述

在 central cache 的第0号桶获取非空span时，先遍历对应的span双链表，看看有没有非空的span，但此时肯定是没有的，只能找 page cache 要

此时 central cache 就需要向 page cache 申请内存了，但在此之前需要先把central cache第0号桶的锁解掉，然后再将page cache的大锁给加上，之后才能向page cache申请内存。

在这里插入图片描述

在向 page cache 申请内存时，由于 central cache 一次给 thread cache 8字节对象的上限是512，对应就需要4096字节，所需字节数不足一页就按一页算，所以这里central cache就需要向page cache申请一页的内存块。

在这里插入图片描述

此时page cache的第1个桶以及之后的桶当中都是没有span的，因此page cache需要直接向堆申请一个128页的span。

在这里插入图片描述

而 page cache 向对申请内存的途径就是利用库函数了

在这里插入图片描述

这之后我们就可以观察到，申请到了128页的内存块

在这里插入图片描述

这里的 _PAGEID 的算法可以演示一下，其实就是得到的内存块地址除上 8K 的大小

在这里插入图片描述

然后我们将这个 128页直接挂在 pagecache 上，虽然页数为 1 的哈希桶中依然没有内存，但是在页数为 128 的桶中，有刚刚挂上的新内存条

在这里插入图片描述

此时我们就可以把这个128页的span拿出来，切分成1页的span和127页的span，将1页的span返回给central cache，而把127页的span挂到page cache的第127号桶即可。

在这里插入图片描述

从page cache返回后，就可以把page cache的大锁解掉了，但紧接着还要将获取到的1页的span进行切分，因此这里没有立刻重新加上central cache对应的桶锁。

在这里插入图片描述

在进行切分的时候，先通过该span的起始页号得到该span的起始地址，然后通过该span的页数得到该span所管理内存块的总的字节数。

在这里插入图片描述

在确定内存块的开始和结束后，就可以将其切分成一个个8字节大小的对象挂到该span的自由链表中了。在调试过程中通过内存监视窗口可以看到，切分出来的每个8字节大小的对象的前四个字节存储的都是下一个8字节对象的起始地址。

在这里插入图片描述

当切分结束后再开启central cache第0号桶的桶锁，然后将这个切好的span插入到central cache的第0号桶中，最后再将这个非空的span返回，此时就获取到了一个非空的span，并且这个 span 中每 8字节都会有连接

在这里插入图片描述

由于thread cache只向central cache申请了一个对象，因此拿到这个非空的span后，直接从这个span里面取出一个对象即可，此时该span的_useCount也由0变成了1。

由于此时thread cache实际只向central cache申请到了一个对象，因此直接将这个对象返回给线程即可。

在这里插入图片描述
然后 p2 申请内存就会申请 2 个对象，在p4申请时又会申请3个对象，以此类推

🏳️‍🌈二、释放内存过程联调测试

刚刚申请完了5个8字节内存，现在将他们释放看看。

调用 thread cache 的 deallocate 方法

在这里插入图片描述

此时可以看到当我们将第一块内存返回到自由链表时，0号自由链表内的8字节内存块有2块，其中一块是刚刚还回来，另一块是之前p4申请时剩下的那一块

在这里插入图片描述

所以得一直到p3释放时，才会进入将 自由链表内的过长内存块 还给 central cache 的情况

在这里插入图片描述

thread cache先是将第0号桶当中的对象弹出MaxSize个，在这里实际上就是全部弹出，此时该自由链表_size的值变为0，然后继续调用central cache当中的ReleaseListToSpans函数，将这三个对象还给central cache当中对应的span。

在这里插入图片描述

在进入central cache 的第0号桶还对象之前，先把第0号桶对应的桶锁加上，然后通过查page cache中的映射表找到其对应的span，最后将这个对象头插到该span的自由链表中，并将该span的_useCount进行–。当第一个对象还给其对应的span时，可以看到该span的_useCount减到了2。

在这里插入图片描述 > 由于我们只进行了 5 次对象申请，并且这些对象大小对齐后大小都是8字节，因此我们申请一个span里的6个块。当我们将这三个对象都还给这个span时，以及多出的那个=一个，该span的_useCount就减为了2。

但是现在这种情况无法返回给 page cahce，我们需要一个完整的span吗，也就是userCount 为 0 的才可以。于是我们将创建5 个内存块变成创建 3 个内存块

现在 central cache 就需要将这个 span 进一步还给 page cache，而在将该span交给page cache之前，会将该span的自由链表以及前后指针都置空。并且在进入page cache之前会先将central cache第0号桶的桶锁解掉，然后再加上page cache的大锁，之后才能进入page cache进行相关操作。

在这里插入图片描述

由于这个一页的span是从128页的span的头部切下来的，在向前合并时由于前面的页还未向系统申请，因此在查映射关系时是无法找到的，此时直接停止了向前合并。同理，在向后合并时由于后面的页还未向系统申请，因此在查映射关系时是无法找到的，此时直接停止了向后合并

将这个1页的span插入到第1号桶，然后建立该span与其首尾页的映射，便于下次被用于合并，最后再将该span的状态设置为未被使用的状态即可。

在这里插入图片描述

🏳️‍🌈三、大于256KB内存申请

前面说到，每个线程的thread cache是用于申请小于等于256KB的内存的，而对于大于256KB的内存，我们可以考虑直接向page cache申请，但page cache中最大的页也就只有128页，因此如果是大于128页的内存申请，就只能直接向堆申请了

在这里插入图片描述
注意：当申请的内存大于256KB时，虽然不是从thread cache进行获取，但在分配内存时也是需要进行向上对齐的，对于大于256KB的内存我们可以直接按页进行对齐。

		// 计算对齐后的内存大小static inline size_t RoundUp(size_t size) {if (size <= 128) {return _RoundUp(size, 8); // 对齐到 8 字节}else if (size <= 1024) {return _RoundUp(size, 16); // 对齐到 16 字节}else if (size <= 8 * 1024) {return _RoundUp(size, 128); // 对齐到 128 字节}else if (size <= 64 * 1024) {return _RoundUp(size, 1024);}else if (size <= 256 * 1024) {return _RoundUp(size, 8 * 1024);}else {return _RoundUp(size, 1 << PAGE_SHIFT);}}

对于之前的申请对象的逻辑就需要进行修改了，当申请对象的大小大于256KB时，就不用向thread cache申请了，这时先计算出按页对齐后实际需要申请的页数，然后通过调用NewSpan申请指定页数的span即可。

static void* ConcurrentAlloc(size_t size)
{if (size > MAX_BYTES) {size_t alignSize = SizeClass::RoundUp(size);size_t kpage = alignSize >> PAGE_SHIFT;PageCache::GetInstance()->_pageMtx.lock();Span* span = PageCache::GetInstance()->NewSpan(kpage);PageCache::GetInstance()->_pageMtx.unlock();void* ptr = (void*)(span->_PAGEID << PAGE_SHIFT);return ptr;}// 通过TLS 每个线程无锁的获取自己的专属的ThreadCache对象if (pTLSThreadCache == nullptr){pTLSThreadCache = new ThreadCache;}cout << std::this_thread::get_id() << ":" << pTLSThreadCache << endl;return pTLSThreadCache->Allocate(size);
}

也就是说，申请大于256KB的内存时，会直接调用page cache当中的NewSpan函数进行申请 ，因此这里我们需要再对NewSpan函数进行改造，当需要申请的内存页数大于128页时，就直接向堆申请对应页数的内存块。而如果申请的内存页数是小于128页的，那就在page cache中进行申请，因此当申请大于256KB的内存调用NewSpan函数时也是需要加锁的，因为我们可能是在page cache中进行申请的。

// 获取一个 k 页的 span
Span* PageCache::NewSpan(size_t k) {assert(k > 0);if (k > NPAGES - 1) {void* ptr = SystemAlloc(k);Span* span = new Span;span->_PAGEID = (PAGE_ID)ptr >> PAGE_SHIFT;span->_n = k;_idSpanMap[span->_PAGEID] = span;return span;}// 先检查第 k 个桶里面有没有 spanif (!_spanLists[k].Empty()) {Span* kSpan = _spanLists->PopFront();// 建立 页号 与 span 的映射关系，方便 central cache 回收小块内存查找对应的 spanfor (PAGE_ID i = 0; i < kSpan->_n; ++i) {_idSpanMap[kSpan->_PAGEID + i] = kSpan;}return kSpan;}// 检查一下后面的桶里面有没有 span，如果有可以把他进行切分for (size_t i = k + 1; i < NPAGES; ++i) {// 如果后面的桶里面有 span，这个 span 是肯定大于 k 页的if (!_spanLists[i].Empty()) {// 弹出第 i 个桶的第一个 spanSpan* nSpan = _spanLists[i].PopFront();// 进行切分，切分成一个 k 页的 span 和一个 i-k 页的 spanSpan* kSpan = new Span;kSpan->_PAGEID = nSpan->_PAGEID;kSpan->_n = k;nSpan->_PAGEID += k;nSpan->_n -= k;// 将剩余的代码挂到对应的映射位置上_spanLists[nSpan->_n].PushFront(nSpan);for (PAGE_ID i = 0; i < kSpan->_n; ++i) {_idSpanMap[kSpan->_PAGEID + i] = kSpan;}return kSpan;}}// 走到这个位置就说明后面没有大页的 span 了// 就需要去找堆要一个 128 页的 spanSpan* bigSpan = new Span;// 获取大块内存的起始地址// 假设此时 ptr 地址为 0x010e0000// 转换为 十进制 就是 17,694,720// 17,694,720 / （8 * 1024）= 2160// 所以新大内存块的页号就是 2160void* ptr = SystemAlloc(NPAGES - 1);bigSpan->_PAGEID = (PAGE_ID)ptr >> PAGE_SHIFT;bigSpan->_n = NPAGES - 1;_spanLists[bigSpan->_n].PushFront(bigSpan);return NewSpan(k);
}

因此当释放对象时，我们需要先找到该对象对应的span，但是在释放对象时我们只知道该对象的起始地址。这也就是我们在申请大于256KB的内存时，也要给申请到的内存建立span结构，并建立起始页号与该span之间的映射关系的原因。此时我们就可以通过释放对象的起始地址计算出起始页号，进而通过页号找到该对象对应的span。

// 在堆上释放空间
inline static void SystemFree(void* ptr)
{#ifdef _WIN32VirtualFree(ptr, 0, MEM_RELEASE);#else// linux下brk mmap等#endif
}static void ConcurrentFree(void* ptr, size_t size){if (size > MAX_BYTES) {Span* span = PageCache::GetInstance()->MapObjectToSpan(ptr);PageCache::GetInstance()->_pageMtx.lock();PageCache::GetInstance()->ReleaseSpanToPageCache(span);PageCache::GetInstance()->_pageMtx.unlock();}else {assert(pTLSThreadCache);pTLSThreadCache->Deallocate(ptr, size);}
}

因此page cache在回收span时也需要进行判断，t>如果该span的大小是小于等于128页的，那么直接还给page cache就行了，page cache会尝试对其进行合并</fon。而如果该span的大小是大于128页的，那么说明该span是直接向堆申请的，我们直接将这块内存释放给堆，然后将这个span结构进行delete就行了。

void PageCache::ReleaseSpanToPageCache(Span* span) {// 大于 128 page 的直接向堆申请内存，直接释放if (span->_n > NPAGES - 1) {void* ptr = (void*)(span->_PAGEID << PAGE_SHIFT);SystemFree(ptr);delete span;return;}

👥总结

本篇博文对 【从零实现高并发内存池】申请、释放内存过程联调测试与大于256KB内存申请全攻略 做了一个较为详细的介绍，不知道对你有没有帮助呢

觉得博主写得还不错的三连支持下吧！会继续努力的~

【从零实现高并发内存池】申请、释放内存过程联调测试与大于256KB内存申请全攻略

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/8/16 17:49:45

element-plus添加暗黑模式

main.ts文件 //引入暗黑模式样式 import "element-plus/theme-chalk/dark/css-vars.css"; style.scss文件 // 设置默认主题色 :root {--base-menu-min-width: 80px;--el-color-primary-light-5: green !important;--route--view--background-color: #fff !import…...

编程日记 2025/8/15 8:24:47

第八周作业

1、使用Sqlmap工具完成对DVWA数据库的注入过程，要求按照库、表、列、内容的顺序进行注入使用kali自带的sqlmap工具进行 (1)爆破库名 sqlmap -u "http://10.0.0.5:8080/vulnerabilities/sqli/?id1&SubmitSubmit#" -p id --cookie "PHPSESSID…...

编程日记 2025/8/14 22:50:42

工作督导 | 具有边缘型人格障碍倾向的高危来访者，咨询师如何应对？

一个学校心理中心，可能同时有几十位乃至数百位同学在接受咨询，其中大约10-20%是重点难点个案，一次督导如果只能督导1-2个个案，不足以保障所有危重难个案的有如何处理恰当、方向正确、快速解决、高效工作，是学校心理咨询…...

编程日记 2025/8/10 23:48:54

c++ map与unordered_map的比较

c map与unordered_map的比较在c的STL库中，有map与unordered_map这两种名字十分相似的容器，但是他们的区别还是很大，下面我们从底层实现、性能特性和适用场景进行逐一比较底层实现 std::mapstd::unordered_map底层数据结构红黑树&…...

编程日记 2025/8/5 16:53:54

新手蓝桥杯冲击国一练习题单(四)

2025蓝桥杯省赛已结束，接下来是冲击国赛的时间此题单为算法基础精选题单，包含蓝桥杯常考考点以及各种经典算法，可以帮助你打牢基础，查漏补缺。本题单目标是冲击蓝桥杯省一国一，团体程序天梯赛个人国三、XCPC区域赛铜…...

编程日记 2025/8/5 16:53:52

PyTorch深度学习框架60天进阶学习计划 - 第45天：神经架构搜索（一）

PyTorch深度学习框架60天进阶学习计划 - 第45天：神经架构搜索（一） 第一部分：详解DARTS的可微分搜索空间大家好！欢迎来到我们PyTorch深度学习框架进阶学习计划的第45天。今天我们将深入探讨神经架构搜索(Neural Arch…...

编程日记 2025/8/16 1:37:49

【java 13天进阶Day04】常用API、正则表达式，泛型、Collection集合API

Math类的使用。 Math用于做数学运算。Math类中的方法全部是静态方法，直接用类名调用即可。方法： public static int abs(int a) 获取参数a的绝对值public static double ceil(double a) 向上取整public static double floor(double a) 向下取整public s…...

编程日记 2025/8/11 5:25:42

leetcode 309. Best Time to Buy and Sell Stock with Cooldown

目录题目描述第一步，明确并理解dp数组及下标的含义第二步，分析并理解递推公式 1.求dp[i][0] 2.求dp[i][1] 3.求dp[i][2] 第三步，理解dp数组如何初始化第四步，理解遍历顺序代码题目描述这道题与第122题的区别就是卖…...

编程日记 2025/8/11 6:47:12

RAG 实战｜用 StarRocks + DeepSeek 构建智能问答与企业知识库

文章作者： 石强，镜舟科技解决方案架构师赵恒，StarRocks TSC Member 👉 加入 StarRocks x AI 技术讨论社区 https://mp.weixin.qq.com/s/61WKxjHiB-pIwdItbRPnPA RAG 和向量索引简介 RAG（Retrieval-Augmented Gen…...

编程日记 2025/8/15 9:55:27

Java拼团项目

一些记录环境配置首先是把配置安装好，jdk1.8，maven3.8.8，docker，idea，脚手架然后创建工程，通过小傅哥的脚手架从远程把一些包，依赖拉过来然后在gitcode上边创建仓库，把代码提交…...

编程日记 2025/8/14 22:01:58

力扣每日打卡 2364. 统计坏数对的数目 (中等)

力扣 2364. 统计坏数对的数目中等前言一、题目内容二、解题方法1. 哈希函数12. 哈希函数22.官方题解2.1 方法一：使用 sqrt 函数前言这是刷算法题的第十四天，用到的语言是JS 题目：力扣 2364. 统计坏数对的数目 (中等) 一、题目内容给你…...

编程日记 2025/8/15 12:01:22

R语言之.rdata文件保存及加载

在 R 中，.rdata 文件是通过 save() 函数创建的。使用 save() 函数可以将一个或多个 R 对象保存到 .rdata 文件中。使用 load() 函数可以将 .rdata 文件中的对象恢复到当前工作环境中。 1.创建并保存对象到.rdata 假设有一个基于 iris 数据集训练的线性回归模型&a…...

编程日记 2025/8/11 3:12:03

神经网络优化 - 小批量梯度下降之批量大小的选择

上一博文学习了小批量梯度下降在神经网络优化中的应用： 神经网络优化 - 小批量梯度下降-CSDN博客在小批量梯度下降法中，批量大小(Batch Size)对网络优化的影响也非常大，本文我们来学习如何选择小批量梯度下降的批量大小。一、批量大小的…...

编程日记 2025/8/12 16:23:01

开源AI守护每一杯------奶茶咖啡店视频安全系统的未来之力

连锁饮品奶茶咖啡店视频安全系统以开源AI技术为引擎，将后厨管理从“被动查漏”升级为“主动防控”，让消费者从“担心卫生”变为“放心下单”。解决方案亮点：技术驱动，全面防护 1. 实时监控与AI识别：秒级捕捉隐患亮…...

编程日记 2025/8/15 16:58:16

音视频元素

目录 HTMLMediaElement网络状态 (networkState)就绪状态 (readyState)错误代码 (error.code) video属性方法事件 audio HTMLMediaElement HTMLMediaElement 是 HTML5 中和元素的基类，定义了它们共享的属性、方法和事件。无论你使用的是音频还是视频元素&#xff0…...

编程日记 2025/8/10 20:11:28

音视频小白系统入门课-2

本系列笔记为博主学习李超老师课程的课堂笔记，仅供参阅课程传送门：音视频小白系统入门课音视频基础ffmpeg原理往期课程笔记传送门： 音视频小白系统入门笔记-0音视频小白系统入门笔记-1 课程实践代码仓库：传送门音视频编解…...

编程日记 2025/8/16 8:40:20

时序逻辑电路——序列检测器

文章目录一、序列检测二、牛客真题1. 输入序列连续的序列检测（输入连续、重叠、不含无关项、串行输入）写法一：移位寄存器写法二：Moore状态机写法三：Mealy状态机一、序列检测序列检测器指的就是将一个指定的序列&…...

编程日记 2025/8/13 1:21:49

#systemverilog# 进程控制问题#（八）关于#0 问题的使用（三）

今天，我们继续研究一下上一节讨论的问题。其实，还有一个小问题，我们来探讨一下。 `timescale 1ns/10psmodule tb_top(); reg clk; reg reset;initial begin reset = 0; #10 reset = 1; #15 reset = 0; #50 $finish; endinitial beginfor(int i = 0; i < 4 ; i++)fork #…...

编程日记 2025/8/15 15:32:38

k8s低版本1.15安装prometheus+grafana进行Spring boot数据采集

目录一、背景： 二、实施过程 1）.安装地址：https://github.com/prometheus-operator/kube-prometheus 2).安装方式两种， 3）.安装Prometheus需要对照k8s集群版本。 4）.拉去prometheus 5）.导…...

编程日记 2025/8/14 5:26:40

Spring-Ioc容器的加载过程？

大家好，我是锋哥。今天分享关于【SpringIoC的实现机制是什么？】面试题。希望对大家有帮助； Spring-Ioc容器的加载过程？ 1000道互联网大厂Java工程师精选面试题-Java资源分享网 Spring IoC容器的加载过程是指在应用启动时&…...

编程日记 2025/8/13 22:52:48

kaamel Privacy agent：AI赋能的隐私保护技术解决方案

智能隐私合规解决方案在当今数字经济环境下，有效的隐私合规已成为企业运营的基础要求。全球范围内已有超过120项隐私法规生效，这对企业的数据处理流程提出了严峻挑战。kaamel Privacy agent作为专门为隐私合规领域设计的AI引擎，通过自动化技…...

编程日记 2025/8/12 23:03:36

从零到上线！AI生成SpringBoot项目脚手架实战（含K8s+Docker配置）

在 Java 开发领域,搭建 Spring Boot 项目脚手架是一项耗时且繁琐的工作。传统方式下,开发者需要手动配置各种依赖、编写基础代码,过程中稍有疏忽就可能导致配置错误,影响开发进度。如今,随着 AI 技术的迅猛发展,飞算 JavaAI 的出现为开发者带来了全新解决方案,让自动生成 Sprin…...

编程日记 2025/8/13 12:40:28

VueRouter笔记

定义路由 import { createMemoryHistory, createRoute } from vue-router; import MyView1 from ./MyView1.vue; import MyView2 from ./MyView2.vue;const routes [{ path: /1, component: MyView1 },{ path: /2, component: MyView2 } ];const router createRouter({histo…...

编程日记 2025/8/12 19:50:27

文章目录

🏳️‍🌈一、申请内存过程联调测试

🏳️‍🌈二、释放内存过程联调测试

🏳️‍🌈三、大于256KB内存申请

👥总结

相关文章：