当前位置：首页 > news >正文

高并发内存池（前言介绍）

news 来源：原创 2025/8/29 0:39:46

高并发内存池项目介绍

- - - 1.项目介绍
    - 2.项目的知识储备要求
    - 3.了解池化技术及内存池
    - 4.本次项目中内存池解决的问题
    - 5.malloc

1.项目介绍

此项目是实现一个高并发的内存池，它的原型是google的一个开源项目tcmalloc，tcmalloc全程Thread-Caching Malloc，即线程缓存的malloc，实现了高效的多线程内存管理，用于替代系统的内存分配相关的函数（malloc、free）。

此项目是将tcmalloc的核心框架简化后拿出来，模拟实现出一个自己的高并发内存池，目的就是学习tcmalloc的精华，也是博主在学校学习中能力提升的关键项目。

tcmalloc源码

2.项目的知识储备要求

项目涉及到C/C++、数据结构（链表、哈希桶）、操作系统内存管理、单例模式、多线程、互斥锁等等方面的知识。虽然难入也是有的，但是我们学习了这么久是时候检验一下成果了。

3.了解池化技术及内存池

1.池化技术
池化技术（Pooling）是一种资源管理策略，通过预先创建并维护一组可复用的资源（如数据库连接、线程、内存块等），在需要时快速分配，使用后回收而非销毁，以提高系统性能和资源利用率。
核心思想
资源复用：避免频繁创建和销毁资源，减少开销。
统一管理：集中控制资源分配，防止资源耗尽或浪费。
提升性能：减少初始化时间，提高响应速度。

常见应用
数据库连接池（如 HikariCP、Druid）
线程池（如 Java 的 ThreadPoolExecutor）
对象池（如 Apache Commons Pool）
HTTP 连接池（如 OkHttp 的连接池）
内存池（如 C++ 的 Boost.Pool）

主要优势
✅ 高性能：减少资源创建和销毁的开销。
✅ 稳定性：防止资源耗尽导致系统崩溃。
✅ 可扩展性：动态调整池大小以适应负载变化。
✅ 可控性：限制最大资源使用，避免过载。

池化技术广泛应用于高并发系统、数据库访问、网络通信等场景，是优化系统性能的重要手段之一。

2.内存池(Memory pool)
内存池是一种高效的内存管理技术，通过预先分配并管理一块连续的内存空间，避免频繁调用系统级内存分配（如 malloc/free 或 new/delete），从而提升内存分配速度和减少内存碎片。

核心特点
预分配机制：启动时申请大块内存，运行时按需分配小块。
快速分配：直接从池中获取内存，减少系统调用开销。
减少碎片：固定大小或分级管理，降低内存碎片化。
可控性强：可限制总内存使用，防止内存泄漏或溢出。

典型应用
高性能服务器（如 Nginx、Redis）
游戏引擎（如 Unity、Unreal 的对象池）
嵌入式系统（资源受限环境）
C/C++ 程序优化（替代传统动态内存管理）
内存池技术能显著提升程序性能，尤其适用于频繁申请/释放内存的场景。

4.本次项目中内存池解决的问题

在上面有介绍到内存池的典型应用，这里我们使用内存池就是用来做C/C++的程序优化。其次这里在系统内存分配的角度，还需要解决一下内存碎片的问题。那么什么是内存碎片呢？

在这里插入图片描述

5.malloc

C/C++中我们要动态申请内存都是通过malloc去申请内存，但是我们要知道，实际我们不是直接去堆获取内存的，而是malloc就是⼀个内存池。malloc()相当于向操作系统“批发”了⼀块较大的内存空间，然后“零售”给程序用。当全部“售完”或程序有⼤量的内存需求时，再根据实际需求向操作系统“进货”。malloc的实现方式有很多种，⼀般不同编译器平台用的都是不同的。比如windows的vs系列用的微软自己写的⼀套，Linux下gcc⽤的glibc中的ptmalloc。
在这里插入图片描述