当前位置：首页 > news >正文

Java堆外内存的高效利用与性能优化

news 来源：原创 2025/5/14 18:33:40

在Java开发中，堆外内存（Direct Memory）是除Java堆以外的内存区域。它允许Java程序直接分配和管理非堆内存，这为高性能的数据处理提供了可能。

1、什么是堆外内存？

堆外内存，也称为直接内存（Direct Memory），是指在Java虚拟机（JVM）外部进行内存分配的区域。与堆内存不同，堆外内存不受JVM的垃圾回收机制管理，而是由操作系统直接管理。尽管如此，堆外内存仍然在Java进程内部，只是不通过JVM的堆进行分配和管理。

2、堆外内存有什么用？

提高I/O性能

堆外内存减少了数据在Native堆和JVM堆之间的拷贝过程，从而避免了拷贝损耗，提高了内存使用效率。对于需要频繁读写操作的场景，堆外内存能够显著提升性能。

优化垃圾回收

当堆内存过大时，垃圾回收的效率可能会降低，导致停顿时间增加。使用堆外内存可以减轻堆内存的负担，从而改善垃圾回收的效率。

实现零拷贝技术

某些情况下，堆外内存可以帮助实现零拷贝，即数据无需在用户空间和内核空间之间来回复制，直接从一个地方传输到另一个地方。

3、如何使用堆外内存？

Java NIO包中的java.nio.ByteBuffer类提供了一个叫做allocateDirect()的方法，用于分配堆外内存。以下是一个简单的例子

import java.nio.ByteBuffer;
public class DirectMemoryExample {public static void main(String[] args) {// 分配1024字节的堆外内存ByteBuffer directBuffer = ByteBuffer.allocateDirect(1024);// 使用后释放资源try {// 在这里使用directBuffer} finally {directBuffer.clear();}}
}

需要注意的是，一旦创建了堆外内存，它的生命周期就不受Java对象的生命周期限制，因此必须小心管理以避免内存泄漏。

4、有哪些问题要注意？

内存泄漏风险

如果未正确清理堆外内存，可能会导致内存泄漏。因为这些内存不会被Java的垃圾收集器自动回收。

有限的资源

堆外内存不是无限的，过度使用可能导致系统内存耗尽。

性能开销

虽然堆外内存有助于提高某些特定任务的性能，但频繁地分配和释放堆外内存可能会带来额外的性能开销。

5、适用场景有哪些？

高并发网络服务

如Nginx、Netty等，它们需要快速响应大量的网络请求。

大数据处理

如Hadoop、Spark等，它们需要高效地处理大规模数据集。

消息队列

如Kafka、RocketMQ等，它们利用堆外内存来优化消息的传递效率。

6、成熟的框架示例

Kafka中的堆外内存使用

Kafka广泛使用了MappedByteBuffer来进行文件映射操作，这允许它直接从磁盘读取数据到堆外内存中，而无需通过Java堆内存。下面是来自Kafka LogSegment 类的一个简化示例，展示了如何创建一个MappedByteBuffer

// LogSegment.java (simplified)
public class LogSegment {private final FileChannel fileChannel;private final MappedByteBuffer mappedBuffer;public LogSegment(File logDir, long baseOffset) throws IOException {// 创建一个新的文件通道，用于访问日志文件this.fileChannel = new RandomAccessFile(new File(logDir, "log"), "rw").getChannel();// 将文件的一部分映射到堆外内存this.mappedBuffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, fileSize);}// 关闭资源时释放映射的缓冲区public void close() throws IOException {if (mappedBuffer != null && mappedBuffer.isLoaded()) {// 强制刷新映射缓冲区到磁盘((DirectBuffer)mappedBuffer).cleaner().clean();}if (fileChannel != null) {fileChannel.close();}}
}

fileChannel.map() 方法用于将文件映射到堆外内存。

close() 方法确保当关闭资源时正确清理映射的堆外内存，避免内存泄漏。

RocketMQ中的堆外内存使用

RocketMQ利用了Netty框架来处理网络通信，而Netty内部大量使用了堆外内存以优化性能。下面是从RocketMQ的发送逻辑中提取出的一个简化版例子，展示了如何在发送消息时使用堆外内存

// SendMessageProcessor.java (simplified)
public class SendMessageProcessor {private final ChannelHandlerContext ctx; // Netty的ChannelHandlerContextpublic void sendMessage(MessageExt message) {ByteBuf byteBuf = null;try {// 分配堆外内存缓冲区byteBuf = ctx.alloc().directBuffer(message.getBody().length);// 将消息体写入堆外内存byteBuf.writeBytes(message.getBody());// 发送消息ctx.writeAndFlush(byteBuf);} catch (Exception e) {// 错误处理逻辑logger.error("Failed to send message", e);} finally {// 确保在异常情况下也能够释放资源if (byteBuf != null) {ReferenceCountUtil.release(byteBuf);}}}
}

ctx.alloc().directBuffer() 创建了一个指向堆外内存的ByteBuf对象。

ReferenceCountUtil.release(byteBuf) 用来确保在不再需要堆外内存的时候可以及时释放它，防止内存泄漏。

Java堆外内存的高效利用与性能优化

在Java开发中，堆外内存（Direct Memory）是除Java堆以外的内存区域。它允许Java程序直接分配和管理非堆内存，这为高性能的数据处理提供了可能。 1、什么是堆外内存？ 堆外内存，也称为直接内存（D…...

编程日记 2025/5/14 18:33:40

AI Agent有哪些痛点问题

AI Agent有哪些痛点问题目录 AI Agent有哪些痛点问题AI Agent领域有哪些知名的论文缺乏一个将智能多智能体技术和在真实环境中学习的两个适用流程结合起来的统一框架LLM的代理在量化和客观评估方面存在挑战自主代理在动态环境中学习、推理和驾驭不确定性存在挑战AI Agent领域有…...

编程日记 2025/5/6 3:14:42

It seems that the exfat-utils package is still unavailable, even after enabling the RPM Fusion repository. This could happen if the repository metadata hasn’t been updated or if the package isn’t directly available in the RPM Fusion repository for RHEL 8…...

编程日记 2025/5/5 23:59:42

C语言中常见关键字（static，extern）

一、static的使用主要是身体擦在C语言中，static关键字可以用于修饰全局变量和局部变量，但其作用不同。以下是详细的说明和示例： 1. static修饰全局变量当static用于修饰全局变量时，它会限制该变量的作用域，使其仅…...

编程日记 2025/5/14 10:00:47

游戏引擎学习第101天

回顾当前情况昨天的进度基本上完成了所有内容，但我们还没有进行调试。虽然我们在运行时做的事情大致上是对的，但还是存在一些可能或者确定的bug。正如昨天最后提到的，既然现在时间晚了，就不太适合开始调试，所以今天我…...

编程日记 2025/5/14 9:50:28

将Docker容器打包成镜像提交

前言 Docker 是一个开源软件，也是一个开放平台，用于开发应用、交付（shipping）应用、运行应用。 Docker允许用户将基础设施（Infrastructure）中的应用单独分割出来，形成更小的颗粒（容…...

编程日记 2025/5/12 10:19:30

JVM——堆的回收：引用计数发和可达性分析法、五种对象引用

目录引用计数法和可达性分析法引用计数法： 可达性分析算法： 五种对象引用软引用： 弱引用： 引用计数法和可达性分析法引用计数法： 引用计数法会为每个对象维护一个引用计数器，当对象被引用时加1&…...

编程日记 2025/5/14 18:31:18

沪深300股指期权能对股指期货进行完全套保吗？

锦鲤三三每日分享期权知识，帮助期权新手及时有效地掌握即市趋势与新资讯！ 沪深300股指期权能对股指期货进行完全套保吗？ 沪深300股指期权是以沪深300指数为标的物的期权，而沪深300股指期货则是以该指数作为标的的期货合约。理…...

编程日记 2025/5/10 3:22:25

tomcat html乱码

web tomcat html中文乱码将html文件改成jsp <% page language"java" contentType"text/html; charsetUTF-8" pageEncoding"UTF-8"%>添加 <meta charset"UTF-8">...

编程日记 2025/4/28 12:27:47

全星QMS软件的功能如何助力企业进行精细化的质量管理

全星QMS软件的功能如何助力企业进行精细化的质量管理在当今竞争激烈的市场环境中，企业要想脱颖而出，精细化的质量管理是关键。全星QMS软件系统凭借其全面的功能和强大的技术支持，为企业提供了一站式的质量管理解决方案，助力企业…...

编程日记 2025/5/12 14:09:49

BPMN.js 与 DeepSeek 集成：打造个性化 Web 培训项目的秘诀

在数字化时代，Web培训项目的需求日益增长，特别是对于程序员群体，他们寻求高效、灵活的方式来提升自己的技能。本文将深入探讨如何评估BPMN.js与DeepSeek集成方案，以满足开发Web培训项目的需求。 BPMN.js 的优势 BPMN.js是一个专…...

编程日记 2025/5/9 14:30:45

鸢尾花分类

以下是一个通过Python编程语言实现“机器学习”小项目的详细教程案例，该项目使用经典的鸢尾花（Iris）数据集进行分类任务：项目：鸢尾花分类项目目标通过机器学习模型，根据鸢尾花的花瓣和萼片的长度和宽度，预测其所属的种类。实现步骤导入必要的库 Python复制 import …...

编程日记 2025/5/13 14:43:55

SpringCloud系列教程：微服务的未来（二十三）SpringAMQP快速入门、Work Queues、Fanout交换机

前言 Spring AMQP是Spring框架中用于与消息中间件（如RabbitMQ）进行交互的一个项目，它简化了消息发送、接收以及消息处理的过程。通过Spring AMQP，开发者可以快速实现基于RabbitMQ的消息传递系统。本文将介绍Spring AMQP的快速入门…...

编程日记 2025/5/6 7:22:19

快速排序

目录什么是快速排序： 图解： 递归法： 方法一（Hoare法）： 代码实现： 思路分析： 方法二（挖坑法）： 代码实现： 思路分析： 非递…...

编程日记 2025/5/9 18:05:32

【C++ 真题】P1824 进击的奶牛

P1824 进击的奶牛题目描述 Farmer John 建造了一个有 N N N（ 2 ≤ N ≤ 1 0 5 2 \leq N \leq 10 ^ 5 2≤N≤105) 个隔间的牛棚，这些隔间分布在一条直线上，坐标是 x 1 , x 2 , ⋯ , x N x _ 1, x _ 2, \cdots, x _ N x1,x2,⋯,xN&a…...

编程日记 2025/5/11 11:15:13

HCIA项目实践--RIP的拓展配置

9.4.7 RIP的拓展配置 （1）RIPV2的手工认证 RIPv2 的手工认证是增强网络安全性的手段。管理员手动配置密钥，路由器在收发 RIPv2 路由更新消息时，会对消息中的认证信息进行检查。发送方添加密钥，接收方用预设密钥验证。若…...

编程日记 2025/5/12 4:20:37

MyBatis映射文件＜resultMap＞元素详解与示例

引言 <resultMap> 是 MyBatis 中最核心的映射配置元素，用于解决数据库字段与 Java 对象属性之间的复杂映射问题，尤其是字段名不一致、嵌套对象关联、集合映射等场景。ResultMap 的设计思想是，对简单的语句做到零配置，对于复…...

编程日记 2025/5/12 11:24:05

leetcode刷题记录（一百零二）——45. 跳跃游戏 II

（一）问题描述 45. 跳跃游戏 II - 力扣（LeetCode）45. 跳跃游戏 II - 给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。每个元素 nums[i] 表示从索引 i 向后跳转的最大长度。换句话说，如果你在 nums[i] …...

编程日记 2025/5/12 8:02:55

2004-2016年各省煤炭基础储量数据

2004-2016年各省煤炭基础储量数据 1、时间：2004-2016年 2、指标：行政区划代码、地区、年份、煤炭基础储量(亿吨) 3、范围：31省 4、来源：国家统计局、统计年鉴 5、指标解释：煤炭基础储量是指在特定区域内&#xff…...

编程日记 2025/5/12 8:17:10

【含开题报告+文档+PPT+源码】基于spring boot的固定资产管理系统

开题报告本研究论文提出了一种基于SpringBoot框架构建的全面且高效的固定资产管理系统，旨在优化企业内部的固定资产全生命周期管理流程。该系统集成了员工权限管理、业务流程处理及数据分析于一体，实现了员工便捷的登录注册功能，并通过安全…...

编程日记 2025/5/14 17:22:15

数据结构-链式二叉树

文章目录一、链式二叉树1.1 链式二叉树的创建1.2 根、左子树、右子树1.3 二叉树的前中后序遍历1.3.1前(先)序遍历1.3.2中序遍历1.3.3后序遍历 1.4 二叉树的节点个数1.5 二叉树的叶子结点个数1.6 第K层节点个数1.7 二叉树的高度1.8 查找指定的值(val)1.9 二叉树的销毁二、层序…...

编程日记 2025/5/14 15:53:17

C++中接口与继承的区别（自我学习用）

继承（Inheritance）和接口（Interface）是面向对象编程（OOP）中的两种不同概念，虽然在 C 中没有像 Java 那样的 interface 关键字，但可以通过纯虚函数来实现接口的概念。让我们详细比…...

编程日记 2025/5/11 10:59:22

vue2拖拽式页面构建

在Vue 2中构建一个拖拽式页面，你可以使用第三方库如vuedraggable，它是基于Sortable.js的一个Vue组件，非常适合用于实现拖拽功能。步骤 1: 安装vuedraggable 首先，你需要安装vuedraggable。在你的Vue项目中，运行以下命…...

编程日记 2025/5/8 2:26:13

ASUS/华硕天选3 FA507R FA707R 原厂Win11 21H2家庭版系统工厂文件带ASUS Recovery恢复

华硕工厂文件恢复系统 ，安装结束后带隐藏分区，带一键恢复，以及机器所有的驱动和软件。支持型号：FA507RC, FA507RE, FA507RM, FA507RW, FA707RC, FA707RE, FA707RM, FA707RW, FA507RH, FA707RH, FA507RR, FA707RR 系统版本&…...

编程日记 2025/5/14 2:03:14

部署onlyoffice后，php版的callback及小魔改（logo和关于）

作为这篇博文的补充CentOS9 安装Docker+Dpanel+onlyoffice（https、更改字体、字号、去除限制）的避坑笔记，现在继续… 本次主要内容有：php中callback的调用、自签证书调用callback遇到SSL certificate problem: unable to get local issuer certificate问题、修改onlyoffic…...

编程日记 2025/5/13 9:37:44

轻松打造专属音乐库：Alger Music本地部署与远程访问全流程解析

文章目录前言1. 安装Docker2. 简单使用演示3. 安装cpolar内网穿透4. 配置公网地址5. 配置固定公网地址前言嗨，大家好！今天我要给大家安利一款超级棒的第三方网抑云音乐播放器。这款神器不仅颜值超高、功能强大，还能让你彻底告别那些烦人的…...

编程日记 2025/5/11 17:48:39

redis集群的分片技术

Redis 集群模式通过数据分片（Sharding） 技术将数据分布到多个节点上，从而实现横向扩展和高性能。以下是 Redis 集群分片技术的详细介绍： 1. 数据分片的基本原理 Redis 集群将整个数据集划分为 16384 个哈希槽（Hash S…...

编程日记 2025/5/13 4:07:49

OA审批 / 流程管理：流程设计/审批人设置/选择节点的审批人 | Java获取树形用户列表

文章目录引言I 树形用户列表VO通用树状节点类型通用树状节点对象II 获取树形用户列表准备部门信息和用户信息III 其他相关表结构组织机构引言流程设计/审批人设置/选择节点的审批人树形显示用户列表（安装组织机构层级显示）接口返回的树形用户的数据结构I 树形用户列表VO …...

编程日记 2025/5/12 12:11:18

【Pandas】pandas Series case_when

Pandas2.2 Series Computations descriptive stats 方法描述Series.align(other[, join, axis, level, …])用于将两个 Series 对齐，使其具有相同的索引Series.case_when(caselist)用于根据条件列表对 Series 中的元素进行条件判断并返回相应的值 pandas.Series.…...

编程日记 2025/5/10 5:27:33

.NET 9.0 的 Blazor Web App 项目，自定义日志 TLog V2 使用备忘

一、TLog V1 使用静态数据库上下文，优点是速度快，缺点是内存占用大，参见 .NET 9.0 的 Blazor Web App 项目、Bootstrap Blazor 组件库、自定义日志 TLog 使用备忘_navigationmanager.tobaserelativepath-CSDN博客二、 TLog V2 改为依赖注入…...

编程日记 2025/5/11 4:10:51

数据仓库与数据挖掘记录二

1.数据仓库的产生从 20 世纪 80 年代初起直到 90 年代初,联机事务处理一直是关系数据库应用的主流。然而,应用需求在不断地变化,当联机事务处理系统应用到一定阶段时,企业家们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势,他们需要对其自身业务的运作以及整个…...

编程日记 2025/5/9 0:27:37

SolidWorks速成教程P3-1【零件 | 第一节】——特征成型介绍拉伸凸台/基体与设计树

零件是由特征构成的，所以零件学习也叫做特征学习。特征命令，我们可以认为是将二维草图变成三维实体的过程，学习完成后我们就能画出很多东西了，比如画一台手机的外形，学完后我们一起画一个手机支架，来熟练…...

编程日记 2025/5/14 4:02:51

vscode插件Remote - SSH使用教程

Remote - SSH 是一款非常实用的 Visual Studio Code (VSCode) 扩展插件，它允许开发者通过SSH连接到远程服务器，并像在本地一样进行代码编辑和调试。这意味着你可以直接在VS Code中打开位于远程机器上的文件夹，并利用本地安装的VS Code功能，如语法高亮、智能感知、Git集成等…...

编程日记 2025/5/11 17:47:03

sqli_labs_master Less-8 时间盲注，boolen盲注获取数据库中的表、列

获取当前数据库名 import requestsdef inject_database(url):namemax_length20 # 假设数据库名称最大长度为20# ASCII范围：数字、字母、下划线（_）low{a: 97, z: 122, A: 65, Z: 90, 0: 48, 9: 57, _: 95}high{97: a, 122: z, 65: A, 90: Z,…...

编程日记 2025/5/11 22:37:05

Android Studio：RxJava事件流Observable

一、什么是“事件流”？ 简单来说，事件流就是数据从一个地方（发布者）传递到另一个地方（订阅者）的过程，像是一个“流水线”。发布者发布事件（数据），订阅者则在…...

编程日记 2025/5/5 2:28:38

Influxdb学习 - TSM存储

InfluxDb为什么这么快 InfluxDB 之所以在时序数据场景下表现出色，主要得益于其专为时序数据优化的架构设计和多层次的性能优化策略专为时序设计：TSM 引擎、列式存储、时间分区等特性直接针对时序数据痛点。写入优化：内存缓存 + 批量刷盘 + 高压缩率，最大化吞吐。查询加速…...

编程日记 2025/5/11 5:23:31

监控系统磁盘 I/O 性能的命令

iostat -x -k 1 是一个用于监控系统磁盘 I/O 性能的命令，下面详细解释该命令以及其输出各项的含义。命令参数解释 iostat：这是一个用于报告中央处理器（CPU）统计信息和磁盘输入 / 输出统计信息的工具。 -x：显示扩展的…...

编程日记 2025/5/14 10:54:42

NumPy中生成和堆叠数组、生成切片的特殊对象：np.r_ np.c_ np.s_

在NumPy中有三个特殊的对象，非常好用： np.r_：按行连接两个数组，也就是将两个数组垂直堆叠。np.c_：按列连接两个数组，也就是将两个数组水平堆叠。np.s_：生成用于切片的slice对象。下面详细介绍…...

编程日记 2025/5/11 10:07:45

js计算当（月/年）工作日（除去节假日）时间进度

js封装文件 // 获取当年的节假日12个月的数据 let holidaysArr [[1, 4, 5, 11, 12, 18, 19, 25, 26, 27, 28, 29, 30, 31], // 1月[1, 2, 3, 4, 5, 6, 9, 15, 16, 22, 23], // 2月[], // 3月[4, 5, 6, 12, 13, 19, 20, 26], // 4月[1, 2, 3, 4, 5, 10, 11, 17, 18, 24, 25, …...

编程日记 2025/5/9 9:42:27

zyNo.22

常见Web漏洞解析命令执行漏洞 1.Bash与CMD常用命令 （1）Bash 读取文件：最常见的命令cat flag 在 Bash 中，cat 以及的tac、nl、more、head、less、tail、od、pr 均为文件读取相关命令，它们的区别如下： …...

编程日记 2025/5/12 5:22:50

服务器绑定 127.0.0.1 和 0.0.0.0 的区别

前言 IP 地址实际上并不是分配给计算机的，而是分配给网卡的，因此当计算机上存在多块网卡时，每一块网卡都会有自己的 IP 地址。绑定 127.0.0.1 是绑定到 lookback 这个虚拟的本地回环接口，该接口只处理本机上的数据，…...

编程日记 2025/5/9 15:33:13

系统思考—团队学习

“一个人的成长是从问题中学习，而组织的成长是从结构中进化。” —— 彼得圣吉看似松散的团队学习结构，回头一看，你早已成长了许多。今天和小伙伴们聊起2024年，才发现很多改变，都是在不经意间发生的。从最初的探索…...

编程日记 2025/5/11 11:48:19

《Python百炼成仙》21-30章（不定时跟新）

第廿一章列表开天可变序列初成不周山的擎天玉柱裂开蛛网纹路，山体内部传出数据结构崩塌的轰鸣。叶军踏着《数据结构真解》残页凌空而立，手中薛香的本命玉尺泛起列表操作的幽光： 补天石序列 [五色石] * 9补天石序列[3] 息壤 # 引发链式变…...

编程日记 2025/5/7 15:55:28

element-ui时间组件同一个月内选择/30天内选择

element-ui时间组件同一个月内选择/30天内选择同一个月 <el-date-picker v-model"time" type"datetimerange"range-separator"至" start-placeholder"开始时间"value-format"timestamp" :picker-options"pickerO…...

编程日记 2025/5/9 17:20:23

【大模型】阿里云百炼平台对接DeepSeek-R1大模型使用详解

目录一、前言二、DeepSeek简介 2.1 DeepSeek 是什么 2.2 DeepSeek R1特点 2.2.1 DeepSeek-R1创新点 2.3 DeepSeek R1应用场景 2.4 与其他大模型对比三、阿里云百炼大平台介绍 3.1 阿里云百炼大平台是什么 3.2 阿里云百炼平台主要功能 3.2.1 应用场景 3.3 为什么选…...

编程日记 2025/5/10 23:28:33

微信小程序配置3 配置sass

1. 在config。json文件里面的setting配置“sass” 2. 改你需要的页面后缀名为scss。 3.查看页面即可看到样式。...

编程日记 2025/4/6 14:51:07

应用层优秀的共享民宿物联网框架该怎么选？

有一说一，应用层优秀的物联网框架通常能帮助提升用户体验、提高运营效率、节能减排等等优势，很多老板也很注重这个层面的设计和打磨，那么对于选择应用层优秀的共享民宿物联网框架时，大家可以从哪几个关键因素进行考量呢&#xff1…...

编程日记 2025/5/10 11:29:41

macOS 上部署 RAGFlow

在 macOS 上从源码部署 RAGFlow-0.14.1：详细指南一、引言 RAGFlow 作为一款强大的工具，在人工智能领域应用广泛。本文将详细介绍如何在 macOS 系统上从源码部署 RAGFlow 0.14.1 版本，无论是开发人员进行项目实践，还是技术爱好者…...

编程日记 2025/5/2 15:36:50

postman登录cookie设置

1.设置环境变量， 定义变量存放共享的登录信息如Cookie 2.登录接口编码test脚本获取cookie信息 let jsessionidCookie pm.cookies.get("JSESSIONID");if (jsessionidCookie) {let cookie "JSESSIONID" jsessionidCookie "; Admin-Tok…...

编程日记 2025/5/13 12:12:46

如何在Linux中设置定时任务（cron）

在Linux系统中，定时任务是自动执行任务的一种非常方便的方式，常常用于定期备份数据、更新系统或清理日志文件等操作。cron是Linux下最常用的定时任务管理工具，它允许用户根据设定的时间间隔自动执行脚本和命令。在本文中，我们将详…...

编程日记 2025/5/11 4:05:06

1、 什么是堆外内存？