当前位置：首页 > news >正文

【银河麒麟操作系统真实案例分享】内存黑洞导致服务器卡死分析全过程

news 来源：原创 2025/6/6 8:40:33

了解更多银河麒麟操作系统全新产品，请点击访问

麒麟软件产品专区：https://product.kylinos.cn

开发者专区：https://developer.kylinos.cn

文档中心：https://documentkylinos.cn

现象描述

机房显示器连接服务器后黑屏，重启服务器后，系统正常运行。

现象分析

sa日志分析

查看问题时间点前后的sa日志，发现在凌晨、，系统可用内存已降至0，memused为100G+，但cached只有1G，active+inactive也只有33.4G。

这样来看问题时间点服务器可以ping通但无法连接的原因为系统内存耗尽，free只剩下7G内存，在min_free_kbytes为6534528的情况下，考虑到DMA/DMA32区域的预留内存后，系统已无法为用户态进程分配内存，available因此显示为0。但同时我们发现一个异常的地方，问题时间点available为0主要是memused占据了大量内存，但系统的active+inactive之和与memused的对比却十分悬殊，有大量内存被使用却未被统计监控到。

为此我们翻看了前几天的sa日志监控情况，发现问题出现在28号下午。查看28号的sa日志，可以看到28号上午时系统内存使用十分平稳各项内存统计指标都没有较大变化，free和available也一直保持在60G以上。

但到了28号下午的15:00后情况发生了变化，可以看到从这时起系统的free和available不断减少，空闲内存减少说明内存被缓存、进程亦或是内核所使用，但我们观察cached、anonpg、slab、pgtbl等参数基本都没变化，同时used却又不断增加了。

系统可用内存free不断减少，used上升，但各项统计数据却显示各个内存监控指标没有发生变动，这一般就说我们所说的内存黑洞或者幽灵内存问题。

内存黑洞问题介绍

追踪Linux系统的内存使用一直是个难题，人们试着把能想到的各种内存消耗都加在一起，kernel text、kernel modules、buffer、cache、slab、page table、process RSS…等等，却总是与物理内存的大小对不上，这是因为Linux kernel并没有滴水不漏地统计所有的内存分配，kernel动态分配的内存中就有一部分没有计入/proc/meminfo中。

Kernel的动态内存分配通过以下几种接口：

alloc_pages/__get_free_page: 以页为单位分配
vmalloc: 以字节为单位分配虚拟地址连续的内存块
slab allocator：kmalloc以字节为单位分配物理地址连续的内存块，它是以slab为基础的，使用slab层的general caches — 大小为2^n，名称是kmalloc-32、kmalloc-64等（在老kernel上的名称是size-32、size-64等）。

通过slab层分配的内存会被精确统计，可以参见/proc/meminfo中的slab/SReclaimable/SUnreclaim；通过vmalloc分配的内存也有统计，参见/proc/meminfo中的VmallocUsed 和 /proc/vmallocinfo；而通过alloc_pages分配的内存不会自动统计，除非调用alloc_pages的内核模块或驱动程序主动进行统计，否则我们只能看到free memory减少了，但从/proc/meminfo中看不出它们具体用到哪里去了，这就是所谓的内存黑洞。

对于内存黑洞，由于我们无法直接统计它的占用情况，只能从meminfo的信息反推，通常我们围绕LRU进行统计：MemTotal = MemFree +【Slab+ VmallocUsed + PageTables + KernelStack + HardwareCorrupted + Bounce + X】+【Active + Inactive + Unevictable + (HugePages_Total * Hugepagesize)】，这里的X就是黑洞内存。

最后黑洞内存问题由于看不到具体申请者，通常只能根据经验来进行问题排查，目前主要的问题原因有：

各类内核驱动、安全插件、硬件驱动等通过alloc_pages申请内存导致内存被占用却无法看到被谁使用。这类情况我们此前遇到过虚拟化环境的balloon驱动、hns3网卡驱动等。
socket或者pf_packet socket 收发包队列积压，大量内存被用于socket缓冲区数据包存储，导致系统内存被占用。

总结

通过查看收集的sosreport文件中各项日志文件，能够确定29号凌晨发生的服务器宕机问题是由于系统内存不足，无法为用户态进程分配内存导致。而引起内存不足的原因为从28号下午3点开始出现了异常内存黑洞占用。

由于当前机器没有部署相关内存监控内容，其内存黑洞问题难以在后续环境排查，无法分析造成该问题的原因。建议排查28号下午在问题机器上进行的相关操作，并在之后部署相关内存监控脚本，同时对服务器available内存值进行监控，当发现有available内存值连续降低时及时查看机器状态。

后续机器又多次出现异常宕机，但vmcore要不没有生成，要不生成的无内容。结合上述问题怀疑是硬件存在问题，硬件上面检查发现主板供电存在问题，硬件日志中出现低电压报警。

【银河麒麟操作系统真实案例分享】内存黑洞导致服务器卡死分析全过程

了解更多银河麒麟操作系统全新产品，请点击访问麒麟软件产品专区：https://product.kylinos.cn 开发者专区：https://developer.kylinos.cn 文档中心：https://documentkylinos.cn 现象描述机房显示器连接服务器后黑屏&#xff…...

编程日记 2025/6/4 11:35:10

蓝桥杯软件赛系列---lesson1

🌈个人主页：羽晨同学 💫个人格言:“成为自己未来的主人~” 我们今天会再开一个系列，那就是蓝桥杯系列，我们会从最基础的开始讲起，大家想要备战明年蓝桥杯的，让我们一起加油。工具安装 DevC…...

编程日记 2025/6/1 0:44:11

工业异常检测-CVPR2024-新的3D异常数据合成办法和自监督网络IMRNet

论文：https://arxiv.org/pdf/2311.14897v3.pdf 项目：https://github.com/chopper-233/anomaly-shapenet 这篇论文主要关注的是3D异常检测和定位，这是一个在工业质量检查中至关重要的任务。作者们提出了一种新的方法来合成3D异常数据&#x…...

编程日记 2025/5/31 10:55:29

HeidiSQL：MySQL图形化管理工具深度解析

本文还有配套的精品资源，点击获取简介：HeidiSQL是一款开源的MySQL图形化管理工具，适用于多种数据库系统，如MySQL、MariaDB、SQL Server、PostgreSQL和SQLite。其提供的直观操作界面和丰富的功能简化了数据库操作，包…...

编程日记 2025/6/1 9:20:57

【Redis】深入解析Redis缓存机制：全面掌握缓存更新、穿透、雪崩与击穿的终极指南

文章目录一、Redis缓存机制概述1.1 Redis缓存的基本原理1.2 常见的Redis缓存应用场景二、缓存更新机制2.1 缓存更新的策略2.2 示例代码：主动更新缓存三、缓存穿透3.1 缓存穿透的原因3.2 缓解缓存穿透的方法3.3 示例代码：使用布隆过滤器四、缓存雪崩4…...

编程日记 2025/6/2 0:39:07

Flask使用Celery与多进程管理：优雅处理长时间任务与子进程终止技巧(multiprocessing)(subprocess)

在许多任务处理系统中，我们需要使用异步任务队列来处理繁重的计算或长时间运行的任务，如模型训练。Celery是一个广泛使用的分布式任务队列，而在某些任务中，尤其是涉及到调用独立脚本的场景中，我们需要混合使用multipro…...

编程日记 2025/6/4 1:54:09

【PyTorch】torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

报错说明 torch.distributed.elastic.multiprocessing.errors.ChildFailedError: 报错如图所示报错分析该报错是 torch 和 CUDA 版本不兼容导致。 （一般N卡自带的CUDA版本与最新的torch版本相差较大） 解决方案 1.查看自己的CUDA版本 # 查看自己的…...

编程日记 2025/5/30 16:09:09

使用android studio写一个Android的远程通信软件（APP）,有通讯的发送和接收消息界面

以下是使用 Android Studio 基于 Java 语言编写一个简单的 Android APP 实现远程通信（这里以 TCP 通信为例）的代码示例，包含基本的通信界面以及发送和接收消息功能。 1. 创建项目打开 Android Studio，新建一个 Empty Activity …...

编程日记 2025/6/4 4:25:45

突破空间限制！从2D到3D：北大等开源Lift3D，助力精准具身智能操作！

文章链接：https://arxiv.org/pdf/2411.18623 项目链接：https://lift3d-web.github.io/ 亮点直击提出了Lift3D，通过系统地提升隐式和显式的3D机器人表示，提升2D基础模型，构建一个3D操作策略。对于隐式3D机器人表示&a…...

编程日记 2025/6/4 13:54:14

Android KEY的哪些事儿

目录一、APK应用签名 1、什么是APK应用签名？ 1.1 目的和作用？ 1.2 长什么样子？ 2、APK应用签名使用流程步骤一：如何生成APK应用签名文件？ 步骤二：如何集成APK应用签名文件？ 步骤三&am…...

编程日记 2025/5/30 8:04:35

李宏毅深度学习-Pytorch Tutorial2

什么是张量？ 张量（Tensor）是深度学习和机器学习中一个非常基础且重要的概念。在数学上，张量可以被看作是向量和矩阵的泛化。简单来说，张量是一种多维数组，它可以表示标量（0维）、向量…...

编程日记 2025/6/3 9:06:38

【译】为 SAP 表维护视图 (SM30) 创建选择屏幕

原文标题：Create Selection Screen for SAP Table Maintenance View (SM30) 原文链接： https://www.saphub.com/abap-dictionary/sap-abap-tmg-selection-screen/ 通常，带有单个屏幕的 SAP 表维护视图 (SM30) 会显示表中的所有记录&#xff…...

编程日记 2025/5/30 20:33:58

element Plus中 el-table表头宽度自适应，不换行

在工作中，使用el-table表格进行开发后，遇到了小屏幕显示器上显示表头文字会出现换行展示，比较影响美观，因此需要让表头的宽度变为不换行，且由内容自动撑开。以下是作为工作记录，用于demo演示教程先贴个…...

编程日记 2025/6/1 16:31:00

C语言程序设计P5-4【应用函数进行程序设计 | 第四节】——知识要点：数组作函数参数

知识要点：数组作函数参数视频： 目录一、任务分析二、必备知识与理论三、任务实施一、任务分析任务要求用选择法对数组中的 10 个整数按由小到大的顺序排序，前面在讲解数组时讲冒泡法排序曾提到选择法排序的思想。所谓选择法就是…...

编程日记 2025/6/4 17:48:37

时间序列模型在LSTM中的特征输入

这里写目录标题前言LSTM的输入组成时间步例子实际代码解读特征提取处理成dataloader格式（用于输入到模型当中）对应到lstm的模型创建代码总结前言本文章将帮助理解如何将一个时间序列的各种特征（年月日的时间特征，滚动窗口滞…...

编程日记 2025/6/2 3:42:23

Python_Flask02

所有人都不许学Java了，都来学Python！ 如果不来学的话请网爆我的老师连接前的准备安装pymysql 和 flask_sqlalchemy，安装第三下面两个所需要的包才能连接上数据库 pip install pymysql pip install flask_sqlalchemy pymysql是一个Pyth…...

编程日记 2025/5/30 0:12:36

threejs相机辅助对象cameraHelper

为指定相机创建一个辅助对象，显示这个相机的视锥。想要在场景里面显示相机的视锥，需要创建两个相机。举个例子，场景中有个相机A，想要显示相机A的视锥，那么需要一个相机B，把B放在A的后面，两个…...

编程日记 2025/6/4 12:35:45

断点续传+测试方法完整示例

因为看不懂网上的断点续传案例，而且又不能直接复制使用，干脆自己想想写了一个。上传入参类： import com.fasterxml.jackson.annotation.JsonIgnore; import io.swagger.annotations.ApiModel; import io.swagger.annotations.ApiModelProp…...

编程日记 2025/5/30 15:47:25

C#设计模式--状态模式（State Pattern）

状态模式是一种行为设计模式，它允许对象在其内部状态发生变化时改变其行为。这种模式的核心思想是将状态封装在独立的对象中，而不是将状态逻辑散布在整个程序中。用途简化复杂的条件逻辑：通过将不同的状态封装在不同的类中，可…...

编程日记 2025/5/30 16:38:42

Excel技巧：如何批量调整excel表格中的图片？

插入到excel表格中的图片大小不一，如何做到每张图片都完美的与单元格大小相同？并且能够根据单元格来改变大小？今天分享，excel表格里的图片如何批量调整大小。方法如下： 点击表格中的一个图片，然后按住Ct…...

编程日记 2025/6/3 13:11:15

hadoop中导出表与数据的步骤

大家好，我是 V 哥。在Hadoop中导出表与数据，可以通过多种方式实现，包括使用Hive的EXPORT命令、MapReduce作业、Hive查询以及Sqoop工具。下面V 哥将详细介绍这些步骤和一些代码示例，来帮助大家更好理解。 1. 使用Hive的EXPORT命令…...

编程日记 2025/6/2 22:51:26

springBoot中的日志级别在哪里配置

在Spring Boot中，日志级别的配置可以通过多种方式来实现，主要包括在配置文件中设置、使用自定义的logback配置文件，以及在代码中动态配置等。以下是一些具体的配置方法： 一、在配置文件中设置日志级别 Spring Boot默认使用appli…...

编程日记 2025/6/3 10:51:28

17. Threejs案例-Three.js创建多个立方体

17. Threejs案例-Three.js创建多个立方体实现效果知识点 WebGLRenderer (WebGL渲染器) WebGLRenderer 是 Three.js 中用于渲染 WebGL 场景的核心类。它负责将场景中的对象渲染到画布上。构造器 new THREE.WebGLRenderer(parameters) 参数类型描述parametersObject可选…...

编程日记 2025/6/4 0:19:41

数据结构——有序二叉树的删除

在上一篇博客中，我们介绍了有序二叉树的构建、遍历、查找。数据结构——有序二叉树的构建&遍历&查找-CSDN博客文章浏览阅读707次，点赞18次，收藏6次。因为数据的类型决定数据在内存中的存储形式。left right示意为左右节点其类型也为…...

编程日记 2025/5/31 18:21:59

力扣1401. 圆和矩形是否有重叠

用矢量计算： class Solution { public:bool checkOverlap(int radius, int xCenter, int yCenter, int x1, int y1, int x2, int y2) {//矩形中心float Tx(float)(x1x2)/2;float Ty(float)(y1y2)/2;//强行进行对称操作，只考虑第一象限if(xCenter<Tx)…...

编程日记 2025/6/1 18:07:04

idea连接到docker出现 org.apache.hc.client5.http.ConnectTimeoutException 异常怎么办？

前情提要我电脑是win11，我安装了centOS7虚拟机，配置linux环境 idea是2024社区免费版本我就这一步步排查问题，终于发现了是因为我的2375端口没有ipv4开放，只在ipv6开放踩坑提醒： 对了，一个一个问题排…...

编程日记 2025/5/31 15:04:04

一番赏小程序定制开发，打造全新抽赏体验平台

随着盲盒的热潮来袭，作为传统的潮玩方式一番赏也再次受到了大家的关注，市场热度不断上升！ 一番赏能够让玩家百分百中奖，商品种类丰富、收藏价值高，拥有各种IP，从而吸引着各个圈子的粉丝玩家，用…...

编程日记 2025/5/30 12:02:30

PHP语法学习(第六天)

💡依照惯例，回顾一下昨天讲的内容 PHP语法学习(第五天)主要讲了PHP中的常量和运算符的运用。 🔥 想要学习更多PHP语法相关内容点击“PHP专栏” 今天给大家讲课的角色是🍍菠萝吹雪，“我菠萝吹雪吹的不是雪，而…...

编程日记 2025/6/1 20:25:15

按vue组件实例类型实现非侵入式国际化多语言翻译

#vue3##国际化##本地化##international# web界面国际化，I18N（Internationalization，国际化），I11L(International，英特纳雄耐尔)，L10N（Localization，本地化）&…...

编程日记 2025/6/3 8:48:54

2024年认证杯SPSSPRO杯数学建模B题(第一阶段)神经外科手术的定位与导航解题全过程文档及程序

2024年认证杯SPSSPRO杯数学建模 B题神经外科手术的定位与导航原题再现： 人的大脑结构非常复杂，内部交织密布着神经和血管，所以在大脑内做手术具有非常高的精细和复杂程度。例如神经外科的肿瘤切除手术或血肿清除手术，通常需要…...

编程日记 2025/6/4 1:24:06

51c视觉~合集24

我自己的原文哦~ https://blog.51cto.com/whaosoft/11870494 #R-Adapter 零样本模型微调新突破，提升鲁棒性与泛化能力论文提出新颖的Robust Adapter（R-Adapter），可以在微调零样本模型用于下游任务的同时解决这两个问题。该方…...

编程日记 2025/6/2 6:58:01

idea启动tomcat服务中文乱码

在idea中启动tomcat服务后部分中文乱码但是在tomcat日志部分正常并且在tomcat中中文也是正常查询大量资料修改idea编码，虚拟机编码、tomcat默认编码、终端默认编码，统统没有效果。最终发现修改tomcat下文件夹 .\conf\logging.properties 网络上…...

编程日记 2025/5/30 17:09:22

android studio 读写文件操作（应用场景二）

android studio版本：2023.3.1 patch2 例程：readtextviewIDsaveandread 本例程是个过渡例程，如果单是实现下图的目的有更简单的方法，但这个方法是下一步工作的基础，所以一定要做。例程功能：将两个textvi…...

编程日记 2025/6/3 0:46:18

【数据结构】【线性表】特殊的线性表-字符串

目录字符串的基本概念字符串的三要素字符串的基本概念串的编码串的实现及基本运算顺序串的实现串的静态数组实现串的动态数组的实现顺序存储的四种方案链式串的实现基本运算方案三方案一字符串的基本概念数据结构千千万&#xff0c…...

编程日记 2025/6/2 7:46:55

【AWS re:Invent 2024】一文了解EKS新功能：Amazon EKS Auto Mode

文章目录一、为什么要使用 Amazon EKS Auto Mode？二、Amazon EKS自动模式特性2.1 持续优化计算成本2.2 迁移集群操作2.3 EKS 自动模式的高级功能三、EKS Auto 集群快速创建集群配置四、查看来自 API 服务器的指标五、EKS 相关角色权限设置六、参考链接一、为什么…...

编程日记 2025/6/3 1:07:19

HTTPS的工作过程

1.HTTPS协议原理 1.1HTTPS协议的由来 HTTP在传输网络数据的时候是明文传输的，信息容易被窃听甚至篡改，因此他是一个不安全的协议（但效率高）。在如今的网络环境中，数据安全是很重要的（比如支付密码又或者各…...

编程日记 2025/6/2 8:29:49

Java并发编程学习之从资本家的角度看多线程和并发性（一）

目录前言前置知识一、单线程时代二、为什么要有多线程，多线程的优点？三、使用多线程会遇到什么问题？四、多线程和并发编程的关系总结前言这篇文章是打开Java多线程和并发编程的大门的开始，如标题《从老板的角度看多线程和并发…...

编程日记 2025/5/30 8:02:56

基于STM32设计的智能宠物喂养系统(华为云IOT)_273

文章目录一、前言1.1 项目介绍【1】项目开发背景【2】设计实现的功能【3】项目硬件模块组成【4】设计意义【5】国内外研究现状【6】摘要1.2 设计思路1.3 系统功能总结1.4 开发工具的选择【1】设备端开发【2】上位机开发1.5 参考文献1.6 系统框架图1.7 系统原理图1.8 实物图1.9…...

编程日记 2025/6/4 1:23:55

Mybatis-Plus的主要API

一、实体类操作相关API BaseMapper<T>接口功能：这是 MyBatis - Plus 为每个实体类对应的 Mapper 接口提供的基础接口。它提供了一系列基本的 CRUD（增删改查）操作方法。例如insert(T entity)方法用于插入一条记录，d…...

编程日记 2025/6/2 14:59:41

Pillow：强大的Python图像处理库

目录一、引言二、Pillow 库的安装三、Pillow 库的基本概念四、图像的读取和保存五、图像的基本属性六、图像的裁剪、缩放和旋转七、图像的颜色调整八、图像的滤镜效果九、图像的合成和叠加十、图像的绘制十一、示例程序：制作图片水印十二、…...

编程日记 2025/6/1 10:51:22

Springboot定时任务详解

文章目录 Springboot定时任务详解一、引言二、cron表达式三、使用Scheduled注解1、开启定时任务2、添加定时任务四、使用TaskScheduler接口1、注入TaskScheduler实例五、集成Quartz框架1、集成Quartz 六、实际使用示例七、总结 Springboot定时任务详解一、引言在现代软件…...

编程日记 2025/5/31 10:39:27

【Linux】环境ChatGLM-4-9B 模型之 openai API 服务

一、摘要最近看到 Function Call 比较感兴趣，它的核心是赋予大模型能够调用外部API的能力，能够解决大模型功能扩展性问题，允许模型调用外部数据库或API，提供特定领域的详细信息；解决信息实时性问题，模型可以实时获取最新数据；解决数据局限性问题，大模型训练数据虽多但…...

编程日记 2025/5/31 21:34:50

mobi文件转成pdf

将 MOBI 文件转换为 PDF 格式通常涉及两个步骤： 解析 MOBI 文件：需要提取 MOBI 文件的内容（文本、图片等）。将提取的内容转换为 PDF：将 MOBI 文件的内容渲染到 PDF 格式。可用工具 kindleunpack 或 mobi&#xff1…...

编程日记 2025/6/3 1:26:22

Linux---对缓冲区的简单理解--第一个系统程序

前序： 首先先理解一下什么是回车与换行；回车和换行是两个概念，它们不是一个东西； 回车:光标回到开始；换行:换到下一行； 如下图： 行缓冲区如何理解缓冲区问题？ 可以认为&#xff0…...

编程日记 2025/6/3 3:12:48

word poi-tl 表格功能增强，实现表格功能垂直合并

目录问题解决问题poi-tl介绍功能实现引入依赖模版代码效果图附加（插件实现）MergeColumnData 对象MergeGroupData 类ServerMergeTableData 数据信息ServerMergeTablePolicy 合并插件问题由于在开发功能需求中，word文档需要垂直合并表格&…...

编程日记 2025/6/3 7:49:05

鸿蒙实现数据管理

目录： 1、鸿蒙实现数据管理的三种方式2、用户首选项3、键值型数据管理3.1、获取KVManager实例，用于管理数据库对象3.2、创建并获取键值数据库3.3、调用put()方法向键值数据库中插入数据3.4、调用get()方法获取指定键的值3.5、调用delete()方法删除指定键…...

编程日记 2025/6/3 5:14:12

图片上传HTML

alioss sky:jwt:# 设置jwt签名加密时使用的秘钥admin-secret-key: itcast# 设置jwt过期时间admin-ttl: 7200000# 设置前端传递过来的令牌名称admin-token-name: tokenalioss:endpoint: ${sky.alioss.endpoint}access-key-id: ${sky.alioss.access-key-id}access-key-secret: $…...

编程日记 2025/6/2 10:27:12

golang 代发邮件支持附件发送，outlook案列，其他邮箱需要替换对应邮箱服务域名

GPT问答实例 import pandas as pd from openai.embeddings_utils import get_embedding, cosine_similarity import openai import os import logging as logger from flask_cors import CORS import os openai.api_key os.getenv(OPENAI_API_KEY)class Chatbot():def parse_…...

编程日记 2025/6/1 18:57:52

输出绝对值

输出绝对值 C语言代码C 代码Java代码Python代码 💐The Begin💐点点关注，收藏不迷路💐 输入一个浮点数，输出这个浮点数的绝对值。输入输入一个浮点数，其绝对值不超过10000。输出输出这个浮点数的绝对…...

编程日记 2025/5/30 10:58:54

docker desktop打包配置国内镜像地址

打包遇到无法访问外网资源，直接配置国内镜像地址直接加入如下代码就行： {"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"registry-m…...

编程日记 2025/5/27 12:20:12

现象描述

现象分析

sa日志分析

内存黑洞问题介绍

总结

相关文章：