当前位置：首页 > news >正文

OOM排查思路

news 来源：原创 2025/6/19 1:41:58

K8S + 容器的云原生生态，改变了服务的交付方式，自愈能力和自动扩缩等功能简直不要太好用。

有好的地方咱要夸，不好的地方咱也要说，真正的业务是部署于容器内部，而容器之外，又有一逻辑层 Pod 。

对于容器和 K8S 不怎么熟悉的人，一旦程序发生了问题，排查问题就是个头疼的问题。

问题描述

事情的主角是 kubevirt 的一个开源项目叫 cdi，它的用途是在虚拟机启动之前将虚拟机的镜像导入到系统盘中。

在使用过程中，我们发现 cdi 在导入数据时会占用大量的内存空间。

而 cdi-controller 在创建 cdi-importer 的 pod 时，默认限定其最高只能使用 600M 的内存，到最后呢，pod 就发生了 OOMKilled

[root@master01 ~]# kubectl get po
NAME                               READY   STATUS      RESTARTS   AGE
importer-wbm-vda          0/1     OOMKilled   1          76s

一、查看 Pod 状态

首先，检查相关 Pod 的状态，确定是否因为内存超限被杀死。

[root@master01 ~]# kubectl describe pod <pod-name> -n <namespace>

定位关键词

如果容器因为 OOM 被杀死，通常会显示如下信息

State:     Terminated
Reason:    OOMKilled

查看 Events 部分：

如果 Pod 因为内存不足而被 OOM Killer 杀死，你会在事件中看到类似的提示

Warning  OOMKilling  kubelet, <node-name>  Memory cgroup out of memory: Kill process

二、查看容器日志

如果 Pod 被杀死，可以通过查看容器日志，了解容器在发生 OOM 之前的行为。这有助于判断是否存在内存泄漏或内存使用过高的情况

[root@master01 ~]# kubectl logs <pod-name> -n <namespace> --previous

使用 --previous 参数查看被终止容器的日志。
如果容器在 OOM 之前没有记录错误信息，通常表示容器已经用尽了可用内存，导致进程直接被杀死。

三、查看 Kubelet 和 Node 日志

查看 Kubelet 日志

[root@master01 ~]# journalctl -u kubelet -f

或者直接查找与 OOM 相关的日志

[root@master01 ~]# journalctl -u kubelet | grep -i 'oom'

查看 Node 上的 dmesg 日志，确认是否存在 OOM Killer 杀死进程的记录

[root@master01 ~]# dmesg | grep -i 'oom'

四、查看资源限制（CPU 和内存）

确保 Pod 的资源限制配置正确。如果 Pod 的内存限制（memory limit）设置得太低，可能会导致 OOM 错误

[root@master01 ~]# kubectl get pod <pod-name> -n <namespace> -o yaml

检查 resources 配置

resources:requests:memory: "256Mi"cpu: "250m"limits:memory: "512Mi"cpu: "500m"

五、分析容器内存使用

查看容器的内存使用情况，确认容器是否超过了内存限制。可以使用 kubectl top 来查看资源使用情况

[root@master01 ~]# kubectl top pod <pod-name> -n <namespace>

该命令会显示容器当前的内存和 CPU 使用情况。
比较容器的 memory usage 和 memory limit，如果容器接近其内存限制，就可能发生 OOM 错误。

六、分析节点内存压力

OOM 错误可能不仅仅是由于容器本身的内存使用高导致的，也可能是因为节点的整体内存资源不足

[root@master01 ~]# kubectl describe node <node-name>

七、检查内存泄漏

如果某个容器频繁 OOM，并且它的内存使用量持续增长，可能是程序中存在内存泄漏

[root@master01 ~]# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st gu1  0      0 3099200 590472 1748204    0    0     3    37  527    1  0  0 99  0  0  00  0      0 3100144 590472 1748244    0    0     0     0  580  501  0  0 100  0  0  00  0      0 3100708 590472 1748244    0    0     0     0  627  478  0  0 100  0  0  00  0      0 3096128 590472 1748244    0    0     0     0 1628 1672  1  1 98  0  0  0

八、设置合理的资源限制

为了避免 OOM 问题的再次发生，确保设置合理的内存请求（requests）和限制（limits）

requests：表示容器启动时需要的最小内存。Kubernetes 会根据 requests 为容器分配内存，确保容器有足够的资源启动。
limits：表示容器可以使用的最大内存。容器使用超过该限制的内存会被 OOM Killer 杀死。

九、缓存问题

通过不断的 Google 搜索，我查到了 kubectl top 得到的内存使用数据原来是这么计算的

memory.usage_in_bytes-total_inactive_file

从这个公式可以看出， kubectl top 得到的内存使用数据原来是包含 cache 的。

正常的 cache 可以提高磁盘数据的读写数据，在读的时候，会拷贝一份文件数据放到内存中，这部分是可回收的，一旦程序内存不足了，会回收部分 cache 的空间，保证程序的正常运行。

可见读文件的缓存，不会影响内存的申请，更别说 OOM，但在写的时候，情况就不一样了

在写的时候，由于进程处理数据的速度，可能会远大于数据落盘的速度，所以为提高格式转化和数据导入的速度，一般会先将转化好的数据存入缓存中，存入缓存后，进程可以立马 return 回去继续下一堆数据的处理，不用傻傻地等待数据全写入磁盘。

而存在于缓存之中的数据，则由操作系统同步写入磁盘，这样一来，数据落盘就变成了一个异步的过程，大大提高了写入的速度。

如果 qemu-img 处理数据的速度远大于 cache 存入磁盘的速度，就会出现内存不足。

OOM排查思路

K8S 容器的云原生生态，改变了服务的交付方式，自愈能力和自动扩缩等功能简直不要太好用。有好的地方咱要夸，不好的地方咱也要说，真正的业务是部署于容器内部，而容器之外，又有一逻辑层 Pod 。对于容器和…...

编程日记 2025/6/4 12:51:51

Q_OBJECT宏报错的问题

在Qt中继承QObject，并且加上Q_OBJECT宏，有时候会报错，比如我的错误： error: debug/httpmgr.o:httpmgr.cpp:(.rdata$.refptr._ZTV7HttpMgr[.refptr._ZTV7HttpMgr]0x0): undefined reference to vtable for HttpMgr 意思是没有虚…...

编程日记 2025/6/2 5:33:13

详细总结 Objective-C 的关联对象功能： 1. 基本使用 // 1. 设置关联对象 objc_setAssociatedObject(id object, const void *key, id value, objc_AssociationPolicy policy);// 2. 获取关联对象 id objc_getAssociatedObject(id object, const void *key);// 3. …...

编程日记 2025/6/4 17:12:19

Linux之进程

Linux之进程一.进程进程之形ps命令进程状态特殊进程孤儿进程守护进程进程创建之创建子进程进程特性优先级进程切换（分时操作系统） 二.环境变量三.进程地址空间四.进程终止&进程等待五.进程替换六.自定义shell 本篇博客希望简略的介绍进程&#xff…...

编程日记 2025/6/1 16:02:39

数据库事务

一事务的概念为什么要有事务，我们先前没学事务，也能写sql语句，事务的意义是什么? 由来: 是为了服务应用层开发，降低开发难度。假如没有事务，那我们身为开发人员，要处理转账需求，此时一定是有…...

编程日记 2025/6/4 12:26:23

Python statistics 模块

在数据分析和科学计算中，统计学是一个非常重要的工具。 Python 提供了一个内置的 statistics 模块，专门用于处理基本的统计计算。本文将详细介绍 statistics 模块的功能和使用方法，帮助初学者快速掌握如何使用这个模块进行基本的统计分析。 …...

编程日记 2025/6/2 18:39:54

AI知识-TF-IDF技术（Term Frequency-Inverse Document Frequency）

摘要 TF-IDF（Term Frequency-Inverse Document Frequency）是一种常见的统计方法，用于评估一个词对于一个文档集或一个语料库中的其中一份文档的重要性。本文将全面阐述TF-IDF的通俗理解、技术原理、应用场景，并做以总结。通俗理…...

编程日记 2025/6/2 3:16:49

spring cloud的核心模块有哪些

Spring Cloud 的核心模块就像一套精心设计的工具箱，每个模块都扮演着特定的角色，共同构建起微服务架构的坚实基础。 1. Spring Cloud Netflix（部分组件已迁移或弃用，但仍是理解 Spring Cloud 的重要参考）： …...

编程日记 2025/6/3 16:18:00

java_将数据存入elasticsearch进行高效搜索

使用技术简介： (1) 使用Nginx实现反向代理，使前端可以调用多个微服务 (2) 使用nacos将多个服务管理关联起来 (3) 将数据存入elasticsearch进行高效搜索 (4) 使用消息队列rabbitmq进行消息的传递 (5) 使用 openfeign 进行多个服务之间的api调用参…...

编程日记 2025/6/2 22:50:19

RAG中的文本切分策略详解

RAG中的文本切分策略详解 1. 选择RAG中的文本切分策略 1.1 不同的文本切分策略 1. CharacterTextSplitter - 这是最简单的方法。它默认基于字符（默认为""）来切割，并且通过字符的数量来衡量块的长度 2. RecursiveCharacterTextSplitter - 基于字符列表拆分文本。 …...

编程日记 2025/6/4 5:36:41

1-1 电场基本概念

目录： 目录目录： 1.0 电荷守恒定律 2.0 互斥与相吸 3.0 电场的概念 4.0 库伦定律 5.0 矢量的概念 1.0 电荷守恒定律电荷守恒定律是物理学中的一个基本原理，它指出在一个封闭系统内，电荷的总量是保持不变的。这意味着电荷既…...

编程日记 2025/5/31 4:55:01

SpringBoot初始化执行自定义接口

SpringBoot初始化执行自定义接口直接加载接口的方法上即可 PostConstructpublic void init() {//加载初始化数据}PostConstruct‌是一个在Java EE 5规范中引入的注解，用于标记在依赖注入完成后需要执行的方法。这个注解定义在javax.annotation包中，而不…...

编程日记 2025/5/28 21:43:52

【Ubuntu与Linux操作系统：一、Ubuntu安装与基本使用】

第1章 Ubuntu安装与基本使用 1.1 Linux与Ubuntu Linux是一种开源、类Unix操作系统内核，拥有高稳定性和强大的网络功能。由于其开源性和灵活性，Linux被广泛应用于服务器、嵌入式设备以及桌面环境中。 Ubuntu是基于Debian的一个流行Linux发行版&#xf…...

编程日记 2025/5/22 16:13:44

C++大端小端判断方法

文章目录大端小端定义判断方法方法一：利用联合体（Union）特性判断方法二：通过指针类型转换判断方法三：利用位运算与移位操作判断方法四：使用系统提供的字节序相关宏（特定平台支持） 联…...

编程日记 2025/6/4 13:36:46

【IO编程】标准IO和文件IO的对比

标准 I/O 和文件 I/O 是两种常见的输入输出操作方式。它们的核心功能都是处理数据流，但使用场景和实现方式有所不同，适用于不同的需求。标准 I/O 标准 I/O 是指与标准输入、标准输出和标准错误流（分别为 stdin、stdout 和 stderr&#xf…...

编程日记 2025/6/2 17:19:30

C#范围表达式,模式匹配,逆变和协变--11

目录一.范围表达式 1.概述 2.语法 3.代码示例 4.实现原理 5.应用场景二.模式匹配 1.概述 2.核心概念 3.常用模式类型 4.Switch表达式 5.使用示例 6.优势三.逆变和协变 1.概述 2.泛型类型参数的变性 3.协变示例 4.逆变示例 5.注意事项 6.应用场景总结一…...

编程日记 2025/6/3 18:04:16

矩阵求逆的几种方式

矩阵求逆的几种方式（以二阶为例） 矩阵求逆的方法有多种，以下是常用的几种方式总结： 1. 行列式公式法这是最常见的方法，适用于 2 2 2 \times 2 22矩阵。对于矩阵： Φ [ a b c d ] , \Phi \begin{bma…...

编程日记 2025/6/2 3:12:11

全新市场阶段， Plume 生态不断壮大的 RWAfi 版图

加密市场在 2024 年迎来了新的里程碑。BTC 不仅成功推出 ETF，以 BTC 为代表的主流加密货币还在一系列传统金融机构的推动下逐步与主流金融市场接轨。与此同时，随着特朗普成功当选下一任美国总统，他承诺推出一系列友好的加密政策，并…...

编程日记 2025/6/2 18:39:36

HTTPS SSL/TLS 工作流程

目录一、HTTP/HTTPS 简介1、HTTP协议相关内容2、HTTPS协议3、HTTP版本差异： 二、HTTPS 协议工作流程解析1. 客户端请求 SSL 握手2. 服务端接收 SSL 握手连接3. TLS 握手中的密钥协商4. HTTP 数据的加密与解密5. 安全性保障三、HTTPS 协议的相关知识拓展1. TLS 与 …...

编程日记 2025/6/3 4:15:17

基于异步IO的io_uring

基于异步IO的io_uring 1. io_uring的实现原理 io_uring使用了一种异步IO机制，它通过一对环形缓冲区(ring buffer)实现用户态于内核态之间的高效通信，用户只需将IO请求放入提交队列，当内核完成IO请求时，会将结果放入完成队列&…...

编程日记 2025/6/1 10:36:00

【redis】centos7下安装redis7

在CentOS 7下安装Redis7可以通过以下两种方法实现：手动编译安装和使用YUM进行安装。 CentOS 7系统的环境和版本： $ cat /etc/centos-release CentOS Linux release 7.9.2009 (Core)手动编译安装参考官方文档：https://redis.io/docs/lates…...

编程日记 2025/6/4 4:10:07

信息系统项目管理-采购管理-采购清单示例

序号类别产品/服务名称规格/功能描述数量备注1硬件服务器高性能处理器，大容量存储10HP、DELL2网络设备高速路由器和交换机10华为3工作站多核处理器，高分辨率显示器25国产设备4移动检查设备手持式移动检查仪，可连接云平台30国产设备5打印机和扫…...

编程日记 2025/6/2 21:19:00

python 代码使用 DeepXDE 库实现了一个求解二维非线性偏微分方程（PDE）的功能

import deepxde as dde import numpy as np import matplotlib.pyplot as plt import tensorflow as tf# 设置时空计算域 Lx 1 # x 范围从 0 到 1 Ly 1 # y 范围从 0 到 1 Lt 0.05 # t 范围从 0 到 0.05 geom dde.geometry.Rectangle([0, 0], [Lx, Ly]) # 空间域 timed…...

编程日记 2025/5/30 10:54:19

后端技术选型 sa-token校验学习下结合项目学习后端鉴权

目录后端注册拦截器实现对 WebMvcConfigurer 接口的类实现静态变量方法重写注册 Spring Framework拦截器 Sa-Token中SaServletFilter拦截器思考为什么使用两个拦截器 1. Spring Framework 拦截器 2. SaServletFilter 为什么要注册两个拦截器？ 总结 …...

编程日记 2025/6/1 11:07:51

继承（8）

大家好，今天我们来学习一下继承方式相关的知识，有助于我们对java的继承有更深的了解，话不多说，来看。 1.10 继承方式在现实生活中,事物之间的关系是非常复杂,灵活多样。 Java中支持以下几种继承方式: 单继承： 多层…...

编程日记 2025/6/3 20:22:40

深度学习-图神经网络-超图概念及在Hyper-YOLO的应用（小白也看懂）

为什么需要超图？ 在一个复杂系统中，某些节点（实体）之间的互动可能不是仅限于两个节点之间的关系，而是多个节点同时参与的更复杂的关系（超边）。简单说就是为了更好的描述事物之间的关系&#xf…...

编程日记 2025/6/3 6:48:58

django基于Python的校园个人闲置物品换购平台

Django 基于 Python 的校园个人闲置物品换购平台一、平台概述 Django 基于 Python 的校园个人闲置物品换购平台是专为校园师生打造的一个便捷、环保且充满活力的线上交易场所。它借助 Django 这一强大的 Python Web 开发框架，整合了校园内丰富的闲置物品资源&…...

编程日记 2025/6/3 2:40:15

opencv的NLM去噪算法

NLM（Non-Local Means）去噪算法是一种基于图像块（patch）相似性的去噪方法。其基本原理是： 图像块相似性：算法首先定义了一个搜索窗口（search window），然后在该窗口内寻找…...

编程日记 2025/6/1 15:59:07

嵌入式系统中的 OpenCV 与 OpenGLES 协同应用

🎬 秋野酱：《个人主页》 🔥 个人专栏:《Java专栏》《Python专栏》 ⛺️心若有所向往,何惧道阻且长文章目录一、OpenCV 在嵌入式中的基石地位二、OpenGLES 为嵌入式图形渲染赋能三、二者协同的精妙之处四、面临的挑战与应对策略在嵌入式开…...

编程日记 2025/6/2 1:22:05

第三十六章 Spring之假如让你来写MVC——拦截器篇

Spring源码阅读目录第一部分——IOC篇第一章 Spring之最熟悉的陌生人——IOC 第二章 Spring之假如让你来写IOC容器——加载资源篇第三章 Spring之假如让你来写IOC容器——解析配置文件篇第四章 Spring之假如让你来写IOC容器——XML配置文件篇第五章 Spring之假如让你来写…...

编程日记 2025/6/2 10:34:43

DDD - 如何运用 DDD 进行数据库设计

文章目录 Pre概述领域对象持久化的思想领域模型的设计传统的 4 种关系1. 一对一关系2. 多对一关系3. 一对多关系4. 多对多关系继承关系的 3 种设计1. 继承关系的第一种方案：整个父类与子类都写入一张表2. 继承关系的第二种方案：各子类各自对应各自的表3…...

编程日记 2025/5/30 13:49:42

OSPF - 特殊报文与ospf的机制

👠1 携带FA地址的5类LSA 除去7类转5类的LSA会携带FA地址，还有一种情况会有FA地址 FA地址:forwarding address 转发地址，解决次优路径，避免环路5类LSA FA地址不为0，则直接通过FA地址去往目标网段 FA地址为0&#xff0c…...

编程日记 2025/5/30 19:26:05

VSCode 插件

VSCode 插件 1. GitHub Copilot - AI 代码助手功能：根据上下文提供实时代码补全，支持自然语言转代码，提供符合现代编程规范的建议。进阶技巧： 使用快捷键 Alt ] 切换多个建议。写注释时，描述业务逻辑而不是具体实现…...

编程日记 2025/6/3 13:30:19

jQuery CSS 类

jQuery CSS 类引言在网页设计和开发中，CSS（层叠样式表）起着至关重要的作用，它负责定义网页的布局、颜色、字体等视觉效果。jQuery，作为一个快速、小巧且功能丰富的JavaScript库，极大地简化了HTML文档的…...

编程日记 2025/6/3 20:40:15

CentOS下安装Docker

Docker 必须要在Linux环境下才能运行，windows下运行也是安装虚拟机后才能下载安装运行，菜鸟教程下载安装 linux 依次执行下边步骤更新 yum yum update 卸载旧的Docker yum remove docker docker-client docker-client-latest docker-common doc…...

编程日记 2025/6/3 8:14:02

SQLAlchemy

https://docs.sqlalchemy.org.cn/en/20/orm/quickstart.htmlhttps://docs.sqlalchemy.org.cn/en/20/orm/quickstart.html 声明模型在这里，我们定义模块级构造，这些构造将构成我们从数据库中查询的结构。这种结构被称为声明式映射，它同时定…...

编程日记 2025/6/2 2:58:31

2025年第三届“华数杯”国际赛A题解题思路与代码（Python版）

游泳竞技策略优化模型代码详解第一题：速度优化模型在这一部分，我们将详细解析如何通过数学建模来优化游泳运动员在不同距离比赛中的速度分配策略。 1. 模型概述我们的模型主要包含三个核心文件： speed_optimization.py: 速度优化的核…...

编程日记 2025/5/31 8:02:09

深入架构剖析博客点赞逻辑 strategy 策略模式策略接口上下文具体策略项目实战

目录点赞策略上下文策略上下文代码详解 1. 策略模式概述 2. 核心组件 3. 代码解读 LikeStrategyContext 类 LikeTypeEnum 枚举 LikeStrategy 接口具体策略类 4. 如何使用这个设计 5. 优点 6. 总结具体代码实现定义枚举类从控制层传入参数到上下文在策略上…...

编程日记 2025/6/4 1:20:54

嵌入式Linux之C语言开发基础

一、C 语言编译过程 Linux 的 C 语言开发，一般选择 GCC 工具链进行编译，示例： 1.mkdir helloworld 2.cd helloworld // 1.main.c #include "hello.h" int main() {say_hello();return 0; } // 2.hello.h #ifndef __HELLO_H__ #de…...

编程日记 2025/5/31 17:50:05

std::accumulate

std::accumulate 是 C 标准库中的一个算法，定义在 <numeric> 头文件中。它用于计算给定范围内元素的累积值（通常是一个和，但也可以是其他类型的累积操作）。 template< class InputIt, class T > T accumulate( Input…...

编程日记 2025/6/1 4:21:14

计算机网络（33）传输控制协议TCP概述

一、定义与基本概念 TCP是一种面向连接的、可靠的、基于字节流的传输层通信协议。它工作在OSI模型的第四层，即传输层，为用户提供可靠的、有序的和无差错的数据传输服务。TCP协议与UDP协议是传输层的两大主要协议，但两者在设计上有明显的不同&…...

编程日记 2025/5/30 23:51:19

Gitee图形界面上传（详细步骤）

目录 1.软件安装 2.安装顺序 3.创建仓库 4.克隆远程仓库到本地电脑提交代码的三板斧 1.软件安装 Git - Downloads (git-scm.com) Download – TortoiseGit – Windows Shell Interface to Git 2.安装顺序 1. 首先安装git-2.33.1-64-bit.exe，顺序不能搞错2. …...

编程日记 2025/5/28 7:17:02

【STM32-学习笔记-6-】DMA

文章目录 DMAⅠ、DMA框图Ⅱ、DMA基本结构Ⅲ、不同外设的DMA请求Ⅳ、DMA函数Ⅴ、DMA_InitTypeDef结构体参数①、DMA_PeripheralBaseAddr②、DMA_PeripheralDataSize③、DMA_PeripheralInc④、DMA_MemoryBaseAddr⑤、DMA_MemoryDataSize⑥、DMA_MemoryInc⑦、DMA_DIR⑧、DMA_Buff…...

编程日记 2025/6/3 22:59:15

苍穹外卖08——（涉及接收日期格式数据、ApachePOI导出报表、sql获取top10菜品数据）

营业额统计 service层在需要处理空值、与数据库交互或使用集合时，Integer 、Double是更好的选择。 // 导入string工具类 import org.apache.commons.lang.StringUtils; Service // 标记该类为Spring的服务组件 Slf4j // 引入日志功能 public class Repor…...

编程日记 2025/5/31 10:25:09

Node.js——fs（文件系统）模块

个人简介 👀个人主页： 前端杂货铺 🙋‍♂️学习方向： 主攻前端方向，正逐渐往全干发展 📃个人状态： 研发工程师，现效力于中国工业软件事业 🚀人生格言： 积跬步…...

编程日记 2025/6/2 0:57:49

【Docker】入门教程

目录一、Docker的安装二、Docker的命令 Docker命令实验 1.下载镜像 2.启动容器 3.修改页面 4.保存镜像 5.分享社区三、Docker存储 1.目录挂载 2.卷映射四、Docker网络 1.容器间相互访问 2.Redis主从同步集群 3.启动MySQL 五、Docker Compose 1.命令式安装 …...

编程日记 2025/6/3 4:14:20

Ubuntu中使用miniconda安装R和R包devtools

安装devtools环境包 sudo apt-get install gfortran -y sudo apt-get install build-essential -y sudo apt-get install libxt-dev -y sudo apt-get install libcurl4-openssl-dev -y sudo apt-get install libxml2.6-dev -y sudo apt-get install libssl-dev -y sudo apt-g…...

编程日记 2025/6/3 13:09:16