当前位置：首页 > news >正文

k8s node inode被耗尽如何处理?

news 来源：原创 2025/9/19 17:43:15

当 Kubernetes 节点因 inode 被耗尽导致 Pod 无法调度或运行异常时，需结合 Kubernetes 特性和 Linux 系统管理方法处理。以下是详细步骤：

1. 确认 inode 耗尽

首先登录问题节点，检查 inode 使用率：

# 查看全局 inode 使用情况
df -i# 输出示例：
Filesystem     Inodes   IUsed  IFree IUse% Mounted on
/dev/nvme0n1p1 5242880 5242880     0  100% /var/lib/docker

若 IUse% 达到 100%，说明 inode 已耗尽。

2. 快速清理 inode

(1) 清理 Kubernetes 相关临时文件

终止状态的 Pod：

kubectl delete pod --field-selector=status.phase=Failed --all-namespaces

残留的容器和镜像：

# 清理未运行的容器和悬空镜像
docker system prune -af  # Docker 运行时
crictl rmi --prune       # Containerd 运行时

(2) 清理系统日志和 Pod 日志

Kubernetes Pod 日志：

# 清理 /var/log/pods 中的旧日志
sudo find /var/log/pods -name "*.log" -type f -mtime +7 -delete

系统日志：

sudo journalctl --vacuum-time=7d  # 保留最近 7 天日志
sudo rm -rf /var/log/journal/*    # 手动清理日志文件

(3) 清理 Docker/Containerd 存储

检查 Docker 存储目录：

sudo du -sh /var/lib/docker/overlay2/* | sort -rh

删除无效的容器层目录（确认无活跃容器使用后）：

sudo rm -rf /var/lib/docker/overlay2/<hash>-*

3. 定位 inode 占用来源

(1) 查找小文件密集目录

# 统计根目录下各子目录的 inode 数量
sudo find / -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -nr

# 常见高 inode 目录：
# - /var/lib/docker/overlay2（容器层）
# - /var/lib/kubelet/pods（Pod 数据）
# - /var/log/pods（Pod 日志）

(2) 使用 `ncdu` 工具可视化分析

sudo ncdu /  # 扫描根目录

按 Enter 进入子目录，按 d 删除无用文件。

4. Kubernetes 相关配置优化

(1) 限制 Pod 日志大小

在 Pod 配置中限制日志卷大小：

apiVersion: v1
kind: Pod
metadata:name: mypod
spec:containers:- name: mycontainerimage: nginxvolumeMounts:- name: log-volumemountPath: /var/log/nginxvolumes:- name: log-volumeemptyDir:sizeLimit: 100Mi  # 限制日志目录大小

(2) 配置 kubelet 自动清理镜像

修改 kubelet 参数，定期回收未使用的镜像：

# 编辑 kubelet 配置文件（如 /etc/kubernetes/kubelet.conf）
--image-gc-high-threshold=85  # 当磁盘使用率超过 85% 时触发清理
--image-gc-low-threshold=80   # 清理至磁盘使用率降至 80%

5. 长期预防措施

(1) 监控 inode 使用率

部署 Node Exporter + Prometheus + Grafana：

通过 Node Exporter 采集节点 inode 指标。
设置告警规则（例如 node_filesystem_files_free{device!~"tmpfs"} < 1000）。

(2) 定期清理任务

创建 CronJob 自动清理旧文件：

apiVersion: batch/v1
kind: CronJob
metadata:name: log-cleaner
spec:schedule: "0 0 * * *"jobTemplate:spec:template:spec:containers:- name: cleanerimage: alpinecommand:- /bin/sh- -c- find /var/log/pods -name "*.log" -mtime +7 -deleterestartPolicy: OnFailurehostPID: truehostNetwork: truevolumes:- name: host-loghostPath:path: /var/log/pods

(3) 调整文件系统 inode 数量（谨慎操作）

如果节点磁盘允许重新格式化，可调整 inode 密度：

# 格式化 ext4 文件系统时指定更小的 inode 比例（增加 inode 总数）
mkfs.ext4 -i 8192 /dev/sdb1  # 默认 16384 bytes/inode

注意：此操作会清空磁盘数据，仅适用于新节点或非生产环境！

6. 扩展磁盘或迁移负载

扩容磁盘：直接扩展节点磁盘大小（云环境通常支持在线扩容）。

迁移 Pod：将 Pod 调度到其他节点：

kubectl drain <node-name> --ignore-daemonsets  # 排空节点
kubectl uncordon <node-name>                   # 恢复节点

总结

应急处理：清理 Pod 日志、容器残留文件和系统日志。
根因分析：通过 find 或 ncdu 定位小文件密集目录。
预防措施：监控 inode、限制日志大小、定期清理任务。
终极方案：扩容磁盘或调整文件系统 inode 分配。

k8s node inode被耗尽如何处理?

当 Kubernetes 节点因 inode 被耗尽导致 Pod 无法调度或运行异常时，需结合 Kubernetes 特性和 Linux 系统管理方法处理。以下是详细步骤： 1. 确认 inode 耗尽首先登录问题节点，检查 inode 使用率： # 查看全局 inode 使用情况 …...

编程日记 2025/9/19 17:43:15

机器学习之PCA主成分分析详解

文章目录引言一、PCA的概念二、PCA的基本数学原理2.1 内积与投影2.2 基2.3 基变换2.4 关键问题及优化目标2.5 方差2.6 协方差2.7 协方差矩阵2.8 协方差矩阵对角化三、PCA执行步骤总结四、PCA参数解释五、代码实现六、PCA的优缺点七、总结引言在机器学习领域，我…...

编程日记 2025/9/19 15:41:26

leetcode797图论-对邻接矩阵和邻接表不同形式进行dfs与bfs遍历方法

给你一个有 n 个节点的有向无环图（DAG），请你找出所有从节点 0 到节点 n-1 的路径并输出（不要求按特定顺序） graph[i] 是一个从节点 i 可以访问的所有节点的列表（即从节点 i 到节点 graph[i][j]存在一条有向…...

编程日记 2025/9/17 15:29:35

Spark核心架构与RDD：大数据处理的基石

Apache Spark作为新一代分布式计算引擎，其高效性和灵活性源于独特的运行架构与核心数据结构RDD。本文简要解析Spark的核心组件及RDD的核心特性，帮助开发者快速理解其设计思想。一、Spark运行架构 Spark采用标准的**Master-Slave架构，核心组…...

编程日记 2025/9/18 17:20:22

Python Orange：托拉拽玩转机器学习、数据挖掘！

相比写代码做数据挖掘，Python Orange简直是懒人和新手的救星！传统编程得敲一行行代码，调库、debug 累得要死，而Orange靠拖拽就能搞定数据导入、清洗、可视化、建模、评估和无监督学习，支持跨Windows、Mac、Linux平台随…...

编程日记 2025/9/19 11:25:51

K8S学习之基础七十七：istio实现超时功能

istio实现超时功能模拟客户端调用 nginx，nginx 将请求转发给 tomcat。nginx 服务设置了超时时间为2秒，如果超出这个时间就不在等待，返回超时错误。tomcat服务设置了响应时间延迟10秒，任何请求都需要等待10秒后才能返回。client …...

编程日记 2025/9/18 18:49:58

EFA-YOLO：一种高效轻量的火焰检测模型解析

论文地址：https://arxiv.org/pdf/2409.12635 目录论文地址：https://arxiv.org/pdf/2409.12635 一、论文结构解析二、核心创新点解读 1. EAConv（高效注意力卷积） 2. EADown（高效下采样）三、实验结果对比 1. 精度指标对比 2. 实际检测效果四、应用场景展望 …...

编程日记 2025/9/19 17:38:42

PyQt6实例_A股财报数据维护工具_解说并数据与完整代码分享

目录 1 20250403之前的财报数据 2 整个项目代码 3 工具使用方法 3.1 通过akshare下载 3.2 增量更新 3.3 查看当前数据情况 3.4 从数据库中下载数据视频 1 20250403之前的财报数据通过网盘分享的文件：财报三表数据20250403之前.7z 链接: https://pan.ba…...

编程日记 2025/9/18 22:44:20

【AAOS】【源码分析】CarAudioService（二）-- 功能介绍

汽车音频是 Android 汽车操作系统 (AAOS) 的一项功能，允许车辆播放信息娱乐声音，例如媒体、导航和通信。AAOS 不负责具有严格可用性和时间要求的铃声和警告，因为这些声音通常由车辆的硬件处理。将汽车音频服务集成在汽车中，彻底改变了驾驶体验，为驾驶员和乘客提供了音乐、…...

编程日记 2025/9/19 17:40:49

Python星球日记 - 第18天：小游戏开发（猜数字游戏）

🌟引言： 上一篇：Python星球日记 - 第17天：数据可视化名人说：路漫漫其修远兮，吾将上下而求索。（屈原《离骚》） 创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程…...

编程日记 2025/9/19 5:16:17

ShopXO v2.2.4开源商城手动部署(保姆级)+异常处理

ShopXO v2.2.4开源商城手动部署(保姆级) 1.项目了解 1.1项目简洁 ShopXO国内领先企业级免费开源电商系统！ 求实进取、创新专注、自主研发、国内领先企业级电商系统解决方案。遵循MIT开源协议发布，无需授权、可商用、可二次开发、满足99%的电商运营需…...

编程日记 2025/9/19 5:02:12

Android Studio - 解决 Please Select Android SDK

一、出现的问题点击 Run 后弹窗，图一位置出现图二提示。二、解决办法进入 Tools -> SDK Manager，在 Android SDK Location 点击 Edit，一直 Next 就解决了。...

编程日记 2025/9/18 11:11:49

Java 列表初始化全解析：7种方式详解与最佳实践

文章目录 **引言****1. 传统逐个添加元素****特点****注意事项** **2. Arrays.asList() 构造函数****特点****注意事项** **3. 双括号初始化（匿名内部类）****特点****注意事项** **4. Java 9 List.of()（不可变列表）****特点****注…...

编程日记 2025/9/18 10:00:21

python之安装PaddlePaddle和PaddleX解析pdf表格

目录标题飞桨PaddlePaddle本地安装教程1-1. 基于 Docker 安装飞桨1-2. 基于 pip 安装飞桨2. 我两个环境都选择的是pip 安装10. 如果报错10. 离线安装飞桨PaddlePaddle本地安装教程源码下载：https://github.com/PaddlePaddle/PaddleX/blob/release/3.0-beta1/do…...

编程日记 2025/9/19 16:13:18

MLA（Multi-Level Adaptive）融合算子全院级医疗编程探析（代码版）

MLA（Multi-Level Adaptive）融合算子的AI医疗技术原理、实现方法及医疗应用场景的深度解析： 一、MLA融合算子技术本质 1. 核心设计理念 MLA是一种硬件感知的算子重组技术，通过打破传统深度学习框架的算子边界，实现&a…...

编程日记 2025/9/18 12:05:56

Python----概率论与统计（概率论，互斥事件和概率和，非互斥事件和概率和，独立性事件，生日问题，条件概率）

一、概率论 1.1、概率论概率论是研究随机现象的一门数学学科。它为不确定性提供了一个量化的框架，允许我们衡量事件发生的可能性。概率论研究随机现象，用于量化和分析不确定性。它的基本概念包括： 样本空间（Sample Space&…...

编程日记 2025/9/17 19:57:17

Ubuntu24.04 编译 Qt 源码

一：Ubuntu 把 Qt 拆成了多个源码包： 1. 基础包 2. 可选包二：编译 qtbase-opensource-src 1. 配置源（修改 /etc/apt/sources.list.d/ubuntu.sources) 2. 下载代码 apt source qtbase-opensource-src3. 安装依赖 sudo a…...

编程日记 2025/9/17 21:19:19

INSERT INTO book VALUES (1, ‘楚辞’, ‘屈原’, ‘中国文联出版社’, ‘0’) 1366 - Incorrect string value: ‘\xE6\xA5\x9A\xE8\xBE\x9E’ for column ‘name’ at row 1 查询时间: 0 秒查看字符集设置 SHOW VARIABLES LIKE character_set%; SHOW VARIABLES LIKE colla…...

编程日记 2025/9/18 15:31:56

在Ubuntu系统如何让MySQL服务器支持远程连接

目录问题描述解决方案步骤一：检查MySQL配置文件编辑步骤二：修改bind-address参数编辑步骤三：重启MySQL服务步骤四：验证更改步骤五：检查防火墙设置步骤六：测试远程连接注意事项 …...

编程日记 2025/9/14 8:19:35

【期中准备】电路基础（西电）

电路题型：填空，简答（概念），计算 PPT 1.X 电压和电流的参考方向一致，称为关联参考方向消耗功率为正数：负载和电源由功率正负来定义电路中所有原件功率之和为0（“自产自销”&#…...

编程日记 2025/9/19 5:20:01

mysql 重复读自己事务中可以看到新插入数据

推荐好文吃透MySQL（六）：事务详细介绍地址转发https://blog.csdn.net/u013277209/article/details/113585022 开启客户端 mysql -u 账号名 -p 输入密码在一个事务中 mysql> set session transaction isolation level repeatable…...

编程日记 2025/9/15 9:01:53

Java后端开发-面试总结（集结版）

第一个问题，在 Java 集合框架中，ArrayList和LinkedList有什么区别？在实际应用场景中，应该如何选择使用它们？ ArrayList 基于数组，LinkedList 基于双向链表。在查询方面 ArrayList 效率高，添加…...

编程日记 2025/9/18 15:11:00

Python第八章03：Pyecharts快速入门

# pyecharts快速入门# 一、折线图基础应用# 导入python包 from pyecharts.charts import Line from pyecharts.options import TitleOpts,LegendOpts,ToolboxOpts,VisualMapOpts,TooltipOpts,DataZoomOpts# 创建一个折线图对象 line Line() # 给折线图对象添加x、y轴的数据 l…...

编程日记 2025/9/17 14:08:07

BUUCTF-web刷题篇(17)

26.BabyUpload 源码：https://github.com/imaginiso/GXY_CTF/tree/master/Web/babyupload 查看题目源码： 写着：SetHandler application/x-httpd-php 通过源码可以看出这道文件上传题目主要还是考察.htaccess配置文件的特性，倘若…...

编程日记 2025/9/14 19:40:32

openfga原理及简单落地方案设计

源码地址 https://github.com/openfga OpenFGA 是一款高性能且灵活的授权/许可引擎，专为开发人员打造，灵感来自Google Zanzibar。它将强大的基于关系的访问控制 (ReBAC)和基于属性的访问控制 (ABAC)概念与领域特定语言相结合，可以轻松制定可以扩展和发展到任何规模的任何用例…...

编程日记 2025/9/15 23:44:57

混合并行技术在医疗AI领域的应用分析（代码版）

混合并行技术（专家并行/张量并行/数据并行）通过多维度的计算资源分配策略，显著提升了医疗AI大模型的训练效率与推理性能。以下结合技术原理与医疗场景实践，从策略分解、技术对比、编排优化及典型案例等维度展开分析：一、混合并行技术：突破单卡算力限制 1. 并行策略三维分…...

编程日记 2025/9/19 14:20:08

深信服安全运营面试题

《网安面试指南》https://mp.weixin.qq.com/s/RIVYDmxI9g_TgGrpbdDKtA?token1860256701&langzh_CN 5000篇网安资料库https://mp.weixin.qq.com/s?__bizMzkwNjY1Mzc0Nw&mid2247486065&idx2&snb30ade8200e842743339d428f414475e&chksmc0e4732df793fa3bf39…...

编程日记 2025/9/18 19:50:31

基于IDEA+SpringBoot+Mave+Thymeleaf的系统实现

一. 安装IntelliJ IDEA 下载并安装IntelliJ IDEA Ultimate或Community版 2024年最新版IntelliJ IDEA下载安装过程（含Java环境搭建） 二、下载 Maven 访问官网下载打开浏览器，访问 Maven 官方下载页面： Download Apache Maven –…...

编程日记 2025/9/10 18:17:38

用Python爬虫抓取数据并保存为JSON的完整指南

本文将深入探讨如何利用Python爬虫技术抓取网页数据，并通过专业的数据处理流程将其保存为JSON格式。我们将以电商网站产品数据抓取为例，演示从基础实现到生产级优化的完整流程，涵盖反爬策略应对、数据清洗和大规模存储等关键环节。一、环境…...

编程日记 2025/9/18 15:26:41

Tigshop| 一个基于Java的开源商城系统

在电商竞争愈发激烈的当下，一个强大且适配的商城系统是商家制胜的法宝 Tigshop官网 - 开源商城系统https://www.tigshop.com/ 一、卓越技术根基前端体验升级 Tigshop 运用 Vue3 与 TypeScript 搭建前端。Vue3 的响应式系统和 Composition API，让页…...

编程日记 2025/9/19 3:26:59

Windows 部署项目 apache + mod_wsgi，nginx + waitress

文章目录 1、apache mod_wsgi，nginx waitress两种部署方式的区别2、以nginx waitress为例有些项目必须部署在windows上，有IIS wfastcgi、apache mod_wsgi，nginx waitress部署方式 1、apache mod_wsgi，nginx waitress两种…...

编程日记 2025/9/19 14:28:10

RabbitMQ惰性队列的工作原理、消息持久化机制、同步刷盘的概念、延迟插件的使用方法

惰性队列工作原理惰性队列通过尽可能多地将消息存储到磁盘上来减少内存的使用。与传统队列相比，惰性队列不会主动将消息加载到内存中，而是尽量让消息停留在磁盘上，从而降低内存占用。尽管如此，它并不保证所有操作都是同步写入磁…...

编程日记 2025/9/17 15:12:44

Prompt_Engineering提示词工程（一）

一、Prompt（提示词） Prompt（提示词）是给AI模型交互文本片段，用于指导模型生成符合预期输出结果，提示词的目的是为模型提供一个上下文的任务，以便模型能够更准确地理解用户的意图，并…...

编程日记 2025/9/17 7:25:53

探索 Shell 中的扩展通配符：从 Bash 到 Zsh

在 Unix 系统中，通配符（globbing）是 shell 的核心功能，用于快速匹配文件或目录。基础通配符（如 *、?、[]）虽简单实用，但在复杂场景下往往力不从心。为此，许多现代 shell 提供了“扩…...

编程日记 2025/9/17 17:36:57

电脑清洁常用工具

清洁布：用于擦拭电脑表面和屏幕。一般选择柔软、不掉毛的微纤维清洁布，它能有效去除灰尘和污渍，同时不会刮伤电脑表面。压缩空气罐：可以产生强力气流，用于吹走电脑内部的灰尘，如主机箱、键盘缝隙等部位的灰…...

编程日记 2025/9/19 16:11:31

深入理解Spring是如何解决循环依赖的

1、简介循环依赖在 Spring 框架中，循环依赖是指两个或多个 Bean 互相依赖，形成了一个闭环。例如，Bean A 依赖于 Bean B，而 Bean B 又依赖于 Bean A。这种依赖关系可能会导致初始化失败。Spring 提供了一种机制来解决这种循环依赖…...

编程日记 2025/9/12 0:07:27

AIGC时代的新风口！MCP协议引领未来无限可能

文章目录一、引言二、MCP的定义与架构三、MCP的使用案例1. Cursor MCP Figma：工程化项目自动化2. Claude Desktop与本地文件系统交互3. 智能客服系统中的MCP应用四、MCP的应用前景1. 更广泛的应用场景拓展2. 更高的性能要求和优化3. 更强的安全性和隐私保护措施…...

编程日记 2025/9/19 2:54:18

NO.81十六届蓝桥杯备战|数据结构-Trie树-字典树-前缀树|于是他错误的点名开始了|最大异或对 The XOR Largest Pair(C++)

字典树的概念 Trie树⼜叫字典树或前缀树，是⼀种能够快速插⼊和查询字符串的数据结构。它利⽤字符串的公共前缀，将字符串组织成⼀棵树形结构，从⽽⼤⼤提⾼了存储以及查找效率。我们可以把字典树想象成⼀棵多叉树，每⼀条边代表⼀个…...

编程日记 2025/9/15 15:49:15

go语言应该如何学习

以下是学习Go语言的高效路径及关键技巧，结合多个优质来源整理而成，适合不同基础的学习者： 一、基础语法快速入门（1-2周） 1、环境搭建下载安装Go SDK，配置GOPATH和GOROOT环境变量，推荐使用Go…...

编程日记 2025/9/18 13:16:38

struct结构体、union联合体和枚举

目录一、结构体的声明和使用 1.1 结构体正常声明和创建 1.2 结构体特殊声明 1.3 结构体的自引用二、结构体内存对齐 2.1 对齐规则 2.2 #pragma修改三、结构体传参四、结构体位段 4.1 位段内存分配 4.2 位段内存应用五、结构体中的柔性数组概念六、union联合…...

编程日记 2025/9/18 11:44:05

el-tree 实现树形菜单子级取消选中后父级选中效果不变

背景在复杂的企业级管理系统中，树形菜单是一种常见的数据展示和交互组件。传统的树形菜单通常存在以下交互局限：子节点取消选中时，父节点会自动取消选中无法满足复杂的权限分配和数据筛选场景实际应用场景：组织架构权限管理多层级资源分配复杂的数据筛选与展示实现需求…...

编程日记 2025/9/16 4:33:05

centos7系统搭建nagios监控

~监控节点安装 1. 系统准备 1.1 更新系统并安装依赖 sudo yum install -y httpd php php-cli gcc glibc glibc-common gd gd-devel make net-snmp openssl-devel wget unzip sudo yum install -y epel-release # 安装 EPEL 仓库 sudo yum install -y automake autoconf lib…...

编程日记 2025/9/16 6:06:18

Gitlab的迁移升级

Gitlab11.6.5的迁移升级 Gitlab升级是不能跨大版本升级的，根据官方升级路径来操作。 gitlab迁移首先需要查看当前gitlab版本 cat /opt/gitlab/embedded/service/gitlab-rails/VERSION 当前版本是11.6.5 备份源数据原仓库备份所有的文件 /opt/gitlab/bin/git…...

编程日记 2025/9/17 11:10:36

C++11QT复习（十九）

文章目录 Day13 C 时间库和线程库学习笔记（Chrono 与 Thread）一、时间库 <chrono>1.1 基本概念1.2 使用示例1.3 duration 字面量单位二、线程库 <thread>2.1 基本用法2.2 数据竞争（Race Condition）2.3 加锁&#xff…...

编程日记 2025/9/18 18:39:22

3 版本控制：GitLab、Jenkins 工作流及分支开发模式实践

一、引言在软件开发过程中，版本控制是保障代码质量、提高开发效率的关键环节。有效的版本控制能够帮助团队成员更好地协作，追踪代码变更，快速定位和解决问题。GitLab 和 Jenkins 作为两款广泛使用的工具，在版本控制和持续集成 / 持续部署（CI/CD）流程中发挥着重要作用。本…...

编程日记 2025/9/19 11:52:54

docker配置远程连接，dockerfile-maven-plugin插件打包到远程

我开发机器上的内存不大，能不安装在本地的应用就都跑在服务器上了，但是本地打包时需要用到docker打包成镜像，这时会本地运行docker，所以准备本地只使用docker客户端，连接服务器上的docker服务端服务端配置 docker服…...

编程日记 2025/9/19 14:56:30

Skyline配置指南-微信小程序

Skyline 是微信小程序推出的新一代渲染引擎，提供了更强大的渲染能力和更流畅的性能体验。以下是配置 Skyline 的详细步骤： 一、app.json文件配置 "componentFramework": "glass-easel", "lazyCodeLoading": "requi…...

编程日记 2025/9/18 23:53:30

【c语言】倒置字符串

将一句话的单词进行倒置，符号不变，用例长度不超过100 思路： 逆序整个字符串逆序每个单词 #include <stdio.h> #include <string.h> void reverse(char* left, char* right) {while (left < right) {//char *tmp left;//error…...

编程日记 2025/9/18 3:20:39

MySQL多表查询实战指南：从SQL到XML映射的完整实现（2W+字深度解析）

MySQL多表查询实战指南：从SQL到XML映射的完整实现（2W+字深度解析）第一章多表查询基础与核心原理 1.1 关系型数据库设计范式以电商系统为例的三范式实践： -- 原始数据表（违反第三范式） CREATE TABLE orders (order_id INT PRIMARY KEY,customer_name VARCHAR(50),p…...

编程日记 2025/9/11 0:13:37

【图书管理系统】全栈开发图书管理系统获取图书列表接口（后端：计算图书页数、查询当前页展示的书籍）

图书列表实现服务器代码(计算图书总数量查询当前页需要展示的书籍) 后端响应时，需要响应给前端的数据 records：第 pageNum 页要展示的图书有哪些（存储到List集合中）total：计算一共有多少本书（用于告诉前…...

编程日记 2025/9/10 0:21:21