k8s node soft lockup (内核软死锁) 优化方案
在 Kubernetes 环境中，Node 节点的内核软死锁（soft lockup）是一个严重的稳定性问题，可能导致节点无响应、Pod 调度失败甚至数据丢失。以下是针对该问题的优化策略和解决方案：
一、临时缓解措施
1. 调整内核 watchdog 阈值
增加软死锁检测时间，减少误报（但不解决根本问题）：
# 临时调整（重启后失效）
sysctl -w kernel.watchdog_thresh=30 # 默认 10 秒# 永久调整（/etc/sysctl.conf）
echo "kernel.watchdog_thresh=30" >> /etc/sysctl.conf
sysctl -p
2. 禁用不必要的内核模块
检查并禁用可能导致死锁的内核模块（如某些网卡驱动）：
# 临时禁用
modprobe -r <module_name># 永久禁用（/etc/modprobe.d/blacklist.conf）
echo "blacklist <module_name>" >> /etc/modprobe.d/blacklist.conf
如何确定哪些内核模块导致了软锁死？
参考：Linux操作系统如何确定哪些内核模块导致了软锁死？ -CSDN博客
二、硬件层面优化
1. 检查硬件健康状态
# 查看 CPU 温度
sensors# 检查内存错误
dmesg | grep -i memory
dmesg | grep -i ecc# 检查磁盘 SMART 状态
smartctl -a /dev/sda
2. 硬件升级或更换
- 更换故障内存条
- 升级 BIOS 到最新版本
- 更换不稳定的网卡或磁盘控制器
三、内核参数优化
1. 调整调度参数
# 增加内核抢占能力
echo "CONFIG_PREEMPT=y" >> /etc/kernel/config
# 或临时启用
sysctl -w kernel.preempt=1# 调整 RCU 超时参数
sysctl -w kernel.rcu_expedited=1
sysctl -w kernel.rcu_cpu_stall_timeout=60
2. 优化内存管理
# 减少内存碎片
sysctl -w vm.zone_reclaim_mode=0
sysctl -w vm.dirty_ratio=40
sysctl -w vm.dirty_background_ratio=10# 禁用透明大页
echo never > /sys/kernel/mm/transparent_hugepage/enabled
四、Kubernetes 层面优化
1. 资源请求与限制
确保 Pod 有合理的资源请求和限制，避免过度使用 CPU：
resources:requests:cpu: "500m"memory: "512Mi"limits:cpu: "1000m"memory: "1Gi"
2. 节点反亲和性
避免关键 Pod 集中在同一节点，降低资源竞争：
affinity:podAntiAffinity:requiredDuringSchedulingIgnoredDuringExecution:- labelSelector:matchExpressions:- key: appoperator: Invalues:- critical-apptopologyKey: "kubernetes.io/hostname"
五、监控与诊断工具
1. 启用内核调试选项
# 启用 lockdep 锁调试
echo 1 > /proc/sys/kernel/lockdep# 启用 ftrace 跟踪
mount -t debugfs none /sys/kernel/debug
2. 使用 perf 分析性能瓶颈
# 分析 CPU 热点
perf record -a -g -p <pid> sleep 30
perf report# 分析锁争用
perf record -e 'lock:*' -a sleep 30
perf report
3. 使用 bpftrace 跟踪内核行为
# 跟踪长时间持有锁的函数
bpftrace -e 'kprobe:spin_lock { @[kstack] = count(); }'
六、长期解决方案
升级内核版本：
# Ubuntu/Debian
apt update && apt upgrade linux-image-generic# CentOS/RHEL
yum update kernel
容器运行时优化：
- 使用最新版本的 containerd 或 Docker
- 调整 cgroup 配置（如
systemd.unified_cgroup_hierarchy=1）
节点自动替换：
- 配置 NodeProblemDetector 检测软死锁并自动替换节点
- 使用 Cluster Autoscaler 确保集群弹性
七、验证优化效果
# 检查内核日志是否还有软死锁警告
journalctl -k | grep "soft lockup"# 监控节点负载和资源使用情况
kubectl top nodes
注意事项
- 谨慎调整内核参数：不当的参数可能导致系统不稳定。
- 逐步验证：每次只调整一个参数，观察效果后再做下一步调整。
- 保留足够资源：确保节点有 10-20% 的 CPU 和内存余量，避免资源耗尽。
通过以上措施，可显著降低 Kubernetes 节点内核软死锁的发生率，提升集群稳定性。
相关文章：
 优化方案)
k8s node soft lockup (内核软死锁) 优化方案
在 Kubernetes 环境中，Node 节点的内核软死锁（soft lockup）是一个严重的稳定性问题，可能导致节点无响应、Pod 调度失败甚至数据丢失。以下是针对该问题的优化策略和解决方案： 一、临时缓解措施 1. 调整内核 watchdog…...
【LDM】视觉自回归建模：通过Next-Scale预测生成可扩展图像（NeurIPS2024最佳论文阅读笔记与吃瓜）
【LDM】视觉自回归建模：通过Next-Scale预测生成可扩展图像（NeurIPS2024最佳论文阅读笔记与吃瓜） 《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》 视觉自回归建模：通过Next-Scale预测…...
计算机网络-传输层
一、概述 1、逻辑通信：对等层之间的通信好像是沿着水平方向传送的，但两个对等层之间并没有一条水平方向的物理连接。 2、复用与分用 2.1传输层 复用：发送方不同的应用进程可以使用同一传输层协议传送数据 分用：接收方的传输层…...
MacOS+VSCODE 安装esp-adf详细流程
安装python3，省略vscode安装ESP-IDF插件，选择v5.2.5 版本，电脑需要能够访问github，esp-idf安装后的默认目录是: /Users/***/esp/v5.2.5/esp-idf# 启动***为省略名称在/Users/***/esp/ 目录下使用git clone 下载 esp-adf # 国内用…...
2025年5月HCIP题库（带解析）
某个ACL规则如下:则下列哪些IP地址可以被permit规则匹配： rule 5 permit ip source 10.0.2.0 0.0.254.255 A、10.0.4.5 B、10.0.5.6 C、10.0.6.7 D、10.0.2.1 试题答案：A;C;D 试题解析： 10.0.2.000001010.00000000.00000010.0000000…...
【Linux系统】vim编辑器的使用
文章目录 一、vim编辑器的简单介绍二、vim的一键化配置方案（目前只支持 Centos7 x86_64）三、vim编辑器在各模式下的操作1.vim的使用 以及 各模式间的切换2.普通模式（Normal Mode，初始默认处于该模式）3.替换模式&#x…...
网站主机控制面板深度解析：cPanel、Plesk 及其他主流选择
网站主机控制面板深度解析：cPanel、Plesk 及其他主流选择 在网站管理和服务器维护的领域，一个强大且易用的控制面板至关重要。它们能够将复杂的技术命令转化为直观的图形界面，极大简化了网站管理员的工作。本文将为您详细介绍市面上几款主流…...
【程序员AI入门：应用】7.LangChain是什么？
LangChain作为当前最热门的AI应用开发框架，正在重塑大语言模型（LLM）的应用生态。其核心价值在于解耦LLM能力与工程实现，构建起连接智能模型与现实世界的"神经网络"。 一、核心定位：AI应用的"操作系统&q…...
jenkins访问端口调整成80端口
使用 Nginx 反向代理解决以上问题，这样可以： 1. 保持 Jenkins 在其他端口（博主使用8090端口） 稳定运行 2. 通过 Nginx 将 80 端口的请求转发到 Jenkins 3. 更安全，因为 Jenkins 不需要直接监听 80 端口 4. 后续如果…...
如何从服务器日志中分析是否被黑客攻击？
一、关键日志文件定位与攻击特征分析 1. 核心日志文件路径 Web 服务器日志： Nginx：/var/log/nginx/access.log（访问日志）、/var/log/nginx/error.log（错误日志） Apache：/var/log/apache2/…...
[250504] Moonshot AI 发布 Kimi-Audio：开源通用音频大模型，驱动多模态 AI 新浪潮
目录 Moonshot AI 发布 Kimi-Audio：开源音频基础模型，赋能音频理解、生成与对话新时代核心能力与特性技术基础开放资源与评估行业意义 Moonshot AI 发布 Kimi-Audio：开源音频基础模型，赋能音频理解、生成与对话新时代 Moonshot A…...
)
OpenCV 图形API（77）图像与通道拼接函数-----对图像进行几何变换函数remap()
操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 对图像应用一个通用的几何变换。 函数 remap 使用指定的映射对源图像进行变换： dst ( x , y ) src ( m a p x ( x , y ) , m a p y…...
理清缓存穿透、缓存击穿、缓存雪崩、缓存不一致的本质与解决方案
在构建高性能系统中，缓存（如Redis） 是不可或缺的关键组件，它大幅减轻了数据库压力、加快了响应速度。然而，在高并发环境下，缓存也可能带来一系列棘手的问题，如：缓存穿透、缓存击穿、…...
Jetpack Compose 自定义 Slider 完全指南
自定义 Compose Slider 在 Jetpack Compose 中，你可以通过多种方式自定义 Slider 组件。以下是一些常见的自定义方法： 基本自定义 var sliderPosition by remember { mutableStateOf(0f) }Slider(value sliderPosition,onValueChange { sliderPosit…...
荣耀A8互动娱乐组件部署实录（终章：后台配置系统与整体架构总结）
作者：被配置文件的“开关参数”折磨过无数次的运维兼后端工 一、后台系统架构概述 荣耀A8组件后台采用 PHP 构建，配合 MySQL 数据库与 Redis 缓存系统，整体结构遵循简化版的 MVC 模式。后台主要实现以下核心功能： 系统参数调控与配置热更新 用户管理（封号、授权、角色） …...
本地文件批量切片处理与大模型精准交互系统开发指南
本地文件批量切片处理与大模型精准交互系统开发指南 一、系统架构设计 #mermaid-svg-yCbT2xBukW6iX98y {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-yCbT2xBukW6iX98y .error-icon{fill:#552222;}#mermaid-svg-y…...
homebrew安装配置Python（MAC版）
Mac系统自带python路径为: /System/Library/Frameworks/Python.framework/Versionbrew 安装 Python3 在终端输入以下命令： brew search python3 # 查看支持安装的版本 brew install python3就可以轻松easy安装python了，安装完成后提示 查看 pyth…...
STM32--RCC--时钟
教程 系统时钟 RCC RCC（Reset and Clock Control）是STM32微控制器中管理时钟和复位系统的关键外设模块，负责整个芯片的时钟树配置和复位控制。 RCC主要功能 时钟系统管理： 内部/外部时钟源选择 时钟分频/倍频配置 各外设时钟门…...
深度学习在油气地震资料反卷积中的应用
深度学习在油气地震资料反卷积中的应用 基本原理 在油气地震勘探中，反卷积(Deconvolution)是一种重要的信号处理技术，用于提高地震资料的分辨率。传统方法(如维纳滤波、预测反卷积等)存在对噪声敏感、假设条件严格等局限。深度学习方法通过数据驱动的方…...
实现滑动选择器从离散型的数组中选择
1.使用原生的input 详细代码如下： <template><div class"slider-container"><!-- 滑动条 --><inputtype"range"v-model.number"sliderIndex":min"0":max"customValues.length - 1"step&qu…...
基于 GO 语言的 Ebyte 勒索软件——简要分析
一种新的勒索软件变种，采用Go 语言编写，使用ChaCha20进行加密，并使用ECIES进行安全密钥传输，加密用户数据并修改系统壁纸。其开发者EvilByteCode曾开发过多种攻击性安全工具，现已在 GitHub 上公开 EByte 勒索软件。尽管该勒索软件声称仅用于教育目的，但滥用可能会导致严重…...
学习人工智能开发的详细指南
一、引言 人工智能（AI）开发是一个充满挑战与机遇的领域，它融合了数学、计算机科学、统计学、认知科学等多个学科的知识。随着大数据、云计算和深度学习技术的快速发展，AI已经成为推动社会进步和产业升级的关键力量。本文将为初学…...
使用图像生成式AI和主题社区网站助力运动和时尚品牌的新产品设计和市场推广的点子和实现
通过构建针对公司产品线的专有图像生成式AI模型，用户可以将自己对于产品的想法和偏好，变成设计发布到社区空间中与社区分享，也可以通过在产品经典款或使用社区空间中其它人的创作来重新设计。组织大型市场推广活动来宣传DIY设计理念ÿ…...
POI创建Excel文件
文章目录 1、背景2、创建表格2.1 定义表头对象2.2 Excel生成器2.3 创建模板2.4 处理Excel表头2.5 处理Excel内容单元格样式2.6 处理单个表头 3、追加sheet4、静态工具5、单元测试6、完整代码示例 1、背景 需求中有需要用户自定义Excel表格表头，然后生成Excel文件&a…...
CentOS虚拟机固定ip以及出现的问题
1.打开终端，进入网卡配置目录： cd etc/sysconfig/network-scripts 2.找到网卡配置文件，我这里是 ifcfg-ens32（替换成你自己的文件） 4.进入ifcfg-ens32，注释IPV6，修改别的参数如下图 TYPEEther…...
【Python】常用命令提示符
Python常用的命令提示符 一、Python环境基础命令【Windows】 于Windows环境下，针对Python，在CMD（命令提示符）常用的命令以及具体用法，怎么用； 主要包含：运行脚本、包管理、虚拟环境、调试与…...
Java引用RabbitMQ快速入门
这里写目录 Java发送消息给MQ消费者接收消息实现一个队列绑定多个消费者消息推送限制 Fanout交换机路由的作用Direct交换机使用案例 Java发送消息给MQ public void testSendMessage() throws IOException, TimeoutException {// 1.建立连接ConnectionFactory factory new Conn…...
USB接口的PCB设计
目录 USB接口简介 USB3.0接口 USB接口的电路设计 USB接口的PCB设计 USB接口简介 USB（通用串行总线）接口是一种广泛应用于电子设备的标准连接技术，自1996年由英特尔、微软等公司联合推出以来，逐步取代了传统串口、并口等复杂接…...
星纪魅族新品发布会定档5月13日，Note 16系列战神归来
5 月 13 日，星纪魅族将举办 Note 16 系列新品线上发布会。届时，国民严选魅族 Note 16 系列将战神归来，刷新用户对“高性价比科技”的想象，开启一场关乎「国民 AI 科技平权」的革新盛宴。 无创意不魅族，花式创意邀请即日…...
Jenkins+Newman实现接口自动化测试
🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 一、是什么Newman Newman就是纽曼手机这个经典牌子，哈哈，开玩笑啦。。。别当真，简单地说Newman就是命令行版的Postman&…...
window 显示驱动开发-线程和同步级别为零级
在零级线程处理和同步中，WDDM 允许以可重入的方式对显示微型端口驱动程序进行零级 DxgkDdi*Xxx 调用。 也就是说，多个线程可以通过调用零级 DDI 同时进入驱动程序。 驱动程序应预期系统中的任何线程会传入，并应相应地保护该线程的数据。 尽…...
RabbitMQ ①-MQ | Linux安装RabbitMQ | 快速上手
MQ MQ（Message Queue）即消息队列，是一种应用间通信的一种方式。消息队列是一种异步通信方式，生产者（Producer）将消息放入队列，消费者（Consumer）从队列中取出消息进行消费…...
tinyrenderer笔记（Shadow Mapping）
tinyrenderer个人代码仓库：tinyrenderer个人练习代码 前言 阴影是光线被阻挡的结果；当光源的光线由于其他物体的阻挡而无法到达物体表面时，该物体就会产生阴影。阴影能使场景看起来更真实，并让观察者获得物体之间的空间位置关系。…...
【quantity】1 SI Prefixes 实现解析（prefix.rs）
一、源码 // prefix.rs //! SI Prefixes (国际单位制词头) //! //! 提供所有标准SI词头用于单位转换，仅处理10的幂次 //! //! Provides all standard SI prefixes for unit conversion, handling only powers of 10.use typenum::{Z0, P1, P2, P3, P6, P9, P12, …...
如何开发一个笑话管理小工具
前言 笔者曾经开发过一个可以对笑话浏览、收藏、分类、编辑上传的小工具（笔者开发后台，另外一个朋友负责小程序前台开发），如今所租用的服务器到期了，特此记录一下。 数据层 部署数据库 # 拉取Mysql镜像 docker pull…...
Transformer-LSTM混合模型在时序回归中的完整流程研究
Transformer-LSTM混合模型在时序回归中的完整流程研究 引言与背景 深度学习中的长期依赖建模一直是时序预测的核心问题。长短期记忆网络（LSTM）作为一种循环神经网络，因其特殊的门控结构能够有效捕捉序列的历史信息，并在时序预测…...
深入浅出iOS性能优化：打造极致用户体验的实战指南
前言 在当今移动应用竞争激烈的时代，性能优化已经成为iOS开发中不可或缺的重要环节。一个性能优秀的应用不仅能给用户带来流畅的使用体验，还能减少设备资源消耗，延长电池寿命，提高用户留存率。本文将深入探讨iOS性能优化的各个方…...
Spring AI 与大语言模型工具调用机制详细笔记
一、基本概念 大语言模型（LLM）工具调用机制是一种允许AI模型与外部系统交互的技术框架，它使模型能够在对话过程中请求调用预定义的函数或服务。这种机制极大地扩展了大模型的能力边界，使其不再局限于静态知识，而是能够…...
数据清洗-电商双11美妆数据分析
1.数据读取（前八行） 2.数据清洗 2.1 因为数据中存在重复跟空值，将数据进行重复值处理 （删除重复值） 2.2 缺失值处理 存在的缺失值很可能意味着售出的数量为0或者评论的数量为0，所以我们用0来填补缺失值 2…...
公司项目架构搭建者
公司项目架构搭建者分析 项目架构搭建的核心角色 #mermaid-svg-FzOOhBwW3tctx2AR {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-FzOOhBwW3tctx2AR .error-icon{fill:#552222;}#mermaid-svg-FzOOhBwW3tctx2AR .err…...
广告场景下的检索平台技术
检索方向概述 数据检索领域技术选型大体分为SQL事务数据库、NoSQL数据库、分析型数据库三个类型。 SQL数据库的设计思路是采用关系模型组织数据，注重读写操作的一致性，注重数据的绝对安全。为了实现这一思路，SQL数据库往往会牺牲部分性能&…...
LintCode407-加一,LintCode第479题-数组第二大数
第407题: 描述 给定一个非负数，表示一个数字数组，在该数的基础上1，返回一个新的数组。 该数字按照数位高低进行排列，最高位的数在列表的最前面. 样例 1： 输入：[1,2,3] 输出：[1,2,4] 样例 …...
网络安全的范式革命：从被动防御到 AI 驱动的主动对抗
当黑客利用生成式 AI 在 30 秒内生成 10 万组钓鱼邮件，当恶意代码学会根据网络环境自主进化，传统网络安全防线正面临前所未有的挑战。2025 年，全球网络安全领域正在经历一场从 “被动挨打” 到 “主动出击” 的革命性转变，AI 与量…...
内网im软件，支持企业云盘的协同办公软件推荐
BeeWorks不仅是一个即时通讯工具，更是一个综合性的企业管理平台。其云盘功能支持大容量文件存储，便企业集中管理文件。并且具备在线协同编辑的能力，这使得企业在文件管理和团队协作方面更加高效和便捷。以下是BeeWorks在企业云盘和在线协同编…...
——多态)
JAVA SE(9)——多态
1.多态的概念&作用 多态(Polymorphism)是面向对象编程的三大基本特性之一（封装和继承已经讲过了），它允许不同类的对象对同一消息做出不同的响应。具体来说，多态允许基类/父类的引用指向派生类/子类的对象（向上转型…...
单调栈算法精解（Java实现）：从原理到高频面试题
在算法与数据结构的领域中，单调栈（Monotonic Stack）凭借其独特的设计和高效的求解能力，成为解决特定类型问题的神兵利器。它通过维护栈内元素的单调性，能将许多问题的时间复杂度从暴力解法的\(O(n)\)优化至\(O(n)\)&am…...
密码工具类-生成随机密码校验密码强度是否满足要求
生成随机密码 符合密码强度的密码要求： 至少有一个大写字母至少有一个小写字母至少有一个数字至少有一个特殊字符长度满足要求（通常为8-16位） // 大写字母private static final String UPPERCASE "ABCDEFGHIJKLMNOPQRSTUVWXYZ";…...
什么是进程，如何管理进程
基本概念（什么是进程？） 课本概念：程序的一个执行实例，正在执行的程序等内核观点：担当分配系统资源（CPU时间，内存）的实体。 描述进程-PCB 进程信息被放在一个叫做进程控…...
小刚说C语言刷题—1044 -找出最经济型的包装箱型号
1.题目描述 已知有 A，B，C，D，E五种包装箱，为了不浪费材料，小于 10公斤的用 A型，大于等于 10公斤小于 20 公斤的用 B型，大于等于 20公斤小于 40 公斤的用 C型，大于等于 40…...
用 GRPO 魔法点亮Text2SQL 的推理之路：让模型“思考”得更像人类
推理能力（Chain of Thought, CoT）可以帮助模型逐步解释其思考过程，从而提高Text-to-SQL 生成的准确性和可解释性。本文探讨了如何将一个标准的 7B 参数的大型语言模型（Qwen2.5-Coder-7B-Instruct）转变为一个能够为Text…...