当前位置：首页 > news >正文

Kubernetes 使用 containerd 实现 GPU 支持及 GPU Operator 部署指南

news 来源：原创 2025/7/28 17:08:50

一、为什么 containerd 是趋势？

二、目标

三、前提条件

四、方式一：containerd + nvidia-container-toolkit（基础方式）

1️⃣ 安装 NVIDIA Container Toolkit

2️⃣ 修改 containerd 配置文件

3️⃣ 重启 containerd 服务

4️⃣ 安装 Kubernetes Device Plugin（GPU 插件）

5️⃣ 验证 GPU 使用

五、方式二：使用 NVIDIA GPU Operator（推荐）

1️⃣ 安装 Operator Lifecycle Manager（OLM）

2️⃣ 安装 NVIDIA GPU Operator

3️⃣ 查看 GPU Operator 组件运行情况

4️⃣ 测试 Pod 是否能调度 GPU

六、问题排查建议

七、总结

Kubernetes 使用 containerd 实现 GPU 支持及 GPU Operator 部署指南

本文详细介绍在使用 containerd 作为容器运行时 的 Kubernetes 集群中，如何配置 NVIDIA GPU 支持，包括两种方式：

使用 nvidia-container-toolkit + device plugin 实现基础 GPU 支持

使用 NVIDIA GPU Operator 实现自动化驱动与插件部署

一、为什么 containerd 是趋势？

Kubernetes 从 1.20 开始默认不再支持 dockershim，主流发行版（如 kubeadm、k3s、OpenShift）都逐渐转向使用 containerd 或 CRI-O。与 Docker 相比，containerd 更轻量、启动更快，并对 CRI 接口支持原生。

二、目标

在 containerd 环境中启用 GPU 支持
支持 Kubernetes 使用 GPU 资源调度和运行
实现 AI 推理/训练等任务运行
可选：通过 GPU Operator 自动完成驱动+插件部署

三、前提条件

Ubuntu 18.04/20.04/22.04 系统（CentOS 也可）
安装 NVIDIA 驱动（nvidia-smi 正常工作）
Kubernetes 集群已安装，容器运行时为 containerd（可用 crictl info 验证）
节点具备 NVIDIA GPU 硬件

四、方式一：containerd + nvidia-container-toolkit（基础方式）

1️⃣ 安装 NVIDIA Container Toolkit

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

2️⃣ 修改 containerd 配置文件

生成默认配置：

sudo containerd config default | sudo tee /etc/containerd/config.toml > /dev/null

添加 GPU 运行时支持：

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia]runtime_type = "io.containerd.runc.v2"[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia.options]BinaryName = "/usr/bin/nvidia-container-runtime"

可选设置默认运行时（非必须）：

[plugins."io.containerd.grpc.v1.cri".containerd]default_runtime_name = "nvidia"

3️⃣ 重启 containerd 服务

sudo systemctl restart containerd

4️⃣ 安装 Kubernetes Device Plugin（GPU 插件）

kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.1/nvidia-device-plugin.yml

5️⃣ 验证 GPU 使用

apiVersion: v1
kind: Pod
metadata:name: gpu-test
spec:containers:- name: cudaimage: nvidia/cuda:12.8.1-baseresources:limits:nvidia.com/gpu: 1command: ["nvidia-smi"]

部署并查看日志：

kubectl apply -f gpu-test.yaml
kubectl logs gpu-test

五、方式二：使用 NVIDIA GPU Operator（推荐）

GPU Operator 是 NVIDIA 提供的 全自动化部署解决方案，支持自动完成：

驱动安装（包含 DKMS 模块编译）
device plugin、DCGM、NCCL 插件部署
实时健康监控（dcgm-exporter）
容器内自动注入运行时

1️⃣ 安装 Operator Lifecycle Manager（OLM）

kubectl create -f https://github.com/operator-framework/operator-lifecycle-manager/releases/download/v0.25.0/crds.yaml
kubectl create -f https://github.com/operator-framework/operator-lifecycle-manager/releases/download/v0.25.0/olm.yaml

2️⃣ 安装 NVIDIA GPU Operator

kubectl create namespace gpu-operator
kubectl apply -f https://raw.githubusercontent.com/NVIDIA/gpu-operator/main/deployments/gpu-operator.yaml -n gpu-operator

3️⃣ 查看 GPU Operator 组件运行情况

kubectl get pods -n gpu-operator

所有组件 Running 表示部署成功。会自动创建如下组件：

驱动 DaemonSet
device plugin
validation webhook
DCGM exporter

4️⃣ 测试 Pod 是否能调度 GPU

apiVersion: v1
kind: Pod
metadata:name: gpu-operator-test
spec:containers:- name: cudaimage: nvidia/cuda:12.8.1-baseresources:limits:nvidia.com/gpu: 1command: ["nvidia-smi"]

六、问题排查建议

问题	原因与解决办法
`nvidia-smi` 无法使用	NVIDIA 驱动未安装或损坏
Pod 报 `nvidia.com/gpu` 不可分配	device plugin 未正常运行 / 节点无 GPU
镜像拉取失败	Docker Hub 被墙，建议配置 containerd 的 hosts.toml 使用加速器
Operator 安装失败	Kubernetes 版本过旧 / OLM 安装不全

七、总结

对比项	containerd + toolkit 手动部署	GPU Operator 自动部署
安装复杂度	中等（需配置 containerd + plugin）	简单（自动完成所有驱动与插件安装）
可控性	更自由，可自定义插件版本	自动化，适合标准化部署
推荐适用场景	内部集群测试、定制运行时	企业生产环境、大规模 GPU 节点管理

如果你希望构建一套可重复部署的 GPU 支持方案，GPU Operator 是首选。如果只想在已有 containerd 集群上做最小化改造，nvidia-container-toolkit 同样高效可靠。

如果你需要完整的 config.toml 示例或 Operator CR 配置，我可以为你补充。是否需要？

Kubernetes 使用 containerd 实现 GPU 支持及 GPU Operator 部署指南

目录 Kubernetes 使用 containerd 实现 GPU 支持及 GPU Operator 部署指南一、为什么 containerd 是趋势？ 二、目标三、前提条件四、方式一：containerd nvidia-container-toolkit（基础方式） 1️⃣ 安装 NVIDIA Containe…...

编程日记 2025/7/28 17:08:50

【typenum】 1 说明文件（README.md）

Typenum Typenum 是一个用于在编译时计算类型级数字的 Rust 库。目前支持位、无符号整数和有符号整数。 Typenum 仅依赖 libcore，因此适用于任何平台！ 导入方式虽然 typenum 分为多个模块，但它们都通过 crate 根目录重新导出&#xff0c…...

编程日记 2025/7/28 7:48:29

Axure疑难杂症：统计分析页面引入Echarts示例动态效果

亲爱的小伙伴，在您浏览之前，烦请关注一下，在此深表感谢！ Axure产品经理精品视频课已登录CSDN可点击学习https://edu.csdn.net/course/detail/40420 课程主题：统计分析页面引入Echarts示例动态效果主要内容：echart示例引入、大小调整、数据导入应用场景：统计分析页面…...

编程日记 2025/7/28 0:30:15

PyQt5基本窗口控件（QWidget）

QWidget 基础窗口控件QWidget类是所有用户界面对象的基类，所有的窗口和控件都直接或间接继承自QWidget类。窗口控件（Widget，简称“控件”）是在PyQt中建立界面的主要元素。在PyQt 中把没有嵌入到其他控件中的控件称为窗口&…...

编程日记 2025/7/27 22:32:57

双目视觉系统中，极线校正（Epipolar Rectification）与单应性矩阵/多平面单应性模型

在双目视觉系统中，极线校正（Epipolar Rectification）的目标是使左右图像的对应点位于同一水平线上，从而简化立体匹配的搜索过程。标准的双目相机标定和校正流程，其核心原理与单应性矩阵的应用方式如下： 1. …...

编程日记 2025/7/28 19:07:18

【部署】win10的wsl环境下调试dify的api后端服务

回到目录标题：win10的wsl环境下，远程调试dify的api后端服务 0. 上一篇讲解web前端服务的启动方法，本篇内容是vscode的调试模式启动api后端服务。文章4000字左右，阅读时间15-20分钟。 dify官方运行环境要求较低2U4G&#xff0c…...

编程日记 2025/7/27 21:16:23

学习黑客了解Python3的“HTTPServer“

5 分钟深入浅出理解Python3的"HTTPServer"模块 🌐 大家好！今天我们将探索Python3中的HTTPServer模块——一个简单却强大的工具，它允许你快速创建web服务器。在网络安全学习、渗透测试和CTF挑战中，这个模块常被用来搭建…...

编程日记 2025/7/27 23:46:34

结合 ECharts / Ant Design Blazor 构建高性能实时仪表盘

📊 结合 ECharts / Ant Design Blazor 构建高性能实时仪表盘文章目录 📊 结合 ECharts / Ant Design Blazor 构建高性能实时仪表盘一、前言 🔍二、技术选型 🧰三、项目配置与架构 🏗️🌐 系统整体架构流程…...

编程日记 2025/7/28 15:39:10

刘强东杀入自动驾驶！京东注册“Joyrobotaxi”商标

又一个互联网大佬杀入汽车赛道！这一次，是京东的刘强东。5月6日，京东集团旗下公司一口气申请注册了多个名为"Joyrobotaxi"的商标，国际分类涵盖运输工具、科学仪器等核心领域。这一动作被业界普遍解读为：京东要…...

编程日记 2025/7/25 10:29:48

JavaScript基础-switch分支流程控制

在JavaScript编程中，switch语句提供了一种清晰、简洁的方式来实现多路分支选择。相比于多个if...else if语句，switch语句可以使代码更加易读和易于维护，尤其是在需要根据单个变量或表达式的值进行不同路径选择时尤为有用。本文将详细介绍swit…...

编程日记 2025/7/27 10:58:37

MySQL：视图

目录一、什么是视图二、视图的创建和使用三、修改数据 （1）修改真实表 （2）修改视图四、删除视图五、视图的优点一、什么是视图视图是一个虚拟的表，它是基于一个或多个基本表或其他视图的查询结果集。视…...

编程日记 2025/7/28 14:04:18

05 mysql之DDL

一、SQL的四个分类我们通常可以将 SQL 分为四类，分别是： DDL（数据定义语言）、DML（数据操作语言）、 DCL（数据控制语言）和 TCL（事务控制语言）。 DDL 用于创建…...

编程日记 2025/7/29 4:40:31

各国GDP变化趋势网页特效(实用动态图表)完整实例

https://download.csdn.net/download/YUJIANYUE/90803109...

编程日记 2025/7/29 4:40:29

【部署】win10的wsl环境下启动dify的web前端服务

回到目录标题：win10的wsl环境下启动dify的web前端服务 0. 官网安装指引官网有详细的源代码部署说明，参考: https://docs.dify.ai/en/getting-started/install-self-hosted/local-source-code 1. 安装nodejs 1.1. 下载和解压文件参考:https://no…...

编程日记 2025/7/29 4:40:27

Veins同时打开SUMO和OMNeT++的GUI界面

进入 Veins 工程目录（即包含 sumo-launchd.py 的目录），打开终端设置 SUMO_HOME 环境变量（指向你安装的 SUMO 路径）： export SUMO\_HOME/home/veins/src/sumo-1.11.0编译 Veins 工程（包含 OMNeT…...

编程日记 2025/7/29 4:40:25

模型启动效应

系列文章分享模型，了解更多👉 模型_思维模型目录。刺激先行激活，后续认知更顺畅。 1 启动效应的应用 1.1 求职面试中对面试官的影响背景：一家知名公司在招聘过程中发现，面试官对候选人的评价往往受到多种因素的影响…...

编程日记 2025/7/29 4:40:23

Android 使用Paging3 实现列表分页加载、下拉刷新、错误重试、筛选功能

Android 使用Paging3 实现列表加载 Paging3是Android Jetpack组件库中的分页加载库，它可以帮助开发者轻松实现列表数据的分页加载功能。本文将逐步讲解如何使用Paging3库实现一个带有加载更多、下拉刷新、错误重试、筛选功能的列表页面。最终效果如下加载更多、…...

编程日记 2025/7/29 4:40:21

洛图报告中的 FSHD 是什么？—— 解密九天画芯推动的三色光源显示技术

目录一、洛图报告新焦点：FSHD 为何成为显示产业重要突破方向？ （一）洛图报告核心结论：从技术突围到产业重构二、技术解析：FSHD 如何重构显示底层逻辑？ （一）物理架构…...

编程日记 2025/7/29 4:40:16

关于数据库查询速度优化

本人接手了一个关于项目没有任何文档信息的代码，代码也没有相关文档说明信息！所以在做数据库查询优化的时候不敢改动。原因1： 老板需要我做一个首页的统计查询。明明才几十万条数据，而且我加了筛选条件为什么会这么慢&#xff…...

编程日记 2025/7/29 4:40:14

2. 两数相加 - 力扣（LeetCode） 解法： class Solution { public:ListNode* addTwoNumbers(ListNode* l1, ListNode* l2) {ListNode * dummy new ListNode(0);int carry 0;ListNode * head dummy;while (l1 ! nullptr || l2 ! nullptr ||…...

编程日记 2025/7/29 4:40:12

车载学习（6）——CAPL（1）一些基础知识

1.一些CAPL的知识 CAPL通讯访问编程语言（Commmunication Access Programming language） CAPL的用途 ECU的仿真实现（报文的收发、数据的处理）实现总线日志纪录的控制实现总线数据自动化分析实现ECU功能的自动化测试实现ECU报文发…...

编程日记 2025/7/29 4:40:10

C++笔记-set和map的使用(包含multiset和multimap的讲解)

1.序列式容器和关联式容器前面我们已经接触过STL中的部分容器如:string、vector、list、deque、array、forward_list等，这些容器统称为序列式容器，因为逻辑结构为线性序列的数据结构，两个位置存储的值之间一般没有紧密的关联关系&#xff0…...

编程日记 2025/7/29 4:40:08

GLPK(GNU线性规划工具包)介绍

GLPK全称为GNU Linear Programming Kit(GNU线性规划工具包)，可从 https://sourceforge.net/projects/winglpk/ 下载源码及二进制库，最新版本为4.65。也可从 https://ftp.gnu.org/gnu/glpk/ 下载，仅包含源码，最新版本为5.0。 GLPK是…...

编程日记 2025/7/29 4:40:06

技嘉主板BIOS升级

截图可能不同的BIOS长的不一样，但大概相同，BIOS不下错，逐个版本升级就没问题准备工作准备工作一个fat32格式的U盘，用来存放BIOS确认主板型号和当前BIOS版本方式1：去系统信息里面方式2： 去BIOS设置…...

编程日记 2025/7/29 4:40:04

自定义类型：结构体进阶

一、结构体类型的声明前⾯我们在学习操作符和初阶结构体的时候，已经学习了结构体的知识，这⾥稍微复习⼀下。 1.1结构体的回顾结构是⼀些值的集合，这些值称为成员变量。结构的每个成员可以是不同类型的变量。 1.2结构的声明 struct tag…...

编程日记 2025/7/29 4:40:02

linux perf top分析系统性能

1，看到内核宏是否支持perf功能 perf top -g 查看linux 内核宏定义 CONFIG_PERF_EVENTS=y CONFIG_HAVE_PERF_EVENTS=y CONFIG_FRAME_POINTER=y # 确保帧指针支持以捕获完整堆栈 2,使用perf top -g 报错 Access to performance monitoring and observability operations is l…...

编程日记 2025/7/29 4:40:00

串口屏调试 1.0

http://wiki.tjc1688.com 先把商家的链接贴过来淘晶驰T1系列3.2寸串口屏tft液晶屏显示屏HMI触摸屏超12864液晶屏这是主包的型号打开这个玩意有十个基本的功能区新建工程在界面的右边，指令一定要写在page前面，这里的波特率等等什么的都可以…...

编程日记 2025/7/29 4:39:58

Python面向对象编程：初识类与对象

面向对象编程(OOP)是Python编程中最重要的范式之一。本文将从零开始介绍Python中类和对象的基本概念，帮助初学者快速掌握面向对象编程的核心思想。一、什么是面向对象编程？ 面向对象编程(Object-Oriented Programming)是一种以"对象"为核心…...

编程日记 2025/7/29 4:39:56

局域网常用的测速工具，Iperf3使用教程

目录下载方式 Windows Linux 使用方法：测试局域网带宽步骤一：服务端准备步骤二：客户端发起连接步骤三：查看结果参数说明 1. Iperf常用参数（测试够用） 2. 通用参数（Server端和Cli…...

编程日记 2025/7/29 4:39:54

[架构之美]linux常见故障问题解决方案（十九）

[架构之美]linux下常见故障问题解决方案一，文本文件忙问题一：rootwh-VMware-Virtual-Platform:/home/hail# cp /root/containerd/bin/* /usr/bin/ cp: 无法创建普通文件 ‘/usr/bin/containerd’: 文本文件忙在Linux系统中遇到“文本文件忙”错误时…...

编程日记 2025/7/29 4:39:51

Java与Go语言对比教程

Java vs. Go：程序员的双节棍与瑞士军刀之战 🎯 先看一张灵魂对比图 🤖 Java老大哥 🚀 Go小钢炮出生年份 1995（中年稳健） 2009（年轻活力&…...

编程日记 2025/7/29 4:39:49

计算机大类专业数据结构下半期实验练习题

1068: 图的按录入顺序深度优先搜索 #include"iostream" using namespace std; #include"cstring" int visited[100]; char s[100]; int a[100][100]; int n; void dfs(int k,int n) {if(visited[k]0){visited[k]1;cout<<s[k];for(int i0;i<n;i){i…...

编程日记 2025/7/28 5:30:15

Android 关闭Activity切换过渡动画

Android 9.0以前关闭过渡动画效果只需要把开发者模式中过渡动画缩放设为0就可以。也就是把def_window_transition_scale改为0% frameworks/base/packages/SettingsProvider/res/values/defaults.xml <fraction name"def_window_transition_scale">100%<…...

编程日记 2025/7/29 1:35:46

iperf3的介绍与舒勇

在 CentOS 7 中使用 iperf3 进行网络性能测试，分为客户端和服务器两部分。以下是使用步骤： 1. 安装 iperf3 首先，你需要在 CentOS 7 上安装 iperf3。可以通过以下命令进行安装： sudo yum install epel-release sudo yum install…...

编程日记 2025/7/29 1:35:44

Python 包管理新选择：uv

在 Python 中，uv 是由 Astral 公司开发的 Rust 高性能包管理工具，旨在替代传统 pip 并提供更快的依赖管理、Python 版本控制等功能。 https://github.com/astral-sh/uv 在 github 上已有 53k star 一、uv 的核心优势极速性能：比 pip 快 10-100 倍。多版本 Python 管理：支…...

编程日记 2025/7/29 1:35:41

从需求到用例的AI路径：准确率与挑战

用工作流生成测试用例和自动化测试脚本！ 引言：用例的黄金起点在软件工程中，“测试用例”是连接需求理解与质量保障之间的关键桥梁。一份高质量的测试用例，不仅是验证功能实现是否符合需求的工具，更是产品风险感知、用…...

编程日记 2025/7/29 1:35:39

JavaSE核心知识点02面向对象编程02-06（泛型）

🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息文章目录 JavaSE核心知识点02面向对象编程02-06&#…...

编程日记 2025/7/28 13:06:02

xml与注解的区别

功能xml配置注解定义bean bean标签 id属性 class属性 Component Controller Service Repository ComponentScan 设置依赖注入 setter注入（set方法） 构造器注入（构造方法） Autowired Qualifier Value 配置第三方bean bean标签静…...

编程日记 2025/7/29 1:35:34

进阶 DFS 学习笔记

字数：12017字。文章盗的图注明了出处，全部出自 y 总的算法提高课。不知道为啥这个时候才开始学这个东西，好像是很多同龄人都已经学完了。进阶 DFS 具体来说好几个东西，所以可能内容有一些些多。默认 DFS 和 BFS 已经掌握了…...

编程日记 2025/7/29 1:35:31

计算机设计大赛山东省赛区软件开发赛道线上答辩复盘

流程回顾： 1.抽签顺序： 抽签顺序并不一定代表是最终顺序，要注意看通知不要遗漏。 2.答辩形式： 线上答辩，加入腾讯会议，进会议时自己的备注是作品编号，等轮到自己组答辩时主持人会把人拉进来…...

编程日记 2025/7/29 1:35:29

第7次课栈A

课堂学习栈（stack） 是一种遵循先入后出逻辑的线性数据结构。我们可以将栈类比为桌面上的一摞盘子，如果想取出底部的盘子，则需要先将上面的盘子依次移走。我们将盘子替换为各种类型的元素（如整数、字符、对象等&…...

编程日记 2025/7/29 1:35:26

TXT编码转换工具iconv

iconv.exe是实现TXT编码转换的命令行工具，支持几百种编码格式的转换，利用它可以在自主开发程序上实现TXT文档编码的自动转换。一、命令参数格式 Usage: iconv [-c] [-s] [-f fromcode] [-t tocode] [file ...] or: iconv -l 二、转换的示例将UTF-8…...

编程日记 2025/7/29 1:35:24