当前位置：首页 > news >正文

基于 gitlab-runner 实现调度GPU的资源

news 来源：原创 2025/5/10 12:13:26

本篇目录

- 1. 客户需求
- 2. 需求调研
- 3. 实践
- - 3.1 方案一：环境变量的方式
  - 3.2 方案二：k8s 自身的spec注入机制
- 4. 效果

该实践来自于客户的一个真实需求

1. 客户需求

客户的某些流水线需要使用GPU资源，但是对于GPU服务器而言，会有多张GPU显卡，而客户只需要将runner的资源调度在其中的一张或者多张显卡，而不是占用整个GPU服务器的显卡资源。

2. 需求调研

通过查看runner的相关文档，对于runner使用GPU资源而言，本身runner是不需要做任何配置的，详见说明 [GPU]
(https://docs.gitlab.com/runner/configuration/gpus.html)。
关于GPU（主要针对的英伟达），可以通过 NVIDIA_VISIBLE_DEVICES 环境变量来控制，进行制定数量GPU显卡资源的调度。
针对runner的执行器为 kubernetes 类型而言，可以通过spec的配置注入机制来实现将部分配置聚合在runner 拉起的pod中，从而实现资源的控制，该技术本身是基于k8s的原理来实现的。

3. 实践

3.1 方案一：环境变量的方式

gitlab runner的配置文件调整如下：

  config: |[[runners]]environment = ["FF_USE_ADVANCED_POD_SPEC_CONFIGURATION=true","NVIDIA_VISIBLE_DEVICES=0"]

说明：

对于多张显卡而言，总是从0..n，因此这里的 0 指的是第一张显卡，也就是说runner的作业拉起pod后，会占用第一张显卡。
如果要使用多张显卡，可以参考NVIDIA_VISIBLE_DEVICES 的详细配置。

3.2 方案二：k8s 自身的spec注入机制

相比于方案一，方案二要更灵活一下，但是需要开启 FF_USE_ADVANCED_POD_SPEC_CONFIGURATION flag。具体的配置调整如下：

config: |[[runners]]environment = ["FF_USE_ADVANCED_POD_SPEC_CONFIGURATION=true"][runners.kubernetes]namespace = "{{.Release.Namespace}}"image = "alpine"pull_policy = ["if-not-present"][runners.kubernetes.node_selector]"nvidia.com/gpu.present" = "true"[[runners.kubernetes.pod_spec]]name = "cpu limit"patch = '''containers:- name: buildresources:limits:nvidia.com/gpu: 1'''patch_type = "strategic"

patch_type说明：

strategic：Kubernetes 的战略合并 Patch，可以在不破坏原始 YAML 结构的前提下进行合并和修改（推荐）。
json：使用 JSON Patch 格式来修改资源。
merge：简单的合并 Patch。

4. 效果

调整前
在这里插入图片描述

调整后
在这里插入图片描述

基于 gitlab-runner 实现调度GPU的资源

本篇目录 1. 客户需求2. 需求调研3. 实践3.1 方案一：环境变量的方式3.2 方案二：k8s 自身的spec注入机制 4. 效果该实践来自于客户的一个真实需求 1. 客户需求客户的某些流水线需要使用GPU资源，但是对于GPU服务器而言，会有多张G…...

编程日记 2025/5/10 12:13:26

【源码+文档+调试讲解】项目申报小程序

摘要随着信息技术和网络技术的飞速发展，人类已进入全新信息化时代，传统管理技术已无法高效，便捷地管理信息。为了迎合时代需求，优化管理效率，各种各样的管理系统应运而生，各行各业相继进入信息管理时代…...

编程日记 2025/5/9 13:04:54

【ShuQiHere】使用 SCP 进行安全文件传输

【ShuQiHere】🚀 在日常的开发和运维工作中，文件传输是一个常见的任务。scp（Secure Copy）是一个基于 SSH 协议的文件传输工具，能够在本地和远程主机之间安全地复制文件和目录。本文将详细介绍 scp 的使用方法&#xf…...

编程日记 2025/5/5 4:01:05

算法基础 - 二分查找

文章目录二分查找算法通常应用于已排序的数组。以下是一个C实现的二分查找算法示例： #include <iostream> #include <vector>int binarySearch(const std::vector<int>& nums, int target) {int left 0;int right nums.size() - 1;while …...

编程日记 2025/5/10 1:18:50

权限掩码umask

1 、设置新建文件或目录的默认权限在 Linux 系统中，当用户创建一个新的文件或目录时，系统都会为新建的文件或目录分配默认的权限，该默认权限与umask 值有关，其具体关系是： 新建文件的默认权限 0666-umask 值新建…...

编程日记 2025/5/8 1:42:03

5. CSS引入方式

5.1 CSS的三种样式按照 CSS 样式书写的位置(或者引入的方式)，CSS样式表可以分为三大类： 1.行内样式表（行内式） 2.内部样式表（嵌入式） 3. 外部样式表（链接式） 5.2 内部样式表 …...

编程日记 2025/5/6 19:34:29

在Linux中，SElinux的作用是什么？如何临时和永久的更改SElinux上下文？

SELinux在Linux系统中扮演者至关重要的安全角色，它通过实施强制访问控制（Mandatory Access Control,MAC）策略来增强系统的安全性。不同于传统的用户和组权限管理机制（即自主访问控制DAC），selinux提供了一种…...

编程日记 2025/5/6 5:31:57

windows下，golang+vscode+delve 远程调试

1 现在远程服务器安装golang和delve golang的安装，通过官网直接下载安装包安装接口 go install github.com/go-delve/delve/cmd/dlvlatest 如果dlv和golang版本不匹配，这里把latest换成匹配的版本，比如1.20.0 2 编译带调试信息的程序 go bu…...

编程日记 2025/5/8 17:16:05

社交牛杂症？锂电系统有了DeviceNet转Profinet网关后，沟通无障碍

在锂电行业蓬勃发展的当下，自动化与智能化浪潮正席卷而来，这无疑对设备间的通信精准度与流畅性提出了严苛要求，而稳联技术Devicenet转Profinet网（WL-PN-DVNM）关恰是破局的关键利器。此网关设备犹如一座桥梁&#xff0…...

编程日记 2025/5/3 11:45:54

C语言的正则表达式

C语言中的正则表达式引言正则表达式是一种用于描述字符串模式的工具，它可以用来进行字符串匹配、查找、替换等操作。在编程中，正则表达式被广泛应用于数据验证、信息提取等场景。C语言虽然没有内置的正则表达式支持，但通过一些库我们同样…...

编程日记 2025/5/10 12:09:14

Launcher3主页面加载显示流程分析

布局结构抓取布局后，可以看到每个图标是一个DoubleShadowBubbleTextView，父布局是CellLayout、workspace。我们可以在CellLayout添加子view打印出调用堆栈信息，可以整体上看页面加载显示流程。主要类 Launcher.java：主界面&…...

编程日记 2025/5/10 12:12:24

机器学习算法---贝叶斯学习

1.了解相关概念先验概率：有数据集d,以及假设h,此时h是不确定的。在还没有训练数据之前h的初始概率记为P(h),类似地我们把P(d)表示训练数据d在任何假设都未知或不确定时的概率。P(d|h)表示已知假设h成立时d的概率。后验概率：就是在数据d上经过学习之后…...

编程日记 2025/5/10 11:59:35

PyCharm+RobotFramework框架实现UDS自动化测试——（二）RobotFramework环境配置

从0开始学习CANoe使用从0开始学习车载测试相信时间的力量星光不负赶路者，时光不负有心人。文章目录 1.环境准配2.Pycharm中相关配置2.1. 安装Hyper RobotFramework Support 3.脚本执行环境3.1 执行单条的配置3.2 执行全部用例配置 4.工程运行4.1 单条用例运行4.…...

编程日记 2025/5/6 13:07:36

colnames看似简单，却能优化数据处理流程

引言在数据处理和分析中，变量名称是至关重要的，它们决定了数据的可读性和操作的简便性。在R语言中，colnames 函数以其简单的语法设计，提供了高效管理数据框列名的能力，尤其是在复杂的爬虫任务中显得尤为重要。本篇文…...

编程日记 2025/5/3 11:11:16

Spring Boot整合Minio实现文件上传

Spring Boot整合Minio后，前端的文件上传有两种方式： 文件上传到后端，由后端保存到Minio 这种方式好处是完全由后端集中管理，可以很好的做到、身份验证、权限控制、文件与处理等，并且可以做一些额外的业务逻辑&#xf…...

编程日记 2025/5/10 12:09:14

GitHub - riscv-software-src/riscv-isa-sim: Spike, a RISC-V ISA Simulator

GitHub - riscv-software-src/riscv-isa-sim: Spike, a RISC-V ISA Simulator 操作手册 $ apt-get install device-tree-compiler libboost-regex-dev libboost-system-dev $ mkdir build $ cd build $ ../configure --prefix$RISCV $ make $ [sudo] make install 具体安装 …...

编程日记 2025/5/10 12:08:11

ceph文件系统

ceph文件系统： 使用设备：4台机器高度可扩展，分布式的存储文件系统，旨在提供高性能，高可靠性和高可用的对象存储，块存储，文件系统的存储使用分布式的算法保证数据的高可用和一致性 ceph的架…...

编程日记 2025/5/9 18:16:00

模型创新、论文复现、科研辅导、论文代码定制

建模先锋团队长期致力于为用户提供优质的代码定制服务。团队提供全网最低价格的服务，同时保证高性价比和高质量的代码交付，为您提供个性化定制的服务。以下是定制服务范围： 通过深度学习和信号处理技术，我们能够针对不同行业和场…...

编程日记 2025/5/8 20:33:25

【flink-cdc】flink-cdc 3版本debug启动pipeline任务，mysql-doris

官方文档 github仓库地址 Flink cdc debug调试动态变更表结构经过测试使用，在启动任务配置Modify classpath添加jar的方式，容易出错classNotFoundException等等。一、build project flink-cdc版本：3.2.1 mvn clean package "-Dma…...

编程日记 2025/5/10 12:06:04

mybatisX插件的使用，以及打包成配置

装mybatisX插件； idea连接数据库； 点击mybatisx-generator，设置自己装mybatisX插件； idea连接数据库； 点击mybatisx-generator，设置自己要的包和类； 如果要把自己的配置设置成一个自定义模板&a…...

编程日记 2025/5/2 5:23:00

pip下载包出现SSLError

报错： ERROR: Could not install packages due to an OSError: HTTPSConnectionPool(host‘files.pythonhosted.org’, port443): Max retries exceeded with url: /packages/8a/c2/ae7227e4b089c6a8210920db9d5ac59186b0a84eb1e6d96b9218916cdaf1/taming_transform…...

编程日记 2025/5/5 5:26:44

Linux下查看文件和文件夹占用空间大小

使用Linux命令，查看文件磁盘所占的空间大小，下面可以通过以下命令进行操作 df 可以查看一级文件夹大小、使用比例、档案系统及其挂入点，但对文件束手无策du 查看文件和文件夹的磁盘使用空间在使用中，一般是df命令和du命令一起联…...

编程日记 2025/5/9 15:31:37

【论文+源码】基于Spring和Spring MVC的汉服文化宣传网站

为了实现一个基于Spring和Spring MVC的汉服文化宣传网站，我们需要创建一个简单的Web应用程序来展示汉服文化和相关信息。这个系统将包括以下几个部分：数据库表设计：定义文章、用户和评论的相关表。实体类：表示数据库中的数据。DAO层接口及MyBatis映射文件：用于与数据库交…...

编程日记 2025/4/16 23:07:36

C++语言的学习路线

C语言的学习路线 C是一门复杂而强大的编程语言，由于其高性能和灵活性，受到了许多开发者和企业的青睐。无论是系统软件、嵌入式系统还是游戏开发，C都有非常广泛的应用。要掌握C这门语言，需要合理制定学习路线，并结合实…...

编程日记 2025/5/10 12:03:56

【OpenCV】使用Python和OpenCV实现火焰检测

1、项目源码和结构（转） https://github.com/mushfiq1998/fire-detection-python-opencv 2、运行环境 # 安装playsound：用于播放报警声音 pip install playsound # 安装opencv-python：cv2用于图像和视频处理，特别是…...

编程日记 2025/5/8 8:57:43

【ArcGISPro/GeoScenePro】解决常见的空间参考和投影问题

修复空间参考缺失的图像数据 https://arcgis.com/sharing/rest/content/items/535efce0e3a04c8790ed7cc7ea96d02d/data 查看属性坐标查看属性范围范围值并不是零或接近于零。这意味着栅格具有范围，因此其已正确进行...

编程日记 2025/5/10 11:56:28

Ruby语言的语法

Ruby语言的语法之美 Ruby是一种动态、开放源代码的编程语言，由日本的松本行弘（Yukihiro Matsumoto）于1995年首次发布。Ruby语言以其简洁、优雅和易于阅读的语法而闻名。它不仅适合初学者，还被广泛应用于Web开发、数据分析和其他领…...

编程日记 2025/5/6 7:17:34

概述（讲讲python基本语法和第三方库)

我是北子，这是我自己写的python教程，主要是记录自己的学习成果方便自己日后复习， 我先学了C/C，所以这套教程中可能会将很多概念和C/C去对比，所以该教程大概不适合零基础的人。 it seems that python nowadays 只在人工…...

编程日记 2025/5/6 7:37:00

程序包org.springframework.boot不存在

springBoot项目启动报错程序包org.springframework.boot不存在 1、检查依赖首先检查pom文件判断依赖是否存在 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId><version>2.4.5…...

编程日记 2025/5/5 5:33:47

.NET Core FluentAPI

目录约定配置主要规则两种配置方式 Data Annotation Fluent API Fluent API配置 Fluent API众多方法选择约定配置主要规则表名采用DbContext中的对应的DbSet的属性名。数据表列的名字采用实体类属性的名字，列的数据类型采用和实体类属性类型最兼容…...

编程日记 2025/5/4 1:26:48

浙江省自然资源厅：基于“浙里办”的自然资源移动政务服务创新实践——“浙里自然资源”

摘　要：本文基于浙江省自然资源移动政务服务的创新实践，设计和实现“浙里自然资源”应用，依托浙江省省域空间治理数字化平台特有的架构基础，在提升功能性和可用性、加强运营力度、丰富服务内容等方面采取了管理举措和技术创新。通…...

编程日记 2025/5/7 17:37:48

【Astro】如何在Astro上借助Cloudflare D1和Drizzle ORM打造全栈应用？一文带你搞定！

如何在Astro上借助Cloudflare D1和Drizzle ORM打造全栈应用？一文带你搞定！ 文章目录如何在Astro上借助Cloudflare D1和Drizzle ORM打造全栈应用？一文带你搞定！前言一、Astro简介与优势二、Cloudflare D1简介三、Drizzle ORM简介四…...

编程日记 2025/5/9 17:23:58

【Axios使用手册】如何使用axios向后端发送请求并进行数据交互

axios 是一个基于 Promise 的 HTTP 客户端，用于浏览器和 Node.js。它支持请求和响应拦截、取消请求、自动转换 JSON 数据等功能，非常适合在现代 JavaScript 应用中进行网络请求。以下是对 axios 的详细讲解，包括安装、基本用法、高级功能等。…...

编程日记 2025/5/3 19:57:27

边缘计算应用十大领域

边缘计算解决了互联网的网速问题，作为实现边缘计算的基础，那边缘计算是5G与产业互联网、物联网时代的重要技术支撑，也正迎来广阔的增长空间。那么现在我们生活中有哪些领域正在使用边缘计算呢？今天我们来盘点一下我们身边正在使用…...

编程日记 2025/4/29 20:18:24

CSS 学习之 padding 与图形绘制

padding 属性和 background-clip 属性配合，可以在有限的标签下实现一些 CSS 图形绘制效果，我这里举两个小例子，重在展示可行性。例 1:不使用伪元素，仅一层标签实现大队长的“三道杠”分类图标效果。此效果在移动端比较常见&…...

编程日记 2025/5/6 3:42:33

熔断器模式如何进入半开状态的

熔断器模式在进入打开状态并经过一段冷却时间后，会自动进入半开状态。这个过程是熔断器模式自我恢复机制的一部分，旨在测试下游服务是否已经恢复正常，从而决定是否重新允许请求通过。 1. 进入打开状态： • 当服务调用失败次数达到…...

编程日记 2025/5/6 14:54:03

数据结构：双向循环链表

双向循环链表（Doubly Circular Linked List） 双向循环链表是双向链表的一种变体，其特点是链表的头节点和尾节点相连，形成一个闭环。这种结构允许在链表中进行无缝的双向遍历，并且由于循环特性，可以从任何节…...

编程日记 2025/5/10 8:01:22

宝安湾区之光附近的钓鱼点

工作日的午休我经常在公司附近骑行，有时候也会骑行到宝安的湾区之光。但是我最感兴趣的除了湾区之光摩天轮，还有雷打不动的快乐钓鱼佬。上图红框区域的河岸每天都会出现零零散散的快乐钓鱼佬，他们好像都有自己的钓鱼窝点。我发现来这里钓鱼也…...

编程日记 2025/5/9 11:02:09

【计算机网络】什么是AC和AP？

在现代的无线网络中，AC（Access Controller，接入控制器）和AP（Access Point，无线接入点）是两个至关重要的设备，它们在网络的管理、连接和优化中扮演着重要角色。理解它们的功能和区别&…...

编程日记 2025/5/5 1:49:58

python 词法分析

词法分析（Lexical Analysis）是编译器的第一步，它的任务是将源代码文本分割成一系列有意义的单元（称为“词法单元”或“Token”）。这些词法单元通常包括关键字、标识符、常量、运算符、分隔符等。 import re# 定义词法单…...

编程日记 2025/5/7 17:52:51

JUC--CAS原理（以Atomic报下类的实现来了解CAS的原理）

以Atomic来了解CAS的原理六、无锁6.1CAS（Compare-And-Swap）原理6.2CAS与synchronized6.3Atomic（原子类）原理分析 6.4ABA问题6.4unsafe 六、无锁 6.1CAS（Compare-And-Swap）原理 CAS原理：CAS是…...

编程日记 2025/5/9 13:04:01

对比显式启用-u_printf_float和-u_scanf_float前后的代码内存体量实验

本文的嵌入式编译器基于GCC for ARM，构建文件基于Makefile。 main.c不编写任何代码，保证实验的其他变量统一。源文件main.c： 优化等级固定为 -Og ： syscalls.c 系统调用库函数文件参考：基于GCC for ARM交叉编译工具链…...

编程日记 2025/5/10 1:20:53

嵌入式 Linux LED 驱动开发实验

一、Linux 下 LED 灯驱动原理 a）地址映射在编写驱动之前，我们需要先简单了解一下 MMU 这个神器， MMU 全称叫做 Memory Manage Unit，也就是内存管理单元。在老版本的 Linux 中要求处理器必须有 MMU，但是现在 Linux 内核已经支持无 MMU 的处理器了。 MMU 主要完成的功能如…...

编程日记 2025/5/3 1:02:04

qml PathView详解

1、概述 PathView 是 Qt Quick 中一个非常强大的视图组件，它基于一个 Path 来展示视图项（如 Item、Rectangle 等）。PathView 可以让你按照定义的路径动态地显示多个元素，并且支持动画、滑动等功能。这个视图控件的最大特点是能够…...

编程日记 2025/5/9 7:20:39

Spring源码分析之事件机制——观察者模式（一）

目录事件基类定义事件监听器接口事件发布者接口及实现事件广播器实现小小总结 Spring源码分析之事件机制——观察者模式（一）-CSDN博客 Spring源码分析之事件机制——观察者模式（二）-CSDN博客 Spring源码分析之事件机制…...

编程日记 2025/5/5 22:55:13

安卓14无法安装应用解决历程

客户手机基本情况： 安卓14，对应的 targetSdkVersion 34 前天遇到了安卓14适配问题，客户发来的截图是这样的描述：无法安装我们公司的B应用。型号：三星google美版解决步骤： 1、寻找其他安卓14手机测试…...

编程日记 2025/5/6 1:31:20

BGP（Border Gateway Protocol）路由收集器

全球 BGP（边界网关协议）路由收集器的分布情况以及相关数据。以下是主要的信息解读： 地图标记： 每个绿色点代表一个路由收集器的位置。路由收集器分布在全球不同的地区，覆盖了五大区域： ARIN（美…...

编程日记 2025/5/6 21:56:45

Vue.js与其他框架有哪些兼容性？

Vue.js的兼容性主要体现在几个方面，包括浏览器支持、运行环境适应性、与其他库和框架的集成能力等。以下是更详细的解释： 浏览器兼容性现代浏览器：Vue.js广泛支持所有主流的现代浏览器，如Google Chrome, Firefox, Safari, Edge…...

编程日记 2025/5/9 10:23:37

深度解析与实践：HTTP 协议

一、引言 HTTP（HyperText Transfer Protocol，超文本传输协议）是 Web 应用程序、API、微服务以及几乎所有互联网通信的核心协议。虽然它是我们日常使用的基础技术，但要深刻理解其高效使用、优化以及如何避免性能瓶颈，我…...

编程日记 2025/5/6 21:04:34

MyBatis 配置文件全解析

一、MyBatis 配置文件为何至关重要？ 在 Java 后端开发领域，MyBatis 作为一款广受欢迎的持久层框架，极大地简化了数据库操作。而 MyBatis 配置文件，恰似整个框架的 “神经中枢”，掌控着其运行的方方面面，对…...

编程日记 2025/5/9 0:15:09