当前位置：首页 > news >正文

docker部署GPUStack【Nvidia版本】

news 来源：原创 2025/9/2 13:41:58

以下是使用 Docker 部署 GPUStack 的步骤和注意事项

在这里插入图片描述
参考文章：https://docs.gpustack.ai/latest/installation/docker-installation/

1. 前置条件

安装 Docker：确保已安装 Docker 引擎（建议最新稳定版）。
NVIDIA 环境支持（若使用 GPU）：
- 安装 NVIDIA 驱动及 NVIDIA Container Toolkit，参考的配置教程。
- 确认命令 nvidia-smi 和 docker run --gpus all nvidia/cuda:12.0-base 可正常运行。

2. 部署方式

方法一：Docker Compose（推荐）

使用官方提供的 docker-compose.yaml 文件快速启动：

version: '3.8'
services:gpustack:image: gpustack/gpustackports:- "80:80"       # 映射 Web UI 端口restart: alwaysipc: host         # 共享主机 IPC 命名空间（可能用于多进程通信）volumes:- gpustack_data:/var/lib/gpustack  # 持久化存储配置和模型数据
volumes:gpustack_data:

启动命令：

docker-compose up -d

方法二：直接 Docker Run

手动运行容器（需根据硬件类型调整参数）：

docker run -d \--name gpustack \--gpus all \          # 启用 GPU 支持（NVIDIA 环境）--ipc=host \          # 共享 IPC（部分模型需要）-p 80:80 \            # 映射端口-v gpustack_data:/var/lib/gpustack \  # 挂载数据卷gpustack/gpustack

3. 验证部署

访问 Web UI：浏览器打开 http://localhost，若成功进入 GPUStack 界面，说明部署完成。
查看日志：通过 docker logs gpustack 检查服务状态，若报错 No suitable workers，可能是硬件兼容性问题（如未正确配置 NPU/CUDA 环境）。

4. 常见问题

权限问题：确保 Docker 服务有权限访问 GPU 设备（通过 nvidia-container-toolkit 配置）。
离线环境：若需离线部署，可提前下载对应硬件的镜像（如 CUDA 12、CANN 等）。
模型部署失败：检查模型格式是否与推理后端匹配（如 GGUF 格式需 llama-box 支持）。

5. 进阶配置

多节点集群：通过 docker swarm 或 Kubernetes 扩展 GPUStack 节点。
自定义镜像：若需特定依赖（如 NPU 支持），可基于官方镜像构建扩展。

docker部署GPUStack【Nvidia版本】

以下是使用 Docker 部署 GPUStack 的步骤和注意事项参考文章：https://docs.gpustack.ai/latest/installation/docker-installation/ 1. 前置条件安装 Docker：确保已安装 Docker 引擎（建议最新稳定版）。NVIDIA 环境支持&#x…...

编程日记 2025/9/2 13:41:58

处理Long类型长度超长导致前端精度丢失问题

1，问题场景后端返回的Long类型的数据，超10000000000000000，前端处理的时候，数据被截断了。比如tchId: 11073477511443988481， 前端根据tchId获取下一环节信息的时候，传的tchId变成了11073477511443988400&…...

编程日记 2025/8/17 19:07:15

突破亚马逊壁垒，Web Unlocker API 助您轻松获取数据

目录一、Web Unlocker API简介二、开始使用Web Unlocker API1、首先进入控制台页面，点击左侧第一个tab键“代理 & 抓取基础设施”，找到“网页解锁器”，开始使用。2、进入网页解锁器页面后，填写通道名称，添加简短描…...

编程日记 2025/8/31 0:06:01

工业环境中的安全利器：如何挑选优质安全工具柜

工业生产的复杂环境里，安全工具柜可绝不是个简单的 “储物箱”，它是保障生产安全、提升工作效率的秘密武器。不管是电力维修车间里琳琅满目的绝缘工具，还是化工实验室里的精密仪器，安全工具柜都肩负着妥善收纳、保护的重任。那到底…...

编程日记 2025/9/2 5:17:00

UNITY 屏幕UI自适应

1.主要就是根据屏幕的选择根据尺寸和UI的锚点和中心点来选择，也可以通过代码来动态修改 2.参考视频：Unity UGUI屏幕自适应看这个就够了_哔哩哔哩_bilibili...

编程日记 2025/8/25 3:16:09

【Linux】VIM 编辑器，编辑加速引擎

目录 vim中的五种常见模式介绍VIM的基本操作安装VIMVIM中的模式切换 VIM指令集命令模式指令集底行模式指令集视图模式指令集替换和插入模式 end vim中的五种常见模式介绍正常/普通/命令模式【Normal mode】控制屏幕光标的移动，字符、字或行的删除，移动…...

编程日记 2025/8/17 18:21:44

【vue】class和styles绑定

一、用来控制样式是否展示二、style 行内样式三、自定义属性绑定...

编程日记 2025/8/17 19:01:06

route

1、传统web应用vs单页面web应用 1.1、传统web应用传统web应用，又叫做多页面web应用：核心是一个web站点由多个HTML页面组成，点击时完成页面的切换，因为是切换到新的HTML页面上，所以当前页面会全部刷新。 1.2、单页…...

编程日记 2025/9/2 12:12:28

设备监控---保障企业IT基础设施稳定运行

引言在数字化转型的今天，企业的IT基础设施规模不断扩大，网络设备、服务器、存储系统、云资源等构成了复杂的IT环境。如何确保这些设备的高效运行，及时发现并解决潜在问题，成为IT运维团队的核心任务。设备监控---作为IT运维的基础…...

编程日记 2025/8/17 21:19:29

牙科CAD技术方案

本牙科CAD系统旨在打造一个数字化牙科设计的高性能CAD/CAM软件，提供从修复体设计（如牙冠、牙桥、贴面、活动义齿）到生产准备的全流程解决方案。系统整合多源数据（口内扫描、DICOM文件、颌骨运动数据等）实现精准设计&am…...

编程日记 2025/8/17 18:53:41

Shell编程之循环语句

目录 for循环语句 for语句的结构 for语句应用示例根据姓名列表批量添加用户根据IP地址列表检查主机状态使用while循环语句 while语句的结构 while语句应用示例批量添加规则编号的用户猜价格游戏 until循环语句 until语句的结构 until语句应用示例计算1-50的…...

编程日记 2025/9/1 11:17:06

ECMAScript 11 新特性

ECMAScript 11 新特性 ECMAScript 6 新特性（一） ECMAScript 6 新特性（二） ECMAScript 7~10 新特性 ECMAScript 11 新特性（本文） 1. 私有属性在类的内部，通过在属性前添加 # 来表示私有属性。 …...

编程日记 2025/9/1 14:01:32

恶意外联情况监测-火绒、DNSLookupView(联网、禁用网卡、仅主机模式请求测试)

恶意外联情况监测-火绒、DNSLookupView(联网、断网、仅主机模式时的请求测试) 结论: 联网时： wireshark、火绒捕获域名请求、IP请求 DNSLookupView捕获域名请求，无法捕获IP请求禁用网卡时: 仅DNSLookupView捕获域名请求，无法捕获IP请求。…...

编程日记 2025/9/1 19:32:07

顺序表与Myarraylist

对于所有编程语言来说，数据结构都是精华一个计算机程序数据结构算法； 我在之前的博客中写了关于集合框架与泛型，这就是数据结构的开始，我今天说的便是数据结构的第一个线性数据结构--顺序表顺序表是一种线性数据结构&#xf…...

编程日记 2025/8/31 20:02:06

Redis 版本变更的变化

Redis 版本变更的变化以下是 Redis 主要版本的清单及其核心功能变化的梳理，按时间顺序整理关键版本演进 8版本没有整理： Redis 1.0 (2009) 初始版本：发布首个稳定版本，支持基本键值存储。核心特性： 支持字符串&…...

编程日记 2025/8/31 10:54:02

kubernetes》》k8s》》ConfigMap 、Secret

configmap官网 ConfigMap是一种 API 对象，使用时， Pods 可以将其用作环境变量、命令行参数或者存储卷中的配置文件。ConfigMap将配置和Pod解耦，更易于配置文件的更改和管理。ConfigMap 并不提供保密或者加密功能。如果你想存储的数据是机密的…...

编程日记 2025/9/1 18:41:06

【React】基本语法

基本语法通过jsx的语法可以在js中写html函数组件 / class组件的语法、父子组件传参、事件react 生命周期根据状态(数据)动态渲染组件 / 列表渲染 / 表单渲染class组件中的ref、ref回调函数什么是react ？ 用于构建用户界面的 JavaScript 库，主要用于构建…...

编程日记 2025/8/31 19:42:58

ubunut24.04 bash和zsh同时使用conda

文章目录 ubunut24.04 bash和zsh同时使用conda功能一、安装miniconda3二、bash中初始化conda以及安装命令补全1. bash中初始化conda2. bash中安装conda命令补全功能三、zsh中初始化conda以及安装命令补全1. zsh中初始化conda2. zsh中安装conda命令补全功能3. 在~/.zshrc文件中…...

编程日记 2025/8/31 12:13:38

深度学习入门：神经网络

目录 1. 从感知机到神经网络1.1 神经网络的例子1.2 复习感知机1.3 激活函数登场 2 激活函数2.1 sigmoid函数2.2 阶跃函数的实现2.3 阶跃函数的图形2.4 sigmoid函数的实现2.5 sigmoid函数和阶跃函数的比较2.6 非线性函数2.7 ReLU函数 3 多维数组的运算3.1 多维数组恒等函数soft…...

编程日记 2025/9/1 10:41:51

Unity有限制状态机FSM

我是标题前言有限制状态机框架框架图：主要代码： 前言一般的小型游戏的状态机会使用一个枚举类来枚举所有的状态，然后使用一个switch case来处理所有状态的行为逻辑，但是用这种方式会形成大量的冗余，因为所有的行为逻…...

编程日记 2025/8/31 22:23:14

bash的特性-命令和文件自动补全

在Linux或Unix操作系统中，Bash（Bourne Again SHell）是最常用的命令行解释器之一。它提供了丰富的功能来提升用户的交互体验，其中命令和文件名的自动补全是提高效率的一大利器。本文将详细介绍Bash中的自动补全功能，包括…...

编程日记 2025/8/25 11:53:00

聊聊价值投资

投资的必要性如果手上现在有10w元，投资时间是50年，就算年化收益率只有15%，最终的财富值也会超过1亿元。而且通货膨胀会让你的存款购买力越来越少，如果你有无法及时花出去的钱，投资是必要的。05年的时候我家楼下的包子…...

编程日记 2025/8/31 15:08:59

ADI的BF561双核DSP怎么做开发，我来说一说（十六）触摸屏的设计

作者的话 ADI的双核DSP，最早的一颗是Blackfin系列的BF561，这颗DSP我用了很久，比较熟悉，且写过一些给新手的教程。硬件准备 ADZS-BF561-EZKIT开发板：ADI原厂评估板 AD-ICE20000仿真器：ADI现阶段性能最好…...

编程日记 2025/8/31 14:37:23

基于labview的2PSK调制与解调

前面板如上图所示。以上为产生随机序列的程序以上为星座图程序如需要源代码可联系我...

编程日记 2025/8/17 19:55:27

2021-11-01 C++输入十个数求最大最小和第二大第二小的值

缘由c语言输入十个数求最大最小和第二大第二小的值-编程语言-CSDN问答这是个有意思的题目，考虑可扩展...如果是4个元素的数组，实现O（N）排序 void 输入十个数求最大最小和第二大第二小的值() {//缘由https://ask.csdn.net/ques…...

编程日记 2025/8/31 19:43:00

红人矩阵化运营策略：2025跨境电商如何高效布局海外红人营销

在全球社交媒体营销日益精细化的今天，跨境电商品牌正从单一红人合作转向系统化、团队化的“红人矩阵化运营”。尤其在TikTok、Instagram、YouTube等主流平台逐渐成熟的背景下，如何构建高效的海外红人营销矩阵，成为品牌实现全域曝光与精准转化…...

编程日记 2025/8/17 18:53:44

c# Kestrel

Kestrel 是 .NET 中用于 ASP.NET Core 应用程序的跨平台 Web 服务器。它是轻量级且高性能的，能够处理大量并发连接，常被用作 ASP.NET Core 应用的默认服务器。以下为你介绍 Kestrel 的基本使用和配置： 基本使用创建一个简单的 ASP.NET Cor…...

编程日记 2025/8/18 23:53:46

算法训练之贪心

♥♥♥~~~~~~欢迎光临知星小度博客空间~~~~~~♥♥♥ ♥♥♥零星地变得优秀~也能拼凑出星河~♥♥♥ ♥♥♥我们一起努力成为更好的自己~♥♥♥ ♥♥♥如果这一篇博客对你有帮助~别忘了点赞分享哦~♥♥♥ ♥♥♥如果有什么问题可以评论区留言或者私信我哦~♥♥♥ ✨✨✨✨✨✨ 个…...

编程日记 2025/9/1 18:05:59

ThreeJs实现裸眼3D地球仪

一、实现效果使用Three.js实现裸眼3D地球仪二、实现代码代码如下： <!DOCTYPE html> <html> <head><title>3D Earth</title><style>body { margin: 0; }canvas { display: block; }</style> </head> <body…...

编程日记 2025/8/17 20:15:11

0x07.Redis 的 hash 是什么？

回答重点： Redis 的 Hash 是一种键值对集合，允许将多个字段与其对应的值存储在同一个键中，从而方便管理和操作关联数据。它的主要特点包括：高效存储：Hash 采用哈希表实现，能够在内存中高效地存储和操作小规模的数据集，非常适合存储对象的属性。快速操作：支持对字段的…...

编程日记 2025/8/19 11:59:11

今日一记：逆序打印字符、五人年龄计算、对N个数排序

今日进行三道题的练习题目一：逆序打印字符核心需求：将输入的n个字符以相反顺序输出。算法分析： 递归思想： 递归函数先读取字符，直到输入结束（如换行符或EOF）。在递归返回时打印字符&…...

编程日记 2025/8/31 10:54:06

【笔记】对抗训练-GAN

对抗训练-GAN 深度学习中 GAN 的对抗目标函数详解与最优解推导一、GAN 的基本对抗目标函数二、判别器与生成器的博弈目标三、判别器的最优解推导四、最优判别器的含义五、总结六、WGAN 的动机（为后续铺垫） 深度学习中 GAN 的对抗目标函数详解与最优解推导…...

编程日记 2025/9/1 0:22:37

Python六大数据类型与可变类型

数字类型包括整型（int），浮点型（float），布尔型（bool），复数型（complex）。整型只能存储整数，浮点型可以存储整数和小数，布尔型…...

编程日记 2025/8/17 19:53:42

回溯-day65

回溯什莫事回溯回溯法也可以叫做回溯搜索法，它是一种搜索的方式回溯的本质是穷举，穷举所有可能，然后选出我们想要的答案，如果想让回溯法高效一些，可以加一些剪枝的操作，但也改不了回溯法就是穷举的本…...

编程日记 2025/8/21 4:02:21

（2）VTK C++开发示例 --- 绘制多面锥体

文章目录 1. 概述2. CMake链接VTK3. main.cpp文件4. 演示效果更多精彩内容👉内容导航 👈👉VTK开发 👈 1. 概述 VTK C开发示例程序； 使用C 和VTK绘制一个多面锥体。环境说明系统ubuntu22.04、windows11cmake3.22、3.2…...

编程日记 2025/8/17 19:03:12

合同智能审核技术的发展与应用

一、背景与行业现状合同审查作为企业合同管理的关键环节，其核心价值在于确保合同内容符合法律法规要求并契合企业内部政策。随着企业业务规模扩张带来的合同数量激增，传统人工审查方式在效率和成本方面的局限性日益凸显。这一现状为人工智能技术在合同…...

编程日记 2025/8/31 22:56:04

cryptozombies合约7

我们的合约几乎就要完成了！让我们加上一个事件. 事件是合约和区块链通讯的一种机制。你的前端应用“监听”某些事件，并做出反应。例子: // 这里建立事件 event IntegersAdded(uint x, uint y, uint result);function add(uint _x, uint _y) public…...

编程日记 2025/8/17 19:04:29

DeepSeek 接入 Word 完整教程

一、前期准备 1.1 注册并获取 API 密钥访问 DeepSeek 平台： 打开浏览器，访问 DeepSeek 官方网站（或您使用的相应平台）。注册并登录您的账户。创建 API 密钥： 在用户控制面板中，找到“API Keys”或“API…...

编程日记 2025/8/27 20:23:45

ARCGIS PRO DSK 利用两期地表DEM数据计算工程土方量

利用两期地表DEM数据计算工程土方量需要准许以下数据： 当前地图有3个图层，两个栅格图层和一个矢量图层两个栅格图层：beforeDem为工程施工前的地表DEM模型 afterDem为工程施工后的地表DEM模型一个矢量图层&#xf…...

编程日记 2025/9/1 0:24:38

大数据学习栈记——Redis安装及其使用

本文介绍NoSQL技术：Redis的安装及其使用。操作系统：Ubuntu24.04 Redis介绍 Redis是一个键值（key-value）存储系统，即键值对非关系型数据库，和Memcached类似，目前正在被越来越多的互联网公司采用…...

编程日记 2025/8/17 21:24:36

前端工程化之自动化构建

自动化构建自动化构建的基本知识历史云构建和自动化构建的区别：部署环境：构建：构建产物构建和打包的性能优化页面加载优化构建速度优化 DevOps原则反馈的技术实践 encode-bundlepackage.json解读src/cli-default.tssrc/cli-node.tssrc/cl…...

编程日记 2025/8/21 1:33:19

ls out/target/product/<product>/gen/STATIC_LIBRARIES/libcamxgenerated_intermediates/generated g_chromatix g_facedetection g_parser g_sensorg_chromatix/ tuning相关xml的解析codeg_facedetection/ 人脸检测相关xml的解析codeg_parser/ 主要的解析manager 流…...

编程日记 2025/8/31 6:09:36

虚幻引擎 Anim To Tex| RVT | RT

本文上篇分为4个部分：动画驱动材质，虚拟纹理，Rendertarget，以及其他杂项的地编ta干货整理。（其中RT部分基本为UOD重要截图摘录） 本文下篇为：skylight和directional light的区别，未完…...

编程日记 2025/9/2 0:42:35

计算机视觉与深度学习 | 钢筋捆数识别

===================================================== github：https://github.com/MichaelBeechan CSDN：https://blog.csdn.net/u011344545 ===================================================== 钢筋捆数 1、初始结果2、处理效果不佳时的改进方法‌1、预处理增强2、后…...

编程日记 2025/8/31 4:49:20

关于PHP开源CMS系统ModStart的详细介绍及使用指南

关于PHP开源CMS系统ModStart的详细介绍及使用指南： 🔍 ModStart是什么？ 基于Laravel框架开发的模块化CMS系统采用Apache 2.0 开源协议，完全免费可商用特别适合需要快速搭建企业级网站/管理系统的开发者 🚀 核心优势…...

编程日记 2025/8/31 8:10:28

VMware vCenter Server 安全漏洞升级方案一则

一、安全漏洞情况根据VMware提供的安全建议（VMSA-024-0012），VMware vCenter Server可能经受以下漏洞的威胁： 漏洞一为VMware vCenter Server堆溢出漏洞（CVE-2024-37079，CVE-2024-37080）&…...

编程日记 2025/9/1 12:33:49

Linux服务之网络共享

目录一.存储类型二.NFS 2.1定义 2.2工作原理 2.3优势 2.4NFS工具 2.4.1exportfs 2.4.2showmount 2.5NFS相关软件及命令 2.6模拟实现NFS 准备工作（服务端和客户端都需要） 服务端位置客户端配置测试补充：设置自动挂载一.存…...

编程日记 2025/9/1 22:34:56

接口幂等性问题

幂等性问题出现在创建和更新数据时： 一、创建 1、在创建数据时，数据库方面，创建有效的唯一索引，用来数据兜底，并在程序中做异常捕获。 2、在插入数据时可以创建一个防重表做过滤，如果防重数据比较小又需…...

编程日记 2025/9/1 17:20:22

LeetCode每日一题4.14

1534. 统计好三元组问题分析遍历数组，满足好三元组定义，count1 思路枚举i，j，k 代码 class Solution:def countGoodTriplets(self, arr: List[int], a: int, b: int, c: int) -> int:n len(arr)count 0for i in range…...

编程日记 2025/8/17 18:53:49

活动安排问题之前缀和与差分

文章目录 D. Robert Hood and Mrs Hood 考虑到一个活动开始时间和结束时间s,e，那么可以影响到的范围就是 s-d1,e,所以我们只需对这个每一个活动可以影响到的区域进行标记即可，当然为了降低时间复杂度，我们将使用前缀和与差分 t int(input()…...

编程日记 2025/8/28 7:16:29