当前位置： 首页 > news >正文

AIDC智算中心建设：资源池化核心技术解析

news 来源：原创 2025/8/25 11:40:02

目录

一、池化技术架构

二、池化核心技术

三、展望

一、池化技术架构

智能算力池化指依托云计算技术，整合 GPU/AI 芯片等异构算力资源，构建集中管理的资源池，并按上层智算业务的需求，对池化的资源进行统一调度、分配，实现智算业务生命周期管理的全套技术。为解决智算中心所面临的资源利用率低下问题，算力池化基于传统云计算技术(如 Kubernetes、OpenStack，智算中心以 Kubernetes 为 主)有针对性地增强 GPU/AI 芯片池化能力，采用软件定义的方式, 对 GPU/AI 芯片进行分时调度管理，实现按 GPU/AI 芯片的细粒度分配资源，并采用 GPU/AI 芯片 Runtime API 劫持、应用程序监视器等技术，实现资源跨节点远程调用、零散资源整合等，从而达到算力资源充分利用、碎片最小化效果，可有效提升资源效率，降低智算中心整体建设成本。

如上图，Kubernetes 作为池化平台的技术底座，主要承担 CPU 的管理调度和作为 AI 任务载体的容器 POD 的生命周期管理功能，通过对 Kubernetes 调度能力的扩展，将 GPU 等智算的管理功能转移至独立的池化控制器执行。而在业务侧，在容器 POD 内植入完全仿真 GPU 卡的原生运行时的池化运行时组件，AI 应用可以像在真实环境中一样运行无感知，通过池化运行时劫持 AI 应用对 GPU的访问 API 并转交池化服务代理执行，再由池化代理配合池化控制器实现敏捷管理功能。

算力池化平台逻辑上可分为池化资源管理、资源服务代理、池化运行时三类模块组成：

  • 池化资源管理

  • Kubernetes管理组件：基于Kubernetes原生管理服务组件定制化增强，如支持分布式文件存储、支持 POD 多网络平面、支持 RoCEv2/Infiniband 网络等。

  • Kubernetes调度扩展：关联Kubernetes调度服务扩展专用的池化资源类型，对该类资源的请求转递智算资源池化控制器进行调度、分配，需配合Kubernetes设备插件使用。

  • 智算资源池化控制器：对GPU、AI芯片等智算进行统一管理、调度、分配。

  • 资源服务代理

  • 池化服务代理：根据智算资源池化控制器的调度结果，将池化运行时对资源的访问请求重定向到实际物理位置执行，如涉及跨机访问智算资源，则需相关服务器上的池化服务代理多次重定向，跨机重定向的流量需经由高速无损网络(如参数面网络)。

  • Kubernetes服务代理：基于Kubernetes原生服务代理组件定制化增强。

  • Kubernetes 设备插件：配合Kubernetes调度扩展，为Kubernetes服务代理注册专用的池化资源类型。

  • 容器运行时：基于原生容器运行时(如Dockerd、Containerd 等)定制化增强。

  • 池化运行时

  • 池化运行时：依托GPU、AI芯片的原生运行时(如CUDARuntime) 进行二次封装，采用 API 劫持、应用程序监视等技术，将 AI 应用软件/AI 开发框架对算力资源的访问转递至池化服务代理执行。池化运行时位于容器 POD 内，在容器运行时由自动注入。

根据上述技术架构，当AI应用编排器通过调用 Kubernetes API 创建应用时，可按新增的池化资源类型指定申请的资源数量(如 pool.kubernetes.io/gpu: 1)，对该类型资源的申请会被Kubernetes调度扩展拦截、转递至智算资源池化控制器进行调度，智算资源池化控制器按申请的资源数量、资源池内空闲资源分布情况进行调度后，将调度结果响应给 Kubernetes 管理组件，然后 Kubernetes 管理组件正常执行AI应用的创建流程，由 Kubernetes 服务代理创建最终 POD 作为交付物，并通过池化服务代理配合在 POD 中自动注入池化运行时、 通过 Kubernetes 设备插件配合在 POD 中插入虚拟 GPU。

AI 应用的POD在运行的时候，通过池化运行时访问虚拟GPU、执行AI任务，池化运行时拦截对虚拟GPU的访问请求、转递给池化服务代理执行，池化服务代理通过向智算池化控制器查询虚拟GPU所对应的真实智算资源位置、规格，按查询结果分配智算资源、执行AI任务，如果真实的智算资源位于远程计算节点，则由本地池化服务代理将访问请求转递给远程计算节点上的池化服务代理处理，相关通信经由参数面网络。

二、池化核心技术

  • API 劫持技术

  • API 劫持技术是目前比较普遍的、针对智能算力的池化技术，它通过劫持对 Runtime API(如 CUDA API)调用实现资源调度。AI 应用的容器 POD 内运行的池化运行时并非 GPU/AI 芯片原生的运行时，而是基于原生运行时进行了一定定制化的版本，它对上层应用所提供的 API 接口完全等同于原生运行时，因此对 AI 应用来说是透明的。当 AI 应用访问池化运行时的 API 时，则被池化运行时转递至池化服务代理执行，池化服务代理则具备敏捷化的资源管理功能，比如按 1%算力、1MB 缓存的精度细粒度分配资源，实现跨节点远程调用资源等。

  • API 劫持技术的关键在于池化运行时仿真 GPU/AI 芯片的原生运行时，由于 GPU/AI 芯片种类、型号繁多，其原生运行时又相对活跃、升级频繁，仿真工作较为复杂，开发量、维护难度较大。

  • 应用程序监视器技术

  • 这是一种完全与 GPU/AI 芯片无关的设备虚拟化和远程处理方法, 允许在没有显式软件支持的情况下启用新的硬件体系结构。该项技术通过应用程序监视器工作，该监视器与 Hypervisor 管理虚拟机的方式类似，分为前端、后端，前端监视指定应用程序的活动，拦截至后端处理，后端可以按应用程序申请的数量分配资源，或将应用程序拆分到多台机器上运行，在保持代码、数据和执行环境一致性的前提下使用这些机器上的智算资源，从而实现资源的细粒度管理、远程调用等资源敏捷化管理功能。应用程序监视器负责维护应用程序状态(内存、文件、应用程序库的加载)，以及虚拟化与系统的交互(例如系统调用和进程间通信)，以确保在多个位置执行时的一致性。

  • 与 API 劫持技术直接介入到 AI 应用访问资源的流程、需要仿真原生运行时的 API 接口的方式不同，应用程序监视器不介入到 AI 应用访问资源的流程，而是通过更底层的系统调用隐含而广泛的支持更多种类、型号的硬件和新的运行时功能，其实现方式与特定的运行时 API(如 CUDA)无关，具备更加强大的通用性和兼容性。该池化技术实现较为复杂，但灵活性较高，然而 GPU/AI 加速卡驱动的接口多为不透明, 对驱动调用的劫持面临一定的兼容性问题，且存在一定的法律风险。应用程序监视器技术是一种新型的池化方案，目前VMware 的 Radium、阿里云的 cGPU、腾讯云的 pGPU 等产品为典型代表。

两种方案在集成实现难度、性能表现、升级适配等方面各有优劣，项目应用落地时需根据实际应用情况选择。除此之外，其他一些大厂也有各自的池化方案。

三、展望

当大模型迈进万亿参数量规模，算力、显存和互联的需求再次升级，智算中心将真正进入超级池化时代，高速互联的百卡组成的“超级服务器(Super Server, S2)”可能将成为新的设备形态。传统以单机8卡为最小单元的智算中心设计思路需要革新，“超级服务器”内需要打造统一的协议实现 CPU、GPU、AI 芯片、显存、存储等池化资源的无缝连接，进而通过 GSE 等高性能交换网络，达到极高吞吐、极低时延的系统算力；为推动算效能力进一步提升，基于存算一体架构的大算力芯片将开始逐步应用；存储系统在“超级服务器”内支持内存池技术，对外扩展支持全局统一存储；针对日益割裂的智算生态，需要构建基于算力原生平台的跨架构开发、编译、优化环境，屏蔽底层硬件差异，从软件层面最大化使能异构算力融通。

往期推荐

AIDC智算中心建设：计算力核心技术解析-CSDN博客文章浏览阅读880次，点赞24次，收藏9次。智算中心是人工智能发展的关键基础设施，基于人工智能计算架构，提供人工智能应用所需算力服务、数据服务和算法服务的算力基础设施，融合高性能计算设备、高速网络以及先进的软件系统，为人工智能训练和推理提供高效、稳定的计算环境。智算中心的主要功能包括：提供强大的计算能力：智算中心采用专门的AI算力硬件，如GPU、NPU、TPU等，以支持高校的AI计算任务。高效的数据处理：智算中心融合了高性能计算设备和高速网络，能够处理大规模的数据集和复杂的计算任务。 https://blog.csdn.net/u013891230/article/details/147703920?spm=1011.2415.3001.5331一文解读DeepSeek在保险业的应用_deepseek 保险行业应用-CSDN博客文章浏览阅读1k次，点赞44次，收藏29次。随着人工智能技术的深度渗透，保险行业正经历从传统经验驱动向数据智能驱动的转型。作为国产高性能开源大模型的代表，DeepSeek 凭借其低成本、高推理效率及跨模态处理能力，已成为保险机构突破服务瓶颈、重构业务逻辑的核心工具。截止目前，已有超过 20 家保险公司完成 DeepSeek 本地化部署，覆盖精准营销、智能核保、客户服务、运营效率优化等核心场景，推动行业向智能化、精细化方向加速升级。_deepseek 保险行业应用 https://blog.csdn.net/u013891230/article/details/146923598?spm=1011.2415.3001.5331一文解读DeepSeek在银行业的应用_deepseek在银行的应用-CSDN博客文章浏览阅读1.5k次，点赞38次，收藏21次。随着人工智能技术的快速发展，大语言模型（LLM）已成为银行业数字化转型的核心驱动力。作为高性能开源大模型的代表，DeepSeek 凭借其低成本、高推理效率及跨场景适配能力，正加速渗透至银行核心业务场景。据不完全统计，截至 2025 年 3 月，已有包括国有大行、股份制银行及城商行在内的 20 余家银行完成 DeepSeek 本地化部署，覆盖精准营销、智能风控、客户服务、投资决策等领域，推动银行业务效率提升与服务模式重塑。_deepseek在银行的应用 https://blog.csdn.net/u013891230/article/details/146922794?spm=1011.2415.3001.5331一文解读DeepSeek大模型在政府工作中具体的场景应用_deepseek在机关工作中应用-CSDN博客文章浏览阅读1.2k次，点赞28次，收藏29次。本文以政务内部管理的视角，介绍DeepSeek大模型在政务数字化在转型中的提质增效应用！政务本是一个复杂的系统，对外要提供公共服务，对内有严格的安全管理要求。DeepSeek大模型在政务系统中的应用，对外提升服务水平，对内增强办公效率，一体两面，全力引领政务数字化加速转型！_deepseek在机关工作中应用 https://blog.csdn.net/u013891230/article/details/146712602?spm=1011.2415.3001.5331一文解读DeepSeek大模型在政务服务领域的应用_皖政通 deepseek-CSDN博客文章浏览阅读1.2k次，点赞35次，收藏10次。随着政务数字化转型的深入，以DeepSeek为代表的大模型技术正逐步成为提升政府服务效能的核心驱动力。通过自然语言处理、多模态数据融合和深度学习等技术，DeepSeek在智能问答、政策分析、城市治理等场景中展现出强大的能力。其低成本、高适配性的特点，尤其为中小城市和基层政务提供了普惠化AI解决方案。目前，全国已有超100家政府单位接入DeepSeek，覆盖民生服务、行政审批、城市管理等多个领域，显著提升了政务服务的智能化水平。_皖政通 deepseek https://blog.csdn.net/u013891230/article/details/146572018?spm=1011.2415.3001.5331一文解读DeepSeek在工业制造领域的应用_deepseek工业应用-CSDN博客文章浏览阅读1.6k次，点赞42次，收藏16次。在当今数字化浪潮席卷全球的背景下，各个行业都在积极寻求创新与变革，工业制造领域也不例外。然而，传统工业制造在生产效率、质量控制、成本管理等方面面临着诸多挑战。在这一关键时期，人工智能技术的兴起为工业制造带来了新的机遇。DeepSeek作为一种前沿的人工智能技术，逐渐走进了工业制造领域的视野。本文将深入探讨DeepSeek在工业制造领域的应用现状、优势以及面临的挑战，旨在为相关企业和从业者提供有价值的参考，助力工业制造向智能化、高效化方向迈进。_deepseek工业应用 https://blog.csdn.net/u013891230/article/details/146513702?spm=1011.2415.3001.5331一文解读DeepSeek的安全风险、挑战与应对策略_deepseek的发展带来的风险与挑战-CSDN博客文章浏览阅读1.8k次，点赞28次，收藏22次。DeepSeek作为中国领先的AI大模型提供商，凭借其开源、低成本和高性能的优势，迅速在全球AI市场占据重要地位。然而，随着其应用范围的扩大，DeepSeek在数据安全、模型漏洞、网络攻击等方面面临严峻挑战。本文基于最新公开资料，系统分析DeepSeek的安全风险、行业影响及应对策略，为企业和政策制定者提供参考。_deepseek的发展带来的风险与挑战 https://blog.csdn.net/u013891230/article/details/146513162?spm=1011.2415.3001.5331

欢迎 点赞👍 | 收藏⭐ | 评论✍ | 关注🤗

相关文章：

AIDC智算中心建设：资源池化核心技术解析

目录 一、池化技术架构 二、池化核心技术 三、展望 一、池化技术架构 智能算力池化指依托云计算技术，整合 GPU/AI 芯片等异构算力资源，构建集中管理的资源池，并按上层智算业务的需求，对池化的资源进行统一调度、分配&#xff…...

编程日记 2025/8/25 11:40:02

flink监控指标

文章目录 一、flink yaml配置二、配置指标项情况 提示：以下是基于开源flink on k8s环境下配置监控指标(部分已实验，粗略记录) 一、flink yaml配置 配置完成后就可以在页面查询(部分 需要验证)指标 二、配置指标项情况 参考下面网址： 阿里…...

编程日记 2025/8/25 11:37:47

签名去背景图像处理实例

一、前言 在生活中我们经常用到电子签名，但有时候我们所获取的图像的彩色图像，我们需要获取白底黑字的电子签名，我们可以通过下面程序对彩色图像进行处理达到我们的处理目的。 原始彩色图像如下： 二、原始代码 clear all;close a…...

编程日记 2025/8/21 14:13:50

[人机交互]理解与概念化交互

零.本章重点（理解和分析用户问题） – 解释“问题空间”的概念和含义 – 解释如何概念化交互 – 描述什么是概念模型 – 讨论将界面隐喻作为概念模型的利弊 – 讨论界面具体化和抽象化各自的优缺点 – 概述概念设计和实际设计的关系 一.理解问题空间 简单…...

编程日记 2025/8/25 11:34:56

C与指针——常见库函数

字符串 #include<stdlibs.h> int abs(int); long labs(long); int rand(void);//0-RAND_MAX //字符串转值 int atoi(const char*); long atol(const char*); float atof(const char*);数学\排序 #include<math.h> \\常见三角&#xff0c;sqrt(); exp(); double p…...

编程日记 2025/8/25 11:38:43

【C++指南】STL list容器完全解读（一）：从入门到掌握基础操作

. &#x1f493; 博客主页&#xff1a;倔强的石头的CSDN主页 &#x1f4dd;Gitee主页&#xff1a;倔强的石头的gitee主页 ⏩ 文章专栏&#xff1a;《C指南》 期待您的关注 文章目录 一、初识list容器1.1 什么是list&#xff1f;1.2 核心特性1.3 典型应用场景 二、核心成员函数…...

编程日记 2025/8/25 11:38:43

Auto.js 脚本：清理手机数据但保留账号

Auto.js 脚本&#xff1a;清理手机数据但保留账号 以下是一个使用 Auto.js 实现的脚本&#xff0c;它可以帮你清理手机数据&#xff08;类似恢复出厂设置&#xff09;&#xff0c;同时尽可能保留已登录的账号状态。请注意&#xff0c;这个脚本不能完全等同于真正的恢复出厂设置…...

编程日记 2025/8/25 11:38:42

Web Workers 技术详解与最佳实践

Web Workers 是 HTML5 提供的一个强大的多线程解决方案&#xff0c;它允许在后台线程中运行 JavaScript 代码&#xff0c;从而避免阻塞主线程。本文将深入探讨 Web Workers 的技术实现和实际应用。 一、Web Workers 基础 1. 创建 Worker // 主线程代码 const worker new Wo…...

编程日记 2025/8/21 11:27:46

llama_factory0.9.3微调Qwen3

llama_factory微调QWen1.5-CSDN博客文章浏览阅读3.3k次，点赞36次，收藏10次。本文介绍了如何使用LLaMA-Factory微调Qwen1.5模型，包括1.8B和0.5B版本的训练细节。在数据、训练、LORA融合及...

编程日记 2025/8/25 11:40:01

Linux的时间同步服务器（附加详细实验案例）

一、计时方式的发展 1.古代计时方式​ 公元前约 2000 年&#xff1a;古埃及人利用光线留下的影子计时&#xff0c;他们修建高耸的大型方尖碑&#xff0c;通过追踪方尖碑影子的移动判断时间&#xff0c;这是早期利用自然现象计时的典型方式 。​商朝时期&#xff1a;人们开发并…...

编程日记 2025/8/25 11:37:46

【全队项目】智能学术海报生成系统PosterGenius--前后端系统介绍

&#x1f308; 个人主页&#xff1a;十二月的猫-CSDN博客 &#x1f525; 系列专栏&#xff1a; &#x1f3c0;大模型实战训练营_十二月的猫的博客-CSDN博客 &#x1f4aa;&#x1f3fb; 十二月的寒冬阻挡不了春天的脚步&#xff0c;十二点的黑夜遮蔽不住黎明的曙光 目录 一. 前…...

编程日记 2025/8/23 2:30:32

COlT_CMDB_linux_tomcat_20250505.sh

#!/bin/bash #IT_BEGIN #IT_TYPE3 #IT MIDWARE_TOMCAT_DISCOVERY|discovery.tomcat[disc] #原型指标 #IT_RULE MIDWARE_TOMCAT_IP|ip[{#CATALINA_BASE}] #IT_RULE MIDWARE_TOMCAT_Startpid|Start_pid[{#CATALINA_BASE}] #IT_RULE MIDWARE_TOMCAT_hostname|hostname[{#CATALINA_…...

编程日记 2025/8/25 4:00:52

【瞎折腾/mi50 32G/ubuntu】mi50显卡ubuntu运行大模型开坑(二)使用llama.cpp部署Qwen3系列

目录 说在前面准备工作编译llama.cpp运行Qwen3系列4B Q432B Q6温度 参考 说在前面 主板&#xff1a;未知x99cpu&#xff1a;E5 2666v3显卡&#xff1a;Mi 50 32G系统&#xff1a;ubuntu 22.04 准备工作 挂载磁盘(可选) 由于我的系统装在U盘上&#xff0c;访问文件系统会比较慢…...

编程日记 2025/8/21 10:28:54

《数据结构初阶》【顺序栈 + 链式队列 + 循环队列】

《数据结构初阶》【顺序栈 链式队列 循环队列】 前言&#xff1a;什么是栈&#xff1f;栈有哪些实现方式&#xff1f;我们要选择哪种实现方式&#xff1f;--------------------------------什么是队列&#xff1f;队列有哪些实现方式&#xff1f;我们要选择哪种实现方式&…...

编程日记 2025/8/25 10:20:39

TCP和UDP

一、基本概念 1. TCP&#xff08;传输控制协议&#xff0c; Transmission Control Protocol&#xff09; 面向连接&#xff08;Connection-oriented&#xff09;&#xff1a;在传输数据前&#xff0c;要建立连接&#xff08;三次握手&#xff09;可靠&#xff1a;保证数据按顺…...

编程日记 2025/8/25 11:33:12

AI小智本地前后端部署

AI小智本地部署 1.安装phpstudy 1.1.安装该软件是为了获得web环境&#xff1a;MySQLApacherediophpmyadmin&#xff0c;介绍如下&#xff1a; ✅ 1. MySQL&#xff08;数据库&#xff09; 作用&#xff1a;关系型数据库管理系统&#xff0c;存储结构化数据&#xff0c;如用…...

编程日记 2025/8/23 2:01:02

springboot+mysql+element-plus+vue完整实现汽车租赁系统

目录 一、项目介绍 二、项目截图 1.项目结构图 三、系统详细介绍 管理后台 1.登陆页 2.管理后台主页 3.汽车地点管理 4.汽车类别 5.汽车品牌 6.汽车信息 7.用户管理 8.举报管理 9.订单管理 10.轮播图管理 11.交互界面 12.图表管理 汽车租赁商城 1.首页 2.汽…...

编程日记 2025/8/25 11:38:43

直方图比较

目录 1、直方图比较的概念 2、直方图比较的主要原因 3、典型应用场景 4、基础直方图比较 5、多通道直方图比较 6、实时直方图检测 1、直方图比较的概念 直方图比较是通过数学方法计算两个直方图之间的相似度或差异度的技术。在计算机视觉中&#xff0c;直方图是对图像特征…...

编程日记 2025/8/25 11:38:43

【计算机视觉】3d人体重建：PIFu/PIFuHD：高精度三维人体数字化技术指南

深度解析PIFu/PIFuHD&#xff1a;高精度三维人体数字化技术指南 一、项目概述与技术突破1.1 技术定位与核心价值1.2 性能指标对比1.3 技术演进路线 二、环境配置与模型部署2.1 硬件要求2.2 软件安装基础环境配置附加组件安装 2.3 模型下载 三、核心算法解析3.1 网络架构设计多层…...

编程日记 2025/8/25 11:36:27

HTML05：超链接标签及应用

链接标签 <a href"path" target"目标窗口位置">链接文本或图像</a>文本超链接图像超链接 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>链接标签学习</title&…...

编程日记 2025/8/25 11:39:27

JAVA设计模式——（十一）建造者模式（Builder Pattern）

JAVA设计模式——&#xff08;十一&#xff09;建造者模式&#xff08;Builder Pattern&#xff09; 介绍理解实现Phone类具体手机类建造者测试 应用 介绍 建造者模式用于将对象的创建和表示进行分离&#xff0c;即对象创建的过程单独提取出来&#xff0c;作为建造者的职能&am…...

编程日记 2025/8/25 11:37:15

JavaScript 笔记 --- part7 --- JS进阶 (part2)

JS进阶(part2) 内置构造函数 Object: 用于创建对象 String: 用于创建字符串 Number: 用于创建数字 Array: 用于创建数组 Boolean: 用于创建布尔值 Function: 用于创建函数 Date: 用于创建日期对象 RegExp: 用于创建正则表达式对象 Error: 用于创建错误对象 Map: 用于…...

编程日记 2025/8/25 11:35:24

JavaScript 笔记 --- part8 --- JS进阶 (part3)

JS 进阶(part3) 深浅拷贝 只针对引用类型 浅拷贝 浅拷贝只拷贝外面一层的属性, 如果对象里面还有对象, 那么这个对象的引用会被拷贝过去, 所以修改其中一个属性会影响到另一个对象 const obj {name: "zhangsan",age: 18,child: {name: "xiaoming",ag…...

编程日记 2025/8/21 22:50:44

LeetCode 热题 100 46. 全排列

LeetCode 热题 100 | 46. 全排列 大家好&#xff0c;今天我们来解决一道经典的算法题——全排列。这道题在 LeetCode 上被标记为中等难度&#xff0c;要求给定一个不含重复数字的数组 nums&#xff0c;返回其所有可能的全排列。全排列是排列组合中的经典问题&#xff0c;通常可…...

编程日记 2025/8/25 11:39:27

双目视觉的核心目标

通过计算左右图像中同一物体的像素点位置差&#xff08;视差&#xff09;&#xff0c;进而还原出物体在三维空间中的真实位置。 双目视觉的核心流程&#xff1a; 1️⃣ 相机标定&#xff08;calibration&#xff09; 获取左右相机的内参、外参和畸变参数。 获取投影矩阵 Q&a…...

编程日记 2025/8/21 22:50:40

《类和对象(上)》

引言&#xff1a; 上次我们学习了C的一些入门基础&#xff0c;但其实还没有入门C&#xff0c;想要入门C&#xff0c;肯定是要把类和对象这部分学透彻&#xff0c;这次先来学习类和对象&#xff08;上&#xff09; 一&#xff1a;类的定义 1. 类定义格式&#xff1a; class为…...

编程日记 2025/8/25 11:37:46

强化学习ppo算法在大语言模型上跑通

最近在研究强化学习&#xff0c;目标是想在我的机械臂上跑出效果。ppo算法是强化学习领域的经典算法&#xff0c;在网上检索ppo算法&#xff0c;出现的大部分文章都是互相抄袭&#xff0c;上来都列公式&#xff0c;让人看得云里雾里。偶然间发现一个deepspeed使用的example(链接…...

编程日记 2025/8/25 11:33:11

告别散乱的 @ExceptionHandler：实现统一、可维护的 Spring Boot 错误处理

Spring Boot 的异常处理机制一直都烂得可以。即便到了 2025 年&#xff0c;有了这么多进步和新版本&#xff0c;开发者们发现自己还是在跟 ControllerAdvice、分散各处的 ExceptionHandler 方法以及五花八门的响应结构较劲。这真的是一团糟。 无论你是在构建 REST API、微服务…...

编程日记 2025/8/25 11:34:56

Ubuntu安装编译环境

1. 安装基础编译工具链&#xff08;GCC, G, Make 等&#xff09; sudo apt update # 只更新索引信息​&#xff0c;不安装软件 sudo apt install build-essential这会安装以下核心组件&#xff1a; • gcc (GNU C 编译器) • g (GNU C 编译器) • make (构建工具) • libc-…...

编程日记 2025/8/25 11:37:16

Scrapy爬虫实战：如何用Rules实现高效数据采集

Scrapy是一个强大的Python爬虫框架&#xff0c;而其中的Rules类则为爬虫提供了更高级的控制方式。本文将详细介绍如何在Scrapy中使用Rules&#xff0c;以及各个参数的具体作用&#xff0c;并结合实际场景说明Rules的必要性。 为什么需要Rules&#xff1f; 在Web爬取过程中&…...

编程日记 2025/8/25 11:34:56

ERP系统源码，有演示，开发文档、数据库文档齐全，支持二次开发

一套开箱即用的云端ERP系统源代码&#xff0c;小型工厂ERP系统源码 SaaS ERP是一套开箱即用的云端ERP系统&#xff0c;有演示&#xff0c;开发文档&#xff0c;数据库文档齐全&#xff0c;自主版权落地实例&#xff0c;适合项目二开。 SaaS ERP具有高度的灵活性和可扩展性&am…...

编程日记 2025/8/21 9:26:44

如何将腾讯云的测试集成到自己的SpringBoot中

1.创建Util 我们将之前测试的test复制过来&#xff0c; 1.将方法里面的固定参数设置出来private 2.将方法里面的变化参数设置作为传入参数 3.返回String类型的URL地址 完整代码如下&#xff1a; package org.huangyingyuan.utils;import com.qcloud.cos.COSClient; import…...

编程日记 2025/8/21 22:50:25

Java后端开发day41--IO流（一）--FileOutputStreamFileInputStream

(以下内容全部来自上述课程) IO流&#xff1a;存储和读取数据的解决方案 I&#xff1a;input O&#xff1a;output 流&#xff1a;像水流一样传输数据 1. 流的分类 纯文本文件&#xff1a;Windows自带的记事本打开就能读懂 2. IO流的体系 3 字节流 3.1 FileOutputStream 操…...

编程日记 2025/8/24 2:31:18

Spring 框架中 @Configuration 注解详解

在 Spring 框架的开发过程中&#xff0c;Configuration注解是一个极为重要的存在&#xff0c;它让开发者能够以一种更加简洁、灵活的方式来管理应用程序的配置信息&#xff0c;极大地提升了开发效率和代码的可维护性。 本文将深入剖析Configuration注解的方方面面&#xff0c;…...

编程日记 2025/8/24 20:52:04

手机打电话时由对方DTMF响应切换多级IVR语音应答（一）

手机打电话时由对方DTMF响应切换多级IVR语音应答&#xff08;一&#xff09; --本地AI电话机器人 一、前言 经前面的系列篇章中&#xff0c;我们实现了拦截手机打电话的声音、根据通话对方声音提取DTMF字符。由此&#xff0c;我们通往AI电话机器人的道路就畅通无阻了。 如果…...

编程日记 2025/8/21 22:50:20

GM DC Monitor v2.0 - 平台自定义-使用说明

平台支持对LOGO、登录页背景图、平台名称、小标题名称、网址、告警中心、知识库名称进行自定义&#xff0c;自定义完以后&#xff0c;平台将更加适合您的工作场景&#xff01; LOGO自定义建议使用100*80的png背景透明图片&#xff0c;大小不超过200k 登录背景建议使用1920*71…...

编程日记 2025/8/21 9:54:27

实验-数字电路设计2-复用器和七段数码管（数字逻辑）

目录 一、实验内容 二、实验步骤 2.1 复用器的设计 2.2 七段数码管的设计 三、调试过程 3.1 复用器调试过程 3.2 七段数码管的调试过程 四、实验使用环境 五、实验小结和思考 一、实验内容 a) 介绍 在这次实验中&#xff0c;你将熟悉 Logisim 的操作流程&#xff…...

编程日记 2025/8/21 22:50:16

HTTP/HTTPS协议（请求响应模型、状态码）

目录 HTTP/HTTPS协议简介 HTTP协议 HTTPS协议 请求 - 响应模型 HTTP请求 &#xff08;二&#xff09;HTTP响应 HTTPS协议与HTTP协议在请求 - 响应模型中的区别 HTTP/HTTPS协议简介 HTTP协议 定义 HTTP&#xff08;HyperText Transfer Protocol&#xff09;即超文本传输…...

编程日记 2025/8/21 22:50:14

详解RabbitMQ工作模式之路由模式

目录 路由模式 概念介绍 工作原理 特点 应用场景 实现步骤 代码案例 引入依赖 常量类 编写生产者代码 编写消费者1代码 编写消费者2代码 运行代码 路由模式 概念介绍 路由模式是发布订阅模式的变种, 在发布订阅基础上, 增加路由key。 发布订阅模式是⽆条件的将所有…...

编程日记 2025/8/24 8:54:36

青少年编程与数学 02-018 C++数据结构与算法 26课题、数据压缩算法

青少年编程与数学 02-018 C数据结构与算法 26课题、数据压缩算法 一、无损压缩算法1. Huffman编码2. Lempel-Ziv-Welch (LZW) 编码3. Run-Length Encoding (RLE) 二、有损压缩算法1. DEFLATE&#xff08;ZIP压缩&#xff09;2. Brotli3. LZMA4. Zstandard (Zstd) 总结 课题摘要…...

编程日记 2025/8/23 13:09:03

Sim Studio 是一个开源的代理工作流程构建器。Sim Studio 的界面是一种轻量级、直观的方式，可快速构建和部署LLMs与您最喜欢的工具连接

​一、软件介绍 文末提供程序和源码下载 Sim Studio开源程序 是一个功能强大、用户友好的平台&#xff0c;用于构建、测试和优化代理工作流程&#xff0c;Sim Studio 是一个开源的代理工作流程构建器。Sim Studio 的界面是一种轻量级、直观的方式&#xff0c;可快速构建和部署…...

编程日记 2025/8/21 11:33:31

基于Boost库、Jsoncpp、cppjieba、cpp-httplib等构建Boost搜索引擎

⭐️个人主页&#xff1a;小羊 ⭐️所属专栏&#xff1a;项目 很荣幸您能阅读我的文章&#xff0c;诚请评论指点&#xff0c;欢迎欢迎 ~ 目录 项目背景技术栈和项目环境正排索引和倒排索引数据去标签与清洗下载数据源去标签 建立索引构建正排索引构建倒排索引 建立搜索引擎h…...

编程日记 2025/8/21 13:47:07

文本三剑客

目录 1.文本三剑客 2.awk 常见的内置变量 3.sed 选项&#xff1a; 脚本语法&#xff1a; 查找替换&#xff1a; 步进&#xff1a; 1.文本三剑客 awk&#xff1b;sed&#xff1b;grep 读取方式为&#xff1a;vim先将整个文件放入内存中进行编辑&#xff1b;awk是先将文…...

编程日记 2025/8/23 8:28:05

使用 Microsoft 365 Copilot 上传手机图片，实现更高效的信息提取

过去&#xff0c;如果你想从手机上的图片中提取信息或获取洞察&#xff0c;流程往往十分繁琐&#xff1a;需要先把图片发到邮箱&#xff0c;再下载到电脑&#xff0c;最后才能上传到 Copilot 聊天框中。 现在不必如此了&#xff01;在你熟悉的 Microsoft 365 Windows 应用或网…...

编程日记 2025/8/23 2:30:31

simulink使能子系统的四种配置

目录 前言 一、模型 二、特性 组合1&#xff1a;使能模块为保持&#xff0c;输出为保持 组合2&#xff1a;使能模块为保持&#xff0c;输出为重置 组合3&#xff1a;使能模块为重置&#xff0c;输出为保持 组合4&#xff1a;使能模块为重置&#xff0c;输出为重置 仓库…...

编程日记 2025/8/21 4:41:59

一、Hadoop历史发展与优劣势

引言&#xff1a;大数据浪潮中的“大象”——Hadoop 的足迹与权衡 当数据以前所未有的速度和规模涌现&#xff0c;大数据时代悄然来临&#xff0c;传统的数据处理方式显得力不从心。在这样的背景下&#xff0c;Hadoop 应运而生&#xff0c;如同一头强健而可靠的大象&#xff0…...

编程日记 2025/8/21 22:49:59

conda配置好的pytorch在jupyter中如何配置

配置 其实不用再配置了 如下图&#xff08;主要是激活pytorch环境&#xff0c;再jupyter notebook&#xff09; jupyter运行快捷键shiftenter 新建文件夹folder&#xff0c;新建notebook 使用 帮助文档&#xff08;两种方式&#xff09; ctrl/ 注释...

编程日记 2025/8/24 2:31:24

文本三剑客试题

目录 1找出/etc/passwd文件下的root开头的行 2找出/etc/passwd 含有root 的行 3找出/etc/passwd 文件中 root开头或 mail 开头的行 4过滤出 /etc/passwd文件中已bin开头的行&#xff0c;并显示行号 5过滤掉/etc/passwd文件中 root开头的行 6.在当前目录下所有.cc 的文件中…...

编程日记 2025/8/21 22:49:56

vscode docker 调试

目录 启动docker&#xff1a; vscode docker 调试 如果已经安装docker并且启动了。 启动docker&#xff1a; docker exec -it nlf /bin/bash vscode docker 调试 按照图中1 2 3 的顺序&#xff0c;进入&#xff0c;可以加载docker进行调试了。...

编程日记 2025/8/21 3:22:56

【程序人生】“阶段总结“-安危相易

好久没有坐下静下心回顾过去一段时间内发生的事以及经历过后的感想。今天趁着五一假期的机会细细盘一盘过去这段时间内的点点感悟吧...... 记得上一次的阶段总结停留在了24年的11月底。当初计划的是每月月底会抽出时间来进行一次深度的回顾与阶段总结&#xff0c;但是计划总赶…...

编程日记 2025/8/25 5:17:25