当前位置：首页 > news >正文

【C#深度学习之路】如何使用C#实现Yolo8/11 Segment 全尺寸模型的训练和推理

news 来源：原创 2025/6/9 11:41:18

【C#深度学习之路】如何使用C#实现Yolo8/11 Segment 全尺寸模型的训练和推理

项目背景
项目实现
- 推理过程
- 训练过程
项目展望
写在最后
项目下载链接

本文为原创文章，若需要转载，请注明出处。
原文地址：https://blog.csdn.net/qq_30270773/article/details/145169580
项目对应的Github地址：https://github.com/IntptrMax/YoloSharp
项目打包的Nuget地址：https://www.nuget.org/packages/IntptrMax.YoloSharp
C#深度学习之路专栏地址：https://blog.csdn.net/qq_30270773/category_12829217.html
关注我的Github，可以获取更多资料，请为你感兴趣的项目送上一颗小星星：https://github.com/IntptrMax

另外本人已经在多平台上发现了不做任何修改直接照抄就发布我的文章的盗版行为，还将我的开源免费资源当成付费资源发布的行为，对此表示强烈的不满。这种“盗窃知识”的行为严重损害了开源项目作者的个人利益以及开源共享精神。

项目背景

本人已经在Github及CSDN上连续发布了Yolov5，Yolov8，Yolov11模型的Predict方法的训练及推理的源码及实现方法介绍，这些项目成功实现了Yolo模型在C#平台上的训练，并且已经在Nuget中进行了打包。项目发布后一些小伙伴在问是否可以实现Segment方法，故进行了进一步的开发，本文就是对Segment的实现。
如果该资料对你有帮助，请在我的Github上送我一颗小星星。该项目的Github链接为https://github.com/IntptrMax/YoloSharp

项目实现

对于单独的Yolov5、Yolov8、Yolov11 Predict方法的实现原理及代码，请参考C#深度学习之路专栏内的相关文章。

Segment方法是在Predict方法上进行了进一步的开发。在Yolo模型上，仅为Segment层代替Predict层，而且Segment是继承自Predict的，加入了cv4这个模块，对Mask的计算。
详细代码如下：

推理过程

public class Segment : YolovDetect
{private readonly int nm;private readonly int npr;private readonly Proto proto;private readonly int c4;private readonly ModuleList<Sequential> cv4 = new ModuleList<Sequential>();public Segment(int[] ch, int nc = 80, int nm = 32, int npr = 256, bool legacy = false) : base(nc, ch, legacy){this.nm = nm; // number of masksthis.npr = npr;  // number of protosthis.proto = new Proto(ch[0], this.npr, this.nm);  // protosc4 = Math.Max(ch[0] / 4, this.nm);foreach (int x in ch){cv4.append(Sequential(new Conv(x, c4, 3), new Conv(c4, c4, 3), nn.Conv2d(c4, this.nm, 1)));}//RegisterComponents();}public override Tensor[] forward(Tensor[] x){Tensor p = this.proto.forward(x[0]); // mask protoslong bs = p.shape[0]; //batch sizevar mc = torch.cat(this.cv4.Select((module, i) => module.forward(x[i]).view(bs, this.nm, -1)).ToArray(), dim: 2); // mask coefficients				x = base.forward(x);x = base.forward(x);if (this.training){x = (x.Append(mc).Append(p)).ToArray();return x;}else{return [torch.cat([x[0], mc], dim: 1), x[1], x[2], x[3], p];}}
}

经过Segment层的计算，得到了与Predict后相同的输出，并且额外得到了一组与Predict对应，且形状为[160,160]的Mask张量。这组张量里保存Mask的信息，按尺寸和比例进行缩放，即为原始图像中对应的分割区域。

训练过程

Segment下的训练与Predict方法下的训练相似，不过需要对Mask进行额外处理。
这里有一个精巧的构思，为了在一个Mask（形状为[160,160]）里容纳所有Label对应的掩码，在有Mask的区域使用label的index+1的值表示。其余0的区域表示没有Mask。处理图像本体、label、mask的具体代码如下：

public (Tensor, Tensor, Tensor) GetLetterBoxSegmentData(long index)
{using var _ = NewDisposeScope();int maskSize = 160;Tensor orgImageTensor = torchvision.io.read_image(imageFiles[(int)index], torchvision.io.ImageReadMode.RGB);int originalWidth = (int)orgImageTensor.shape[2];int originalHeight = (int)orgImageTensor.shape[1];float scale = Math.Min((float)imageSize / originalWidth, (float)imageSize / originalHeight);int padWidth = imageSize - (int)(scale * originalWidth);int padHeight = imageSize - (int)(scale * originalHeight);float maskWidthScale = scale * originalWidth / imageSize;float maskHeightScale = scale * originalHeight / imageSize;Tensor imgTensor = torchvision.transforms.functional.resize(orgImageTensor, (int)(originalHeight * scale), (int)(originalWidth * scale));imgTensor = torch.nn.functional.pad(imgTensor, [0, padWidth, 0, padHeight], PaddingModes.Zeros);Tensor outputImg = torch.zeros([3, imageSize, imageSize]);outputImg[TensorIndex.Colon, ..(int)imgTensor.shape[1], ..(int)imgTensor.shape[2]] = imgTensor;string labelName = GetLabelFileNameFromImageName(imageFiles[(int)index]);string[] lines = File.ReadAllLines(labelName);float[,] labelArray = new float[lines.Length, 5];Tensor mask = torch.zeros([maskSize, maskSize]);for (int i = 0; i < lines.Length; i++){string[] datas = lines[i].Split(' ');labelArray[i, 0] = float.Parse(datas[0]);List<PointF> points = new List<PointF>();for (int j = 1; j < datas.Length; j = j + 2){points.Add(new PointF(float.Parse(datas[j]) * scale * originalWidth * maskSize / imageSize, float.Parse(datas[j + 1]) * scale * originalHeight * maskSize / imageSize));}float maxX = points.Max(p => p.X) / maskSize;float maxY = points.Max(p => p.Y) / maskSize;float minX = points.Min(p => p.X) / maskSize;float minY = points.Min(p => p.Y) / maskSize;float width = maxX - minX;float height = maxY - minY;labelArray[i, 1] = minX + width / 2;labelArray[i, 2] = minY + height / 2;labelArray[i, 3] = width;labelArray[i, 4] = height;Bitmap bitmap = new Bitmap(maskSize, maskSize);Brush brush = new SolidBrush(Color.White);Graphics g = Graphics.FromImage(bitmap);g.FillClosedCurve(brush, points.ToArray());g.Save();Tensor msk = Lib.GetTensorFromBitmap(bitmap);msk = msk[0] > 0;mask[msk] = i + 1;}Tensor labelTensor = tensor(labelArray);long p = imgTensor.shape[0];return (imgTensor.MoveToOuterDisposeScope(), labelTensor.MoveToOuterDisposeScope(), mask.MoveToOuterDisposeScope());
}

另外Loss的计算也加入了Mask部分，此处不再仔细讲解。

项目效果如下
请添加图片描述

项目展望

目前已经实现了Yolov8、Yolov11 Segment方法的训练和推理，并且已经可以成功加载官方的预训练模型进行，或作为训练的基础权重。
接下来还有Pose和Obb方法，过段时间估计会有新的进展。

写在最后

使用C#深度学习项目是很多人所希望的。不过在该方向上资料很少，开发难度大。常规使用C#进行深度学习项目的方法为使用Python训练，转为Onnx模型再用C#调用。
目前我希望能够改变这一现象，希望能用纯C#平台进行训练和推理。这条路还很长，也很困难，希望有兴趣的读者能跟我一起让让C#的深度学习开发环境更为完善，以此能帮助到更多的人。

另外随着项目的关注度增多，已经开始有人盗版我的项目并将免费开源的项目当成付费项目在卖了。这种行为极其恶劣，请各位小伙伴积极抵制这种行为，还开源项目一片干净的环境，也让开源项目开发者有动力继续贡献更多的项目。

我在Github上已经将完整的代码发布了，项目地址为：https://github.com/IntptrMax/YoloSharp，期待你能在Github上送我一颗小星星。在我的Github里还GGMLSharp这个项目，这个项目也是C#平台下深度学习的开发包，希望能得到你的支持。

项目下载链接

https://download.csdn.net/download/qq_30270773/89969923

【C#深度学习之路】如何使用C#实现Yolo8/11 Segment 全尺寸模型的训练和推理

【C#深度学习之路】如何使用C#实现Yolo8/11 Segment 全尺寸模型的训练和推理项目背景项目实现推理过程训练过程项目展望写在最后项目下载链接本文为原创文章，若需要转载，请注明出处。原文地址：https://blog.csdn.net/qq_30270773/article…...

编程日记 2025/6/4 0:24:59

【Compose multiplatform教程】05 IOS环境编译

了解如何使现有的 Android 应用程序跨平台，以便它在 Android 和 iOS 上都能运行。您将能够在一个位置编写代码并针对 Android 和 iOS 进行测试一次。本教程使用一个示例 Android 应用程序，其中包含用于输入用户名和密码的单个屏幕。凭证经过验证并保存…...

编程日记 2025/6/2 0:02:09

【声音场景分类--论文阅读】

1.基于小波时频图特征在声音场景分类基于小波时频图特征在声音场景分类任务中的表现 2.增强增强高效音频分类网络 https://arxiv.org/pdf/2204.11479v5 https://github.com/Alibaba-MIIL/AudioClassfication 音频分类网络如图4所示。在此阶段，主要重点是建立一…...

编程日记 2025/6/4 6:54:02

浅谈云计算02 | 云计算模式的演进

云计算计算模式的演进一、云计算计算模式的起源追溯1.2 个人计算机与桌面计算二、云计算计算模式的发展阶段2.1 效用计算的出现2.2 客户机/服务器模式2.3 集群计算2.4 服务计算2.5 分布式计算2.6 网格计算三、云计算计算模式的成熟与多元化3.1 主流云计算服务模式的确立3.1.…...

编程日记 2025/6/4 6:53:46

【专题】2025年节日营销趋势洞察报告汇总PDF洞察（附原数据表）

原文链接： https://tecdat.cn/?p38813 在当今复杂多变且竞争激烈的消费市场环境下，节日营销已成为企业获取市场份额、提升品牌影响力的关键战略时机。我们深知深入洞察节日营销趋势对于企业决策的重要性。本报告汇总基于对 2024 年多个关键消费节点及…...

编程日记 2025/6/3 7:15:43

AR 在高校实验室安全教育中的应用

AR应用APP可以内置实验室安全功能介绍，学习并考试（为满足教育部关于实验室人员准入条件），AR主模块。其中AR主模块应该包括图形标识码的扫描，生成相应模型，或者火灾、逃生等应急处置的路线及动画演示。考试采…...

编程日记 2025/6/4 16:02:14

PHP智慧小区物业管理小程序

🌟智慧小区物业管理小程序：重塑社区生活，开启便捷高效新篇章 🌟 智慧小区物业管理小程序是一款基于PHPUniApp精心雕琢的智慧小区物业管理小程序，它犹如一股清新的科技之风，吹进了现代智慧小区的每一个角落…...

编程日记 2025/6/4 6:55:22

使用防抖与节流优化 Vue 中的异步函数调用

使用防抖与节流优化 Vue 中的异步函数调用在 Vue 项目中，我们经常需要处理用户交互事件，例如点击、输入、切换复选框等。这些事件可能频繁触发，尤其在用户快速操作的情况下，如果每次触发都执行复杂的逻辑（如异步网络…...

编程日记 2025/5/30 17:57:08

【大厂面试AI算法题中的知识点】方向涉及：ML/DL/CV/NLP/大数据...本篇介绍自动驾驶检测模型如何针对corner case 优化？

【大厂面试AI算法题中的知识点】方向涉及：ML/DL/CV/NLP/大数据…本篇介绍自动驾驶检测模型如何针对corner case 优化？ 【大厂面试AI算法题中的知识点】方向涉及：ML/DL/CV/NLP/大数据…本篇介绍自动驾驶检测模型如何针对corner case 优化&…...

编程日记 2025/6/4 6:54:33

Android CustomTextField

在 Compose 中开发用户界面时，需要处理输入框和键盘的交互，例如在键盘弹出时调整布局位置，避免遮挡重要内容。本篇博客将通过一个完整的示例展示如何实现这一功能。功能概述本例实现了一个简单的输入框。当输入框获得焦点或输入文字时&…...

编程日记 2025/6/4 6:55:06

源码编译安装httpd 2.4，提供系统服务管理脚本并测试（两种方法实现）

一、源码编译安装httpd 2.4 # 从官网下载httpd源代码 [rootopenEuler-2 ~]# wget https://downloads.apache.org/httpd/httpd-2.4.62.tar.gz# 解压并进入到该目录中 [rootopenEuler-2 ~]# tar -zxvf httpd-2.4.62.tar.gz [rootopenEuler-2 ~]# cd httpd-2.4.62/# 安装httpd编译…...

编程日记 2025/6/4 6:54:18

ubuntu24.04安装docker显卡工具包nvidia-container-toolkit

问题描述 docker 容器启动时如果需要访问 gpu ，需要安装 nvidia-container-toolkit 才行，否则会提示如下错误 sudo docker run --rm -it --gpus all ubuntu:latest docker: Error response from daemon: could not select device driver "" …...

编程日记 2025/6/4 6:54:50

mac intel芯片下载安卓模拟器

一、调研目前主流两个模拟器： 雷神模拟器不支持macosmumu模拟器pro版不支持macos intel芯片搜索到mumu的Q&A中有 “Intel芯片Mac如何安装MuMu？” q&a🔗：https://mumu.163.com/mac/faq/install-on-intel-mac.html 提…...

编程日记 2025/6/2 17:39:21

4 原型（Protoytpe）模式

原型模式 1.1 分类 （对象）创建型 1.2 提出问题希望复制一个状态完全相同的对象。首先，新建一个相同类的对象。然后，复制所有成员变量。但是，有时候不知道具体类型，而且成员变量可能是私有的。&#…...

编程日记 2025/6/2 0:02:19

kafka的listeners和advertised.listeners，配置内外网分流

总结： listeners 指明 kafka 当前节点监听本机的哪个网卡 advertised.listeners 指明客户端通过哪个 ip 可以访问到当前节点内网和外网并不必须是是我们通常说的公司内部网络和公网，只要是两块网卡都可以，不管是这两块网卡是公网、内网、甚至…...

编程日记 2025/5/30 16:57:41

Mac——Docker desktop安装与使用教程

摘要本文是一篇关于Mac系统下Docker Desktop安装与使用教程的博文。首先介绍连接WiFi网络，然后详细阐述了如何在Mac上安装Docker，包括下载地址以及不同芯片版本的选择。接着讲解了如何下载基础镜像和指定版本镜像，旨在帮助用户在Mac上高效使…...

编程日记 2025/6/2 8:16:31

Redis十大数据类型详解

Redis（一） 十大数据类型 redis字符串（String） string是redis最基本的类型，一个key对应一个value string类型是二进制安全的，意思是redis的string可以包含任何数据。例如说是jpg图片或者序列化对象一个re…...

编程日记 2025/5/29 12:59:40

.net core 中使用AsyncLocal传递变量

官网 https://github.com/dotnet/runtime/blob/16b6369b7509e58c35431f05681a9f9e5d10afaa/src/libraries/System.Private.CoreLib/src/System/Threading/AsyncLocal.cs#L45 AsyncLocal是一个在.NET中用来在同步任务和异步任务中保持全局变量的工具类。它允许你在不同线程的同…...

编程日记 2025/5/30 19:26:08

C#Halcon视觉流程框架个人封装流程心得

一，实现效果 1，初始界面 2，加载流程 3，点击流程列表“加载2D图像" 4，设置图像预处理参数与画线找线 5，执行流程 6，折叠工具箱 7，折叠操作区域二，实现流程 1&…...

编程日记 2025/6/4 4:31:07

web第一次作业

系统登录代码： <!DOCTYPE html> <html lang"zh"> <head> <meta charset"UTF-8"> <meta name"viewport" content"widthdevice-width, initial-scale1.0"> <title>第一次作业</title…...

编程日记 2025/6/2 17:19:28

Kylin Linux V10 替换安装源，并在服务器上启用 EPEL 仓库

查看系统版本： cat /etc/os-releaseNAME"Kylin Linux Advanced Server" VERSION"V10 (Lance)" ID"kylin" VERSION_ID"V10" PRETTY_NAME"Kylin Linux Advanced Server V10 (Lance)" ANSI_COLOR"0;31"u…...

编程日记 2025/5/31 21:49:24

备战蓝桥杯：树的存储与遍历（dfs和bfs）

树的概念树的逻辑结构是树形结构，和我们之前的线性结构又不太一样了，是一种一对多的关系树的结点分为根节点，叶子结点（没有分支的结点） 以及分支结点从上往下看，每个结点都有0个或多个后继从下往上…...

编程日记 2025/6/4 8:48:16

[Deep Learning] Anaconda+CUDA+CuDNN+Pytorch(GPU)环境配置-2025

文章目录 [Deep Learning] AnacondaCUDACuDNNPytorch(GPU)环境配置-20250. 引子1. 安装Anaconda1.1 安装包下载：1.2 启用安装包安装1.3 配置(系统)环境变量1.4 验证Anaconda是否安装完毕1.5 Anaconda换源 2. 安装CUDACuDNN2.1 判断本机的CUDA版本2.2 下载适合自己CU…...

编程日记 2025/6/4 6:02:23

计算机的错误计算（二百一十二）

摘要利用两个大模型计算实验表明，两个大模型均进行了中肯的分析。另外，其中一个大模型给出了 Python代码，运行后，结果中有7位错误数字；而一个大模型进行加减运算时出错。例1. 计算下面是与一个大模型的对话…...

编程日记 2025/6/4 6:02:07

Inxpect毫米波安全雷达:精准检测与动态保护,工业自动化可靠选择

Inxpect毫米波安全雷达具备“精准检测、动态区域保护、环境适应性”三大核心功能。在工业自动化和机器人系统里，这些功能发挥着重要作用,有助于提升安全性与效率。Inxpect雷达运用毫米波技术，在诸如存在灰尘、烟雾或碎屑等复杂环境中，也能保持…...

编程日记 2025/6/2 5:30:18

springboot房屋租赁管理系统

Spring Boot房屋租赁管理系统是一种基于Spring Boot框架构建的，旨在解决传统租房市场中房源信息更新不及时、虚假信息泛滥、交易流程繁琐等问题的信息化解决方案。一、系统背景与目的随着城市化进程的加快和人口流动性的增强，租房市场需求急剧增长。…...

编程日记 2025/6/4 6:03:27

如何使用wireshark 解密TLS-SSL报文

目录前言原理操作前言现在网站都是https 或者很多站点都支持 http2。这些站点为了保证数据的安全都通过TLS/SSL 加密过，用wireshark 并不能很好的去解析报文，我们就需要用wireshark去解密这些报文。我主要讲解下mac 在 chrome 怎么配置的&…...

编程日记 2025/6/4 6:02:39

Gensim字典和语料库

自然语言处理（NLP）是计算机科学中涉及语言数据处理的核心领域之一，应用广泛，包括文本分类、情感分析、机器翻译、主题建模等任务。在处理海量文本时，如何将非结构化的语言数据转化为机器能够理解的结构化数据，是解决这些任务的关键。 Gensim 是一个用于处理和分析文本数…...

编程日记 2025/6/4 6:03:11

RK3588-NPU pytorch-image-models 模型编译测试

RK3588-NPU pytorch-image-models 模型编译测试一.背景二.操作步骤1.下载依赖2.创建容器3.安装依赖4.创建脚本A.生成模型名列表B.生成ONNX模型C.生成RKNN模型D.批量测试脚本一.背景测试RK3588-NPU对https://github.com/huggingface/pytorch-image-models.git中模型的支持程…...

编程日记 2025/6/4 6:03:42

Doris 导入慢该如何排查及优化？

在使用 Apache Doris 进行数据导入时，经常会遇到导入性能不理想的情况。今天我们就来深入分析这些问题的原因及其解决方案！ Stream Load 导入慢 Stream Load 支持通过 HTTP 协议将本地文件或数据流导入到 Doris 中的一种方式，其速度还是相当…...

编程日记 2025/6/4 6:02:55

iOS - 关联对象的实现

根据源码总结一下关联对象(Associated Objects)的实现： 1. 关联对象的基本结构 // 对象的 isa 结构中包含关联对象标记 union isa_t {struct {uintptr_t nonpointer : 1; // 是否使用优化的 isauintptr_t has_assoc : 1; // 是否有关联对象// ...其他位…...

编程日记 2025/6/3 17:19:41

AudioGPT全新的音频内容理解与生成系统

AudioGPT全新的音频内容理解与生成系统 ChatGPT、GPT-4等大型语言模型 (LLM) 在语言理解、生成、交互和推理方面表现出的非凡能力，引起了学界和业界的极大关注，也让人们看到了LLM在构建通用人工智能 (AGI) 系统方面的潜力。现有的GPT模型具有极高的语言生成能力，是目前最…...

编程日记 2025/6/2 8:48:35

【maptalks】加载SVG和GIF

加载SVG和GIF 一、加载SVG方法一：直接载入SVG文件，类似载入图片方法二：载入SVG路径二、加载GIFVUEmaptalks实现GIF可拖拽点VUEmaptalks实现GIF跟随线条动画一、加载SVG 方法一：直接载入SVG文件，类似载入图片缺点&…...

编程日记 2025/6/3 17:22:58

【HarmonyOS NEXT】鸿蒙跳转华为应用市场目标APP下载页

【HarmonyOS NEXT】鸿蒙跳转华为应用市场目标APP下载页一、问题背景： 如今，大家都离不开各种手机应用。随着鸿蒙系统用户越来越多，大家都希望能在鸿蒙设备上快速找到想用的 APP。华为应用市场里有海量的 APP，但之前从鸿蒙设备进…...

编程日记 2025/6/1 5:55:41

《leetcode-runner》【图解】如何手搓一个debug调试器——调试程序【JDI开发】【万字详解】

前文： 《leetcode-runner》如何手搓一个debug调试器——引言《leetcode-runner》如何手搓一个debug调试器——架构《leetcode-runner》如何手搓一个debug调试器——指令系统本文主要聚焦于如何编写调试程序背景在leetcode算法背景下，用户只编写了…...

编程日记 2025/6/1 14:10:47

【高阶数据结构】线段树加乘（维护序列）详细解释乘与加懒标记

文章目录 1.题目[AHOI2009] 维护序列 2.懒标记处理先加后乘的形式1. 先加后乘的操作先乘后加的形式2. 先乘后加的操作**乘法操作****加法操作** 懒标记的下传 3.代码 1.题目题目来源:https://www.luogu.com.cn/problem/P2023 [AHOI2009] 维护序列题目背景老师交给小可可…...

编程日记 2025/5/30 23:31:13

ElasticSearch常见知识点

1、什么是ElasticSearch？ Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎，每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。 2、什么是倒排索引？ 正常的索引是比如二叉树。倒排索引是用内容…...

编程日记 2025/6/4 10:37:21

ARM与x86：架构对比及其应用

典型的服务器架构的x86采用模块化方法，基于带有可更换组件的主板。CPU和其他组件（如显卡和GPU、内存控制器、存储或处理核心）针对特定功能进行了优化，可以轻松更换或扩展。然而，这种便利是有代价的；这些硬件…...

编程日记 2025/6/4 10:49:49

macos 搭建 ragflow 开发环境

ragflow 是一个很方便的本地 RAG 库。本文主要记录一下在本机的部署过程 1、总体架构说明开发环境：macbook pro（m1），16G内存 512G固态因本机的内存和硬盘比较可怜，所以在服务器上部署基础 docker 包，…...

编程日记 2025/6/2 19:33:51

CVPR 2024 人体姿态估计总汇（3D人体、手语翻译和人体网格恢复/重建等）

1、Human Pose Estimation(人体姿态估计) CLOAF: CoLlisiOn-Aware Human FlowMeta-Point Learning and Refining for Category-Agnostic Pose EstimationSurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering ⭐codeGALA: Generating Animatable Layered Ass…...

编程日记 2025/5/29 19:50:34

【C#深度学习之路】如何使用C#实现Yolo8/11 Segment 全尺寸模型的训练和推理

项目背景

项目实现

推理过程

训练过程

项目展望

写在最后

项目下载链接

相关文章：