当前位置：首页 > news >正文

yolov11、yolov8部署的7种方法（yolov11、yolov8部署rknn的7种方法），一天一种部署方法，7天入门部署

news 来源：原创 2025/5/21 17:25:34

由于涉及量化、部署两个领域，本博文难免有不对之处，欢迎指正。

本博客对 yolov11（yolov8）尝试了7种不同的部署方法，在最基础的模型上一步一步的去掉解码相关的操作（移到后处理种进行），直到不能再删减，保留到模型最本质的部分。

随着解码相关的操作越来越多的移入后处理，模型的推理的时耗在减少，后处理的时耗在增加；但也随着解码操作从模型种移除，量化的效果也在逐步变好。

对每种方法的优势进行了简单总结，不同的平台、不同的时耗或CPU占用需求，总有一种方法是适用的。当然对想了解部署的也是一个很好的参考学习资料。

春节期间一天一种部署方法，这个春节收获满满。

yolov11的7种部署方法代码链接

本博客种使用的板端芯片rk3588，模型yolov11n，模型输入分辨率640x640，检测类别80类。

0 七种方法汇总

编号	推理时耗ms	后处理时耗ms	总时耗ms	CPU占用相比上一种方法	int8量化友好性
第1种	–	–	最少	最简单	不友好
第2种	33.75	4.4972	38.2472	同1	不友好
第3种	32.44	4.4971	36.4971	增多	不友好
第4种	30.78	4.55	35.33	增多	较友好
第5种	30.75	4.84	35.58	增多，增加到最多	较友好
第6种	30.24	7.08	37.32	同5	较友好
第7种	30.17	7.34	37.51	同5	友好

若NPU负载不是瓶颈，当然可以考虑把多的操作放在NPU上，反之将操作往CPU上挪一部分；若量化掉点较多，则可以考虑量化稍微友好的方式。

1 代码目录结构

yolov11的 7 种部署方法

yolov11_onnx  # onnx 推理脚本、模型、测试图片、测试效果图
yolov11_rknn  # 转并推理 rknn 脚本、模型、测试图片、测试效果图
yolov11_cpp   # 部署 rk388 完整 C++ 代码、模型、测试图片、测试效果图

2 yolov11（v8）的7种部署方法

2.1 第1种部署方法

模型结构

按照yolov11官方导出的onnx模型，模型输出直接是类别和解码后的框，模型结构如下图。
在这里插入图片描述

onnx效果

很遗憾的是转换成rknn的int8模型，检测不到任何结果。转换rknn的int8时把模型输出结果都打印出来发现，模型输出的84这个维度，前4个坐标框值正常，后80个得分输出全为0。导致这样的原因：坐标框值取值范围是1-640，而得分输出的值取值范围0-1，使得对量化很不友好，导致模型得分输出的值基本都为0。尝试转rknn的时不进行量化结果输出正常。因此该方法对量化不友好。这种部署方式模型时耗最长，后处理操作最少。
在这里插入图片描述

板端效果

由于该种部署方法转rknn的int8时量化效果非常差，因此不做板端部署。

2.2 第2种部署方法

模型结构

在第1种部署方法的模型基础上，去掉了最后的把坐标框和得分concat在一起的操作。
在这里插入图片描述

onnx效果

onnx的测试效果和第一种一样，就不再贴图了。

板端效果

第1种部署方法由于坐标框值取和得分的取值范围差异较大，concat在一起使得量化成int8模型基本不可用。这种方法是去掉了最后的concat，量化能正常输出结果，但在板端测试效果不是很好。
在这里插入图片描述

板端时耗

在这里插入图片描述

2.3 第3种部署方法

模型结构

在第2种部署方法的模型基础上，去掉坐标框解码到模型输入尺寸的计算。
在这里插入图片描述

onnx效果

onnx的测试效果和第一种一样，就不再贴图了。

板端效果

在这里插入图片描述

板端时耗

在这里插入图片描述

2.4 第4种部署方法

模型结构

在第3种部署方法的模型基础上，继续去掉坐标框的DFL，输出2个头。第2、3两种部署方法，可能是对于量化不友好，导致检测效果明显有问题。该种方法检测效果没有明显问题。
在这里插入图片描述

onnx效果

onnx的测试效果和第一种一样，就不再贴图了。

板端效果

在这里插入图片描述

板端时耗

在这里插入图片描述

2.5 第5种部署方法

模型结构

在第4种署方法的模型基础上，继续去掉把坐标框和得分进行分开的split，以及得分的sigmoid函数，输出1个头。到达这一种部署方法后，后处理占用cpu不会在增加。
在这里插入图片描述

onnx效果

onnx的测试效果和第一种一样，就不再贴图了。

板端效果

在这里插入图片描述

板端时耗

2.6 第6种部署方法

模型结构

在第5种署方法的模型基础上，继续把三个检测头concat在一起的操起去掉，输出3个头。

在这里插入图片描述

onnx效果

onnx的测试效果和第一种一样，就不再贴图了。

板端效果

在这里插入图片描述

板端时耗

在这里插入图片描述

2.7 第7种部署方法

模型结构

在第6种署方法的模型基础上，继续把三个检测头的坐标框和得分concat在一起的操起去掉，输出6个头。到这一步模型内封装的操作能去的都去了，模型的速度达到了最快，量化友好性达到了最好。

在这里插入图片描述

onnx效果

onnx的测试效果和第一种一样，就不再贴图了。

板端效果

在这里插入图片描述

板端时耗

在这里插入图片描述

yolov11、yolov8部署的7种方法（yolov11、yolov8部署rknn的7种方法），一天一种部署方法，7天入门部署

由于涉及量化、部署两个领域，本博文难免有不对之处，欢迎指正。本博客对 yolov11（yolov8）尝试了7种不同的部署方法，在最基础的模型上一步一步的去掉解码相关的操作（移到后处理种进行）&#xff0…...

编程日记 2025/5/21 17:25:34

事务03之MVCC机制

MVCC 多版本并发控制机制文章目录 MVCC 多版本并发控制机制一：并发事务的场景1：读读场景2：写写场景3：读写 or 写读场景二：MVCC机制综述1：MVCC日常生活的体现2：多版本并发控制三：M…...

编程日记 2025/5/21 10:16:23

Autosar-Os是怎么运行的？（时间保护）

写在前面： 入行一段时间了，基于个人理解整理一些东西，如有错误，欢迎各位大佬评论区指正！！！ 1.功能概述 AUTOSAR OS 的四大可定制类型凸显了时间保护（Timing Protection）…...

编程日记 2025/5/19 22:59:12

论文阅读(九)：通过概率图模型建立连锁不平衡模型和进行关联研究：最新进展访问之旅

1.论文链接：Modeling Linkage Disequilibrium and Performing Association Studies through Probabilistic Graphical Models: a Visiting Tour of Recent Advances 摘要： 本章对概率图模型（PGMs）的最新进展进行了深入的回顾&…...

编程日记 2025/5/18 8:31:35

python学opencv|读取图像（五十二）使用cv.matchTemplate()函数实现最佳图像匹配

【1】引言前序学习了图像的常规读取和基本按位操作技巧，相关文章包括且不限于： python学opencv|读取图像-CSDN博客 python学opencv|读取图像（四十九）原理探究：使用cv2.bitwise()系列函数实现图像按位运算-CSDN博客…...

编程日记 2025/5/21 3:07:48

视频脚本生成器（基于openai API和streamlit）

utils.py： # 所有和ai交互的代码放进utils.py里（utils 通常是 “utilities” 的缩写，意为 “实用工具” 或 “实用函数”）from langchain.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI from lan…...

编程日记 2025/5/21 10:49:05

《LLM大语言模型+RAG实战+Langchain+ChatGLM-4+Transformer》

文章目录 Langchain的定义Langchain的组成三个核心组件实现整个核心组成部分为什么要使用LangchainLangchain的底层原理Langchain实战操作LangSmithLangChain调用LLM安装openAI库-国内镜像源代码运行结果小结使用Langchain的提示模板部署Langchain程序安装langserve代码请求格…...

编程日记 2025/5/19 6:28:51

【MySQL — 数据库增删改查操作】深入解析MySQL的 Update 和 Delete 操作

1. 测试数据 mysql> select* from exam1; ----------------------------------------- | id | name | Chinese | Math | English | ----------------------------------------- | 1 | 唐三藏 | 67.0 | 98.0 | 56.0 | | 2 | 孙悟空 | 87.0 | 78.…...

编程日记 2025/5/16 2:43:06

AnyThingLLM本地私有知识库搭建

***************************************************** 环境准备操作系统：Windows11 内存：32GB RAM 存储：预留 300GB 可用空间显存: 16G 网络: 100M带宽前置准备: 已安装ollama环境 deepseek本地大模型 ***************************…...

编程日记 2025/5/19 17:06:05

数仓ETL测试

提取，转换和加载有助于组织使数据在不同的数据系统中可访问，有意义且可用。ETL工具是用于提取，转换和加载数据的软件。在当今数据驱动的世界中，无论大小如何，都会从各种组织，机器和小工具中生成大量数据。 …...

编程日记 2025/5/20 10:48:35

leetcode——将有序数组转化为二叉搜索树（java）

给你一个整数数组 nums ，其中元素已经按升序排列，请你将其转换为一棵平衡二叉搜索树。示例 1： 输入：nums [-10,-3,0,5,9] 输出：[0,-3,9,-10,null,5] 解释：[0,-10,5,null,-3,null,9] 也将被视为正确答…...

编程日记 2025/5/21 1:27:04

蓝桥杯模拟算法：多项式输出

P1067 [NOIP2009 普及组] 多项式输出 - 洛谷 | 计算机科学教育新生态这道题是一道模拟题，我们需要分情况讨论，我们需要做一下分类讨论 #include <iostream> #include <cstdlib> using namespace std;int main() {int n;cin >> n;for…...

编程日记 2025/5/17 14:31:34

新鲜速递：DeepSeek-R1开源大模型本地部署实战—Ollama + MaxKB 搭建RAG检索增强生成应用

在AI技术快速发展的今天，开源大模型的本地化部署正在成为开发者们的热门实践方向。最火的莫过于吊打OpenAI过亿成本的纯国产DeepSeek开源大模型，就在刚刚，凭一己之力让英伟达大跌18%，纳斯达克大跌3.7%，足足是给中国AI产…...

编程日记 2025/5/18 21:50:14

【张雪峰高考志愿填报】合集

【张雪峰高考志愿填报】合集链接：https://pan.quark.cn/s/89a2d88fa807 高考结束，分数即将揭晓，志愿填报的关键时刻近在眼前！同学们，这可是人生的重要转折点，选对志愿，就像为未来铺就一条…...

编程日记 2025/5/20 0:47:24

【gRPC-gateway】option定义规则及HttpBody响应

HTTP Option 定义规则在 .proto 文件中，通过 google.api.http 注解定义 HTTP 路由规则，控制请求参数映射需要在.proto文件显式 import https://github.com/googleapis/googleapis/tree/master/google/api 一、HTTP Option 定义规则详解 1. 基础路由…...

编程日记 2025/5/19 10:33:42

rsync安装与使用-linux015

使用 rsync 可以非常高效地将文件或目录从一个服务器传输到另一个服务器。能力： 支持 64 位文件、64 位 inode、64 位时间戳、64 位长整型支持套接字对、符号链接、符号链接时间、硬链接、硬链接特殊文件、硬链接符号链接支持 IPv6、访问时间（atimes&…...

编程日记 2025/5/21 14:02:31

一种用于低成本水质监测的软传感器开源方法：以硝酸盐（NO3⁻）浓度为例

论文标题 A Soft Sensor Open-Source Methodology for Inexpensive Monitoring of Water Quality: A Case Study of NO3− Concentrations 作者信息 Antonio Jess Chaves, ITIS Software, University of Mlaga, 29071 Mlaga, Spain Cristian Martn, ITIS Software, Universi…...

编程日记 2025/5/19 12:30:45

剑指 Offer II 011. 0 和 1 个数相同的子数组

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20011.%200%20%E5%92%8C%201%20%E4%B8%AA%E6%95%B0%E7%9B%B8%E5%90%8C%E7%9A%84%E5%AD%90%E6%95%B0%E7%BB%84/README.md 剑指 Offer II 011. 0 和 1 个数相同的子…...

编程日记 2025/5/18 18:10:54

games101-作业3

由于此次试验需要加载模型，涉及到本地环节，如果是windows系统，需要对main函数中的路径稍作改变： 这么写需要： #include "windows.h" 该段代码： #include "windows.h" int main(int ar…...

编程日记 2025/5/18 5:24:01

信息安全专业优秀毕业设计选题汇总：热点选题

目录前言毕设选题开题指导建议更多精选选题选题帮助最后前言大家好,这里是海浪学长毕设专题! 大四是整个大学期间最忙碌的时光，一边要忙着准备考研、考公、考教资或者实习为毕业后面临的升学就业做准备,一边要为毕业设计耗费大量精力。学长给大家整理…...

编程日记 2025/5/21 16:57:32

AI协助探索AI新构型的自动化创新概念

训练AI自生成输出模块化代码，生成元代码级别的AI功能单元代码，然后再由AI组织为另一个AI，实现AI开发AI的能力；用AI协助探索迭代新构型AI将会出现，并成为一种新的技术路线潮流。有限结点，无限的连接形式&a…...

编程日记 2025/5/17 17:10:09

python——Django 框架

Django 框架 1、简介 Django 是用python语言写的开源web开发框架，并遵循MVC设计。 Django的**主要目的是简便、快速的开发数据库驱动的网站。**它强调代码复用，多个组件可以很方便的以"插件"形式服务于整个框架，Django有许多功能…...

编程日记 2025/5/16 4:15:18

SpringBoot基础概念介绍-数据源与数据库连接池

🙋大家好！我是毛毛张! 🌈个人首页： 神马都会亿点点的毛毛张毛毛张今天介绍的SpringBoot中的基础概念-数据源与数据库连接池，同时介绍SpringBoot整合两种连接池的教程文章目录 1 数据库与数据库管理系统2 JDBC与数…...

编程日记 2025/5/19 0:23:49

MYSQL 商城系统设计商品数据表的设计商品商品类别商品选项卡多表查询

介绍在开发商品模块时，通常使用分表的方式进行查询以及关联。在通过表连接的方式进行查询。每个商品都有不同的分类，每个不同分类下面都有商品规格可以选择，每个商品分类对应商品规格都有自己的价格和库存。在实际的开发中应该给这些表进行…...

编程日记 2025/5/19 7:29:06

视频网站服务器为什么需要使用负载均衡？

随着视频网站等娱乐活动的逐渐增加，进行使用的用户数量也在不断上升，大量的用户会给视频网站行业带来一定的访问压力，需要处理大量的媒体资料，比如上传视频图片和数据保存发布等内容，会消耗大量的带宽资源，…...

编程日记 2025/5/20 7:08:45

Golang Gin系列-9：Gin 集成Swagger生成文档

文档一直是一项乏味的工作（以我个人的拙见），但也是编码过程中最重要的任务之一。在本文中，我们将学习如何将Swagger规范与Gin框架集成。我们将实现JWT认证，请求体作为表单数据和JSON。这里唯一的先决条件是Gin服务器。…...

编程日记 2025/5/20 0:17:04

docker中运行的MySQL怎么修改密码

1，进入MySQL容器 docker exec -it 容器名 bash 我运行了 docker ps命令查看。正在运行的容器名称。可以看到MySQL的我起名为db docker exec -it db bash 这样就成功的进入到容器中了。 2，登录MySQL中 mysql -u 用户名 -p 回车密码 mysql -u root -p roo…...

编程日记 2025/5/18 1:13:16

智能汽车网络安全威胁报告

近年来随着智能汽车技术的快速发展，针对智能汽车的攻击也逐渐从传统的针对单一车辆控制器的攻击转变为针对整车智能化服务的攻击，包括但不限于对远程控制应用程序的操控、云服务的渗透、智能座舱系统的破解以及对第三方应用和智能服务的攻击。随着WP.29 …...

编程日记 2025/5/21 16:37:30

[EAI-026] DeepSeek-VL2 技术报告解读

Paper Card 论文标题：DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding 论文作者：Zhiyu Wu, Xiaokang Chen, Zizheng Pan, Xingchao Liu, Wen Liu, Damai Dai, Huazuo Gao, Yiyang Ma, Chengyue Wu, Bin…...

编程日记 2025/5/17 18:29:55

【腾讯云】腾讯云docker搭建单机hadoop

这里写目录标题下载jdk hadoop修改hadoop配置编写Dockerfile构建镜像运行镜像创建客户端下载jdk hadoop wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz wget --no-check-certificate https://repo.huaweicloud.…...

编程日记 2025/5/20 4:40:13

【回溯+剪枝】电话号码的字母组合括号生成

文章目录 17. 电话号码的字母组合解题思路：回溯哈希表22. 括号生成解题思路：回溯剪枝 17. 电话号码的字母组合 17. 电话号码的字母组合给定一个仅包含数字 2-9 的字符串，返回所有它能表示的字母组合。答案可以按任意顺序返回。 …...

编程日记 2025/5/20 16:28:14

Day29（补）-【AI思考】-精准突围策略——从“时间贫困“到“效率自由“的逆袭方案

文章目录精准突围策略——从"时间贫困"到"效率自由"的逆袭方案**第一步：目标熵减工程（建立四维坐标）** 与其他学习方法的结合**第二步：清华方法本土化移植** 与其他工具对比**~~第三步：游戏化改造…...

编程日记 2025/5/20 7:50:09

进程间通信

进程间通信进程间通信介绍进程间通信⽬的数据传输：⼀个进程需要将它的数据发送给另⼀个进程资源共享：多个进程之间共享同样的资源。通知事件：⼀个进程需要向另⼀个或⼀组进程发送消息，通知它（它们&#xff09…...

编程日记 2025/5/18 15:08:05

【PyTorch】6.张量运算函数：一键开启！PyTorch 张量函数的宝藏工厂

目录 1. 常见运算函数个人主页：Icomi 专栏地址：PyTorch入门在深度学习蓬勃发展的当下，PyTorch 是不可或缺的工具。它作为强大的深度学习框架，为构建和训练神经网络提供了高效且灵活的平台。神经网络作为人工智能的核心技术&…...

编程日记 2025/5/19 8:10:42

2024年数据记录

笔者注册时间超过98.06%的用户 CSDN 原力是衡量一个用户在 CSDN 的贡献和影响力的系统，笔者原力值超过99.99%的用户其他年度数据...

编程日记 2025/5/17 18:00:27

hot100（4）

31.437. 路径总和 III - 力扣（LeetCode） 方法一：递归、dfs 由树的结构想到使用递归解决，且路径相关问题容易考虑到使用dfs和bfs. 使用dfs解决，这里关键在于如何设计递归函数。递归函数的参数：root,tar…...

编程日记 2025/5/20 13:25:59

海浪波高预测（背景调研）

#新星杯14天创作挑战营第7期# ps：图片由通义千问生成历史工作： 针对更高细粒度、更高精度的波浪高度预测任务： Mumtaz Ali 等人提出了一种多元线性回归模型（MLR-CWLS），该模型利用协方差加权最小二乘法&a…...

编程日记 2025/5/19 12:14:40

C++ 3

delete 和 free 有什么区别？ delete和free都是用来释放动态分配的内存，但它们有不同的使用方式： 语法： ○ delete是C中的关键字，用于释放由new分配的对象。 ○ free是C语言中的函数，通常包含在<stdlib…...

编程日记 2025/5/20 23:01:19

【逻辑学导论】1.4论证与说明

许多语段看起来好像是论证，实际上不是论证而是说明。即使有某些前提或结论指示词出现，例如“因为”“由于”“因”“所以”等，也不能解决问题，这些语词既可用在论证中也可用在说明中（虽然“因……”一词有时可以指时间…...

编程日记 2025/5/19 17:01:06

vue3+elementPlus之后台管理系统（从0到1）(day4-完结)

面包屑创建一个面包屑组件将路由导入然后格式化map对象 key-value 将当前路由的key和value获取然后存入list数组中遍历list数据，渲染内容  <template><el-breadcrumb separator">"><el-breadcrum…...

编程日记 2025/5/19 12:15:06

Python标准库 - os (2) 进程管理

文章目录 3 进程管理3.1 进程状态和控制3.2 进程优先级3.3 程序段控制3.4 其他 4 创建子进程4.1 创建子进程常见函数4.2 spawn*族函数4.3 exec*族函数 5 子进程管理5.1 创建子进程触发事件5.2 等待子进程执行完5.3 子进程的状态 os模块提供了各种操作系统接口。包括环境变量、进…...

编程日记 2025/5/19 3:01:34

单细胞-第四节多样本数据分析,下游画图

文件在单细胞\5_GC_py\1_single_cell\2_plots.Rmd 1.细胞数量条形图 rm(list ls()) library(Seurat) load("seu.obj.Rdata")dat as.data.frame(table(Idents(seu.obj))) dat$label paste(dat$Var1,dat$Freq,sep ":") head(dat) library(ggplot2) lib…...

编程日记 2025/5/19 5:44:10

【2024年华为OD机试】(B卷,100分)- 热点网站统计（Java JS PythonC/C++）

一、问题描述题目描述企业路由器的统计页面需要动态统计公司访问最多的网页URL的Top N。设计一个算法，能够高效动态统计Top N的页面。输入描述每一行都是一个URL或一个数字： 如果是URL，代表一段时间内的网页访问。如果是数字N&#…...

编程日记 2025/5/21 10:16:04

脚本运行禁止：npm 无法加载文件，因为在此系统上禁止运行脚本

问题与处理策略 1、问题描述 npm install -D tailwindcss执行上述指令，报如下错误 npm : 无法加载文件 D:\nodejs\npm.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID135170 中的 about_…...

编程日记 2025/5/18 20:02:18