当前位置：首页 > news >正文

openRv1126 AI算法部署实战之——ONNX模型部署实战

news 来源：原创 2025/5/14 18:01:56

在RV1126开发板上部署ONNX算法，实时目标检测+RTSP传输。视频演示地址

rv1126 yolov5 实时目标检测 rtsp传输_哔哩哔哩_bilibili

一、准备工作

1.从官网下载YOLOv5-v7.0工程（YOLOv5的第7个版本）

手动在线下载： Releases · ultralytics/yolov5 · GitHub

手动在线下载地址： https://github.com/ultralytics/yolov5/releases

往下拉找到yolov5s.pt和source code(tar.gz)并下载

在虚拟机中新建1个文件夹yolo，将上面下载的yolov5-7.0.tar.gz工程拷贝到虚拟机并解压，

得到/home/rv1126/yolo/yolov5-7.0文件夹

然后将yolov5s.pt拷贝至解压后的yolov5-7.0目录

2.YOLO初体验—ubuntu下跑YOLO预训练模型

首先进入pytorch训练环境，再进入yolo工程目录

conda activate py3.8-pytorch-1.13.0
cd /home/rv1126/yolo/yolov5-7.0/

在虚拟机中运行yolo程序

python detect.py --weights yolov5s.pt --img 640 --conf 0.25 --source data/images

上述命令表示：采用预训练模型yolov5s.pt，喂入模型中的图片被resize为640*640大小，置信度阈值为0.25，源图片位于data/images下

运行结束后生成的已标记目标的图片文件放在run/detect/exp目录

二、YOLOV5模型转换为RKNN格式

1.修改models/yolo.py文件

打开/home/rv1126/yolo/yolov5-7.0/models/yolo.py找到59行，添加3个输出。注释后面的1输出。

注意python对文件格式要求较高，如果不会改或者改完报错，请拷贝/home/rv1126/yolov5/yolov5-7.0-github/models/yolo.py文件替换/home/rv1126/yolo/yolov5-7.0/models/yolo.py文件

2.将yolov5s.pt导出为yolov5s.onnx文件

注意当前环境为训练环境(py3.8-pytorch-1.13.0)

python export.py --weights yolov5s.pt --img 640 --batch 1 --include onnx

在当前路径生成yolov5s.onnx

3.将yolov5s.onnx模型转换为yolov5s.rknn

从/home/rv1126/yolov5/yolov5-7.0-github路径中拷贝模型转换脚本convert-onnx-to-rknn-pre.py和文件夹img到当前路径/home/rv1126/yolo/yolov5-7.0

进入模型转换环境

conda activate py3.6-rknn-1.7.3

开始转换模型

python convert-onnx-to-rknn-pre.py

在当前目录生成yolov5.rknn

三、部署yolov5.rknn到RV1126开发板上

1.准备工作

首先在开发板执行如下命令，退出出厂测试程序

killall rkmedia_rockx_person_detection

在开发板执行如下命令，挂载nfs根文件系统

busybox mount -t nfs -o nolock,nfsvers=3 192.168.1.108:/home/rv1126 /getnfs/

2.拷贝模型到开发板并运行程序

cd /getnfs/yolo/yolov5-7.0
cp yolov5s.rknn /demo/bin/yolov5s_relu_rv1109_rv1126_out_opt.rknn

在开发板执行如下命令运行yolo例程

/demo/bin/openRv1126_yolov5_object_recognize

3.VLC查看视频，串口查看打印坐标

然后在电脑上打开VLC播放器，输入如下取流地址。注意IP地址请根据实际修改

rtsp://192.168.1.105/live/main_stream

即可看到实时yolo检测的视频画面。

串口实时打印检测框坐标信息

如需退出请按ctrl+c

4.源码说明

上面运行的openRv1126_yolov5_object_recognize程序源码位于路径：

/home/rv1126/openRv1126-Aidemo/openRv1126_yolov5_object_recognize_rtsp

该源码定义了模型路径、数据集路径、识别类目数量如下

/home/rv1126/openRv1126-Aidemo/openRv1126_yolov5_object_recognize_rtspopenRv1126_yolov5_object_recognize.cpp指定模型路径static char *model_path = "/demo/bin/yolov5s_relu_rv1109_rv1126_out_opt.rknn";postprocess.cc指定数据集路径	#define LABEL_NALE_TXT_PATH "/demo/bin/coco_80_labels_list.txt"postprocess.h指定模型识别类目数量#define OBJ_CLASS_NUM     80

附录：操作命令

附录
pytorch/ONNX预训练模型转换rknn onnx/torchscript->rknn思路：yolov5 v7在训练环境导出为torchscript或onnx，然后在转换环境调用对应的API来转换成RKNN模型https://github.com/ultralytics/yolov5/releases	找到v7,往下拉找到 yolov5s.pt 和 source code(tar.gz)并下载
1.下载yolov5 v7工程，并导出pt->onnx/torchscript1.1修改models/yolo.py第59行打开注释，3个输出。注释后面的1输出return x[0],x[1],x[2]1.2修改好models/yolo.py文件中的def forward(self, x)函数以后， 可执行如下命令， 将.pt文件导出.onnx 或者. torchscript格式文件：// 转换为TorchScript格式， 得到 yolov5s.torchscript文件python export.py --weights ./yolov5s.pt --img 640 --batch 1 --include torchscript// 转换为ONNX格式， 得到 yolov5s.onnx文件python export.py --weights ./yolov5s.pt --img 640 --batch 1 --include onnx// 若需要指定opset， 可根据安装的onnx库的版本来调整， 如安装的onnx库的版本是1.12.0， 后面加上--opset 12python export.py --weights ./yolov5s.pt --img 640 --batch 1 --include onnx --opset 122.模型转换 onnx/torchscript->rknn2.1源码解析target = 'rv1126'# 确定目标设备targetrknn = RKNN()# 创建RKNN对象rknn.config(reorder_channel='0 1 2',mean_values=[[0, 0, 0]],std_values=[[255, 255, 255]],target_platform=target,output_optimize=1)rknn.load_pytorch(model="./original_model/best.torchscript", input_size_list=[[3,640,640]])# 加载模型rknn.build(dataset='./dataset/dataset1.txt',pre_compile=True)# 构建 RKNN 模型，并预处理rknn.export_rknn('./rknn_model/yolov5-7.0-torchscript.rknn')# 导出 RKNN 模型rknn.release()# 释放RKNN对象2.2转换实操：yolov5导出，复制到/home/rv1126/ModelConvertSample/original_model  best.onnx 和 best.torchscriptpython convert-onnx-to-rknn-pre.py python convert-pytorch-to-rknn-pre.py生成 /home/rv1126/ModelConvertSample/rknn_model/ yolov5-7.0-onnx.rknn 和 yolov5-7.0-torchscript.rknn

openRv1126 AI算法部署实战之——ONNX模型部署实战

在RV1126开发板上部署ONNX算法，实时目标检测RTSP传输。视频演示地址 rv1126 yolov5 实时目标检测 rtsp传输_哔哩哔哩_bilibili 一、准备工作 1.从官网下载YOLOv5-v7.0工程（YOLOv5的第7个版本） 手动在线下载： Releases ultraly…...

编程日记 2025/5/14 18:01:56

实验作业管理系统的设计与实现

标题:实验作业管理系统的设计与实现内容:1.摘要本系统旨在解决当前实验作业管理中存在的问题，提高管理效率和质量。通过对现有系统的调研和分析，我们确定了系统的功能需求和性能要求，并采用了先进的技术和架构进行设计和实现。系统实现了实…...

编程日记 2025/5/14 14:39:35

【愚公系列】《循序渐进Vue.js 3.x前端开发实践》032-组件的Teleport功能

标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主&…...

编程日记 2025/5/14 21:40:20

leetcode——二叉树的最大深度（java）

给定一个二叉树 root ，返回其最大深度。二叉树的最大深度是指从根节点到最远叶子节点的最长路径上的节点数。示例 1： 输入：root [3,9,20,null,null,15,7] 输出：3 示例 2： 输入：root [1,null,2] 输…...

编程日记 2025/5/11 11:07:00

【PyTorch】3.张量类型转换

个人主页：Icomi 在深度学习蓬勃发展的当下，PyTorch 是不可或缺的工具。它作为强大的深度学习框架，为构建和训练神经网络提供了高效且灵活的平台。神经网络作为人工智能的核心技术，能够处理复杂的数据模式。通过 PyTorch&#xff0…...

编程日记 2025/5/14 18:56:56

自制一个入门STM32 四足机器人具体开发顺序

0 前期准备 1. 知识储备学习 STM32 微控制器的基础知识，包括 GPIO、定时器、串口通信等外设的使用，可通过官方文档、教程和视频课程进行学习。了解舵机控制原理，因为四足机器人通常使用舵机来实现关节运动。掌握基本的机械结构设计知识&am…...

编程日记 2025/5/14 20:03:16

SpringCloud基础二（完结）

HTTP客户端Feign 在SpringCloud基础一中，我们利用RestTemplate结合服务注册与发现来发起远程调用的代码如下： String url "http://userservice/user/" order.getUserId(); User user restTemplate.getForObject(url, User.class);以上代码就…...

编程日记 2025/5/12 10:24:55

云原生时代，如何构建高效分布式监控系统

文章目录一.监控现状二.Thanos原理分析SidecarQuerierStoreCompactor 三.Sidecar or ReceiverThanos Receiver工作原理四.分布式运维架构一.监控现状 Prometheus是CNCF基金会管理的一个开源监控项目，由于其良好的架构设计和完善的生态，迅速成为了监控…...

编程日记 2025/5/14 4:20:28

WordPress使用（1）

1. 概述 WordPress是一个开源博客框架，配合不同主题，可以有多种展现方式，博客、企业官网、CMS系统等，都可以很好的实现。官网：博客工具、发布平台和内容管理系统 – WordPress.org China 简体中文，这里可…...

编程日记 2025/5/14 8:57:16

小白爬虫冒险之反“反爬”：无限debugger、禁用开发者工具、干扰控制台...（持续更新）

背景浅谈小白踏足JS逆向领域也有一年了，对于逆向这个需求呢主要要求就是让我们去破解**“反爬机制”**，即反“反爬”，脚本处理层面一般都是decipher网站对request设置的cipher，比如破解一个DES/AES加密拿到key。这篇文章先不去谈…...

编程日记 2025/5/14 15:55:18

Time Constant | RC、RL 和 RLC 电路中的时间常数

注：本文为 “Time Constant” 相关文章合辑。机翻，未校。 How To Find The Time Constant in RC and RL Circuits June 8, 2024 💡 Key learnings: 关键学习点： Time Constant Definition: The time constant (τ) is define…...

编程日记 2025/5/14 10:38:04

Python爬虫学习第三弹 —— Xpath 页面解析实现无广百·度

早上好啊，大佬们。上回使用 Beautiful Soup 进行页面解析的内容是不是已经理解得十分透彻了~ 这回我们再来尝试使用另外一种页面解析，来重构上一期里写的那些代码。讲完Xpath之后，小白兔会带大家解决上期里百度搜索的代码编写，保…...

编程日记 2025/5/15 1:27:14

JS 正则表达式 -- 分组【详解】含普通分组、命名分组、反向引用

普通分组使用圆括号 () 来创建分组捕获匹配的内容，通过正则表达式匹配结果的数组来访问这些捕获的内容。 const str "Hello, World!"; const regex /(Hello), (World)!$/; const match str.match(regex);if (match) {console.log("完整匹配结果…...

编程日记 2025/5/13 9:17:26

Leetcode刷题-不定长滑动窗口

分享丨【题单】滑动窗口与双指针（定长/不定长/单序列/双序列/三指针/分组循环） - 力扣（LeetCode） 3090 class Solution:def maximumLengthSubstring(self, s: str) -> int:c Counter()res 0rk -1for i in range(len(s)):i…...

编程日记 2025/5/14 20:39:31

【Rust自学】15.6. RefCell与内部可变性：“摆脱”安全性限制

题外话，这篇文章一共4050字，是截止到目前为止最长的文章，如果你能坚持读完并理解，那真的很强！ 喜欢的话别忘了点赞、收藏加关注哦（加关注即可阅读全文），对接下来的教程有兴趣的可以…...

编程日记 2025/5/15 1:08:02

护眼好帮手：Windows显示器调节工具

在长时间使用电脑的过程中，显示器的亮度和色温对眼睛的舒适度有着重要影响。传统的显示器调节方式不仅操作繁琐，而且在低亮度下容易导致色彩失真。因此，今天我想为大家介绍一款适用于Windows系统的护眼工具，它可以帮助你轻松调节显…...

编程日记 2025/5/15 2:20:27

使用 OpenResty 构建高效的动态图片水印代理服务20250127

使用 OpenResty 构建高效的动态图片水印代理服务在当今数字化的时代，图片在各种业务场景中广泛应用。为了保护版权、统一品牌形象，动态图片水印功能显得尤为重要。然而，直接在后端服务中集成水印功能，往往会带来代码复杂度增加、…...

编程日记 2025/5/12 2:15:52

36、【OS】【Nuttx】OSTest分析（2）：环境变量测试

背景 2025.1.29 蛇年快乐！ 接之前wiki 35、【OS】【Nuttx】OSTest分析（1）：stdio测试（五） 已经分析完了第一个测试项，输入输出端口测试，接下来分析下环境变量测试，也比较…...

编程日记 2025/5/15 1:41:58

C++并发编程指南04

文章目录共享数据的问题3.1.1 条件竞争双链表的例子条件竞争示例恶性条件竞争的特点 3.1.2 避免恶性条件竞争1. 使用互斥量保护共享数据结构2. 无锁编程3. 软件事务内存（STM） 总结互斥量与共享数据保护3.2.1 互斥量使用互斥量保护共享数据示例代码&…...

编程日记 2025/5/15 2:03:01

Java实现LRU缓存策略实战

实现LRU模型选择LRU缓存回收算法集成Google Guava（LRU缓存策略）插件Google Guava（LRU策略）缓存示例总结LRU（Least Recently Used，最近最少使用）缓存是一种常见的缓存淘汰策略。它的基本思想是优先保留最近被访问过的数据，淘汰最久未被访问的数据。这种策略的目的是为了…...

编程日记 2025/5/15 0:33:24

三个不推荐使用的线程池

线程池的种类其实看似这么多的线程池，都离不开ThreadPoolExecutor去创建，只不过他们是简化一些参数 newFixedThreadPool 里面全是核心线程有资源耗尽的风险，任务队列最大长度为Integer.MAX_VALUE，可能会堆积大量的请求&#xff…...

编程日记 2025/5/15 1:32:31

Golang 并发机制-1：Golang并发特性概述

并发是现代软件开发中的一个基本概念，它使程序能够同时执行多个任务，从而提高效率和响应能力。在本文中，我们将探讨并发性在现代软件开发中的重要性，并深入研究Go处理并发任务的独特方法。并发的重要性增强性能并发在提高软…...

编程日记 2025/5/13 20:54:22

Flink中的时间和窗口

在批处理统计中，我们可以等待一批数据都到齐后，统一处理。但是在实时处理统计中，我们是来一条就得处理一条，那么我们怎么统计最近一段时间内的数据呢？引入“窗口”。所谓的“窗口”，一般就是划定的一段时…...

编程日记 2025/5/14 2:08:05

Alfresco Content Services dockerCompose自动化部署详尽操作

Alfresco Content Services docker社区部署文档 Alfresco Content Services简介官方说明书 https://support.hyland.com/r/Alfresco/Alfresco-Content-Services-Community-Edition/23.4/Alfresco-Content-Services-Community-Edition/Using/Content/Folder-rules/Defining-…...

编程日记 2025/5/14 6:52:08

吴恩达深度学习——深层神经网络

来自https://www.bilibili.com/video/BV1FT4y1E74V，仅为本人学习所用。符号约定对于该深层网络，有四层，包含三个隐藏层和一个输出层。隐藏层中，第一层有五个单元、第二层有五个单元，第三层有三个单元。标记 l l l…...

编程日记 2025/5/15 1:29:28

【算法设计与分析】实验1：字符串匹配问题的算法设计与求解

目录一、实验目的二、实验环境三、实验内容四、核心代码五、记录与处理六、思考与总结七、完整报告和成果文件提取链接一、实验目的给定一个文本，在该文本中查找并定位任意给定字符串。 1、深刻理解并掌握蛮力法的设计思想； 2、提高应用…...

编程日记 2025/5/15 0:47:30

C语言二级题解：查找字母以及其他字符个数、数字字符串转双精度值、二维数组上下三角区域数据对调

目录一、程序填空题 --- 查找字母以及其他字符个数题目分析二、程序修改 --- 数字字符串转双精度值题目分析小数位字符串转数字三、程序设计 --- 二维数组上下三角区域数据对调题目分析前言本文来讲解： 查找字母以及其他字符个数、数字字符串…...

编程日记 2025/5/15 1:51:59

Git进阶之旅：Git 配置信息 Config

Git 配置级别： 仓库级别：local [ 优先级最高 ]用户级别：global [ 优先级次之 ]系统级别：system [ 优先级最低 ] 配置文件位置： git 仓库级别对应的配置文件是当前仓库下的 .git/configgit 用户级别对应的配置文件时用…...

编程日记 2025/5/14 5:47:11

Qwen2-VL：在任何分辨率下增强视觉语言模型对世界的感知（大型视觉模型核心技术分享）

摘要我们推出了Qwen2-VL系列，这是对之前Qwen-VL模型的高级升级，重新定义了视觉处理中的常规预设分辨率方法。Qwen2-VL引入了Naive Dynamic Resolution机制，使模型能够动态地将不同分辨率的图像转换为不同的视觉令牌数量。这种方法允许模型生成更高效和准确的视觉表示，紧密…...

编程日记 2025/5/15 1:47:08

【C语言】在Windows上为可执行文件.exe添加自定义图标

本文详细介绍了在 Windows 环境下，如何为使用 GCC 编译器编译的 C程序添加自定义图标，从而生成带有图标的 .exe 可执行文件。通过本文的指导，读者可以了解到所需的条件以及具体的操作步骤，使生成的程序更具专业性和个性化。目录 1. 准备条件2. 具体步骤步骤 1: 准备资源文…...

编程日记 2025/5/14 17:59:04

记录 | Docker的windows版安装

目录前言一、1.1 打开“启用或关闭Windows功能”1.2 安装“WSL”方式1：命令行下载方式2：离线包下载二、Docker Desktop更新时间前言参考文章：Windows Subsystem for Linux——解决WSL更新速度慢的方案参考视频：一个视频解决D…...

编程日记 2025/5/12 2:47:14

FortiOS 存在身份验证绕过导致命令执行漏洞(CVE-2024-55591)

免责声明: 本文旨在提供有关特定漏洞的深入信息，帮助用户充分了解潜在的安全风险。发布此信息的目的在于提升网络安全意识和推动技术进步，未经授权访问系统、网络或应用程序，可能会导致法律责任或严重后果。因此，作者不对读者基于本文内容所采取的任何行为承担责任。读者在…...

编程日记 2025/5/12 1:55:16

系统思考—心智模式

“我们的大脑对连贯性的渴望远胜于对准确性的追求。”—诺贝尔经济学得主丹尼尔卡尼曼在面对复杂的决策时，我们往往更倾向于寻找那些能够迅速串联起来的信息，而非深入挖掘每一个细节的真实性。这种倾向在日常生活中或许能帮助我们迅速作出决策&#xf…...

编程日记 2025/5/11 17:04:19

【信息系统项目管理师-选择真题】2008上半年综合知识答案和详解

更多内容请见：备考信息系统项目管理师-专栏介绍和目录文章目录【第1题】【第2题】【第3题】【第4题】【第5题】【第6题】【第7~8题】【第9题】【第10题】【第11题】【第12题】【第13题】【第14题】【第15题】【第16~20题】【第21题】【第22题】【第23题】【第24题】【第25题…...

编程日记 2025/5/14 3:02:57

深入理解三高架构：高可用性、高性能、高扩展性的最佳实践

引言在现代互联网环境下，随着用户规模和业务需求的快速增长，系统架构的设计变得尤为重要。为了确保系统能够在高负载和复杂场景下稳定运行，"三高架构"（高可用性、高性能、高扩展性）成为技术架构设计中的核…...

编程日记 2025/5/11 14:22:27

从 SAP 功能顾问到解决方案架构师：破茧成蝶之路

目录行业瞭望：架构师崭露头角现状剖析：功能顾问的局限与机遇能力跃迁：转型的核心要素 （一）专业深度的掘进 （二）集成能力的拓展 （三）知识广度的延伸 &#xff0…...

编程日记 2025/5/14 0:38:41

《从因果关系的角度学习失真不变表示以用于图像恢复》学习笔记

paper：2303.06859 GitHub：lixinustc/Causal-IR-DIL: Distortion invariant feature learning for image restoration from a causality perspective 2023 CVPR 目录摘要 1、介绍 1.1 图像修复任务 1.2 失真不变表示学习 1.3 因果效应估计的挑战…...

编程日记 2025/5/13 12:41:58

STM32 PWM驱动直流电机

接线图： 代码配置： 根据驱动舵机的代码来写，与舵机不同的是，这次的引脚接到了PA2上，所以需要改一下引脚以及改为OC3通道。另外还需在配置两个GPIO引脚，来控制电机的旋转方向，这里连接到了PA4与…...

编程日记 2025/5/11 4:32:59

【Hadoop】Hadoop 概述

Hadoop 概述 Hadoop 是什么Hadoop 发展历史Hadoop 三大发行版本Hadoop 优势（4 高）Hadoop 组成（面试重点）HDFS 架构概述YARN 架构概述MapReduce 架构概述HDFS、YARN、MapReduce 三者关系大数据技术生态体系 Hadoop 是什么 Hadoop…...

编程日记 2025/5/12 9:57:40

【仪器分析】FACTs-幅度

** 当然，这回是一篇没有插图的文章，但是有足够多的描述可以用来想象。我拿这个系列当作前传试试水引言。正弦信号可能会发生怎样的变化？ ** 近日学FACTs，险些成为传函丁真， 如果从仪器角度考察正弦信号的测量&…...

编程日记 2025/5/14 17:59:24

deepseek R1的确不错，特别是深度思考模式

deepseek R1的确不错，特别是深度思考模式，每次都能自我反省改进。比如我让它写文案： 【赛博朋克版程序员新春密码——2025我们来破局】亲爱的代码骑士们： 当CtrlS的肌肉记忆遇上抢票插件，当Spring Boot的…...

编程日记 2025/5/14 0:24:55

Unity敌人逻辑笔记

写ai逻辑基本上都需要状态机。因为懒得手搓状态机，所以选择直接用动画状态机当逻辑状态机用。架构设计因为敌人的根节点已经有一个animator控制动画，只能增加一个子节点AI，给它加一个animator指向逻辑“动画”状态机。还有一个脚本&#…...

编程日记 2025/5/13 2:57:29

C++，STL 简介：历史、组成、优势

文章目录引言一、STL 的历史STL 的核心组成三、STL 的核心优势四、结语进一步学习资源： 引言 C 是一门强大且灵活的编程语言，但其真正的魅力之一在于其标准库——尤其是标准模板库（Standard Template Library, STL）。STL 提供了…...

编程日记 2025/5/7 4:33:58

【事务管理】

目录一. 介绍与操作二. Spring事务管理三. 事务四大特性 \quad 一. 介绍与操作 \quad \quad 二. Spring事务管理 \quad 推荐加在经常进行增删改的方法上 \quad 三. 事务四大特性 \quad ctrlaltt...

编程日记 2025/5/14 23:50:25

ERP革新：打破数据壁垒，重塑市场竞争

标题：ERP革新：打破数据壁垒，重塑市场竞争文章信息摘要： Operator和Computer Use等工具通过模拟用户交互和自动化数据提取，绕过了传统ERP系统的API限制，打破了其数据护城河。这种技术革新降低了企业切换软…...

编程日记 2025/5/14 17:35:04

小阿卡纳牌

小阿卡纳牌风：热湿火：热干水：冷湿土：冷干火风：温度相同，但是湿度不同，二人可能会在短期内十分热情，但是等待热情消退之后，会趋于平淡。湿度相同、温度不同&#x…...

编程日记 2025/5/14 1:19:41

android的gradle

资料： GitHub - ChenSWD/CopyGradleInAction: 备份《Gradle IN Action》书中的源码，添加了部分注释 //github上一个开源项目，外加pdf书 Gradle User Manual gradle官网讲的挺好的博客 Gradle之重新认识Gradle(项目结构、命令行、tas…...

编程日记 2025/5/14 1:19:48