RK3588芯片NPU的使用:官方rknn_yolov5_android_apk_demo运行与解读
一、本文的目标
本文将完成两项任务:
- 官方的调用摄像头动态目标识别例子运行在rk3588的开发板上。
- 解读源码以增加对rknn开发的认识。
二、开发环境说明
- 主机系统:Windows 11
- 目标设备:搭载RK3588芯片的安卓开发板
- 核心工具:Android Studio Koala | 2024.1.1 Patch 2,NDK 27.0
三、编译与运行
0. 源码位置
官方路径在rknn-toolkit2\rknpu2\examples\rknn_yolov5_android_apk_demo,找不到也可以找我。
1.目录结构
如下图:
2.编译与运行
自打开工程后,自动下载依赖,到点击运行,在rk3588开发板跑起来,一路没遇到阻碍。下图为运行效果,识别出来手机图片中的三巨头。
四、代码解读
1.核心问题
本案例是在相机预览实时进行目标检测,那么有以下几个核心问题要解决:
- 相机使用:案例中使用第一代Camera API,虽然API已不建议使用,但能工作就是好汉。
- 并发工作:相机一边预览,程序一边使用yolov5做目标检测。需要有一个专用来检测的推理线程。
- 图像格式转换:安卓中Camera API的预览帧是NV21格式,而瑞芯微NPU中需要换成RGB888格式。
- 需要有一个容器缓存预览帧:要设计一个图片缓存队列。
2.程序的主流程
建议从CameraPreviewActivity开始分析,逻辑逐渐在这里展开。
初始化阶段:
- onCreate():
- 初始化 UI 组件(FPS 显示、结果画布)。
- 根据设备平台(如 RK3588/RK356x)加载预置的 YOLO 模型文件到缓存目录。
- 初始化推理引擎 mInferenceWrapper 和目标检测结果处理器 mInferenceResult。
- createPreviewView():
- 创建 SurfaceView 用于相机预览,绑定 SurfaceHolder 回调。
相机与预览控制:
见流程图:
TSurfaceHolderCallback
- surfaceCreated(): 调用
startCamera()
打开相机并启动预览。 - surfaceDestroyed(): 停止预览并释放相机资源。
startCamera()
- 根据摄像头数量选择摄像头 ID(优先选择 ID=2)。
- 配置相机参数(分辨率、预览格式),设置预览缓冲区
mPreviewData0
。 - 通过
setPreviewCallbackWithBuffer
注册预览数据回调。
onPreviewFrame()
- 接收 NV21 格式的预览帧。
- 使用 RGA 硬件加速转换为 RGB 格式。
- 推送到图像队列
mImageBufferQueue
。
@Overridepublic void onPreviewFrame(byte[] data, Camera camera) {mCamera0.addCallbackBuffer(data);ImageBufferQueue.ImageBuffer imageBuffer = mImageBufferQueue.getFreeBuffer();if (imageBuffer != null) {// RK_FORMAT_YCrCb_420_SP -> RK_FORMAT_RGBA_8888// flip for CAMERA_FACING_FRONTRGA.colorConvertAndFlip(data, RK_FORMAT_YCrCb_420_SP, imageBuffer.mImage_handle, RK_FORMAT_RGB_888,CAMERA_PREVIEW_WIDTH, CAMERA_PREVIEW_HEIGHT, this.flip);mImageBufferQueue.postBuffer(imageBuffer);}}
推理线程
见下图:
startTrack()
- 初始化图像队列,启动推理线程
mInferenceRunnable
。
推理循环
- 从队列获取 RGB 图像。
- 调用
mInferenceWrapper.run()
运行 YOLO 模型推理。 - 计算 FPS 并通过
Handler
更新 UI。 - 检测结果存储在
mInferenceResult
中。
UI 渲染
见下图:
showTrackSelectResults()
- 在
Canvas
上绘制检测框和类别标签。 - 通过
ImageView
显示结果。
Handler 消息机制
- 主线程更新 FPS 数值和检测结果位图。
3.java层相关类
3.1 YOLO目标检测模型的核心封装类InferenceWrapper
此类负责与底层C++实现的RKNN推理引擎交互,完成模型初始化、推理执行和后处理全流程。
成员变量:
OutputBuffer mOutputs; // 存储模型原始输出
DetectResultGroup mDetectResults; // 原生后处理结果容器
int OBJ_NUMB_MAX_SIZE = 64; // 最大检测对象数量限制
DetectResultGroup两个类(数据结构)在InferenceResult类中,稍后介绍。
模型初始化:
public int initModel(int im_height, int im_width, int im_channel, String modelPath) throws Exception {mOutputs = new InferenceResult.OutputBuffer();// 为YOLO的三层输出预分配内存:mOutputs.mGrid0Out = new byte[255 * 80 * 80]; // 80x80特征图mOutputs.mGrid1Out = new byte[255 * 40 * 40]; // 40x40特征图 mOutputs.mGrid2Out = new byte[255 * 20 * 20]; // 20x20特征图if (navite_init(im_height, im_width, im_channel, modelPath) != 0) {throw new IOException("rknn init fail!");}return 0; }
255 = 3(5+80) 对应YOLOv5的3个anchor,每个anchor预测5个参数+80个类别。
推理执行:
public OutputBuffer run(long img_buf_handle, int camera_width, int camera_height) {native_run(img_buf_handle, camera_width, camera_height, mOutputs.mGrid0Out, mOutputs.mGrid1Out, mOutputs.mGrid2Out);return mOutputs;
}// jni接口
private native int native_run(long img_buf_handle, int cam_width, int cam_height, byte[] grid0Out, byte[] grid1Out, byte[] grid2Out);
参数img_buf_handle是图像缓冲区的native句柄。
通过JNI将结果直接写入预分配的Java层缓冲区。
后处理流程:
public ArrayList<Recognition> postProcess(OutputBuffer outputs) {// 1. 初始化结果容器mDetectResults = new DetectResultGroup();mDetectResults.ids = new int[OBJ_NUMB_MAX_SIZE];mDetectResults.scores = new float[OBJ_NUMB_MAX_SIZE]; mDetectResults.boxes = new float[4 * OBJ_NUMB_MAX_SIZE];// 2. 调用原生后处理int count = native_post_process(outputs.mGrid0Out, outputs.mGrid1Out, outputs.mGrid2Out,mDetectResults.ids, mDetectResults.scores, mDetectResults.boxes);// 3. 转换为Recognition对象ArrayList<Recognition> recognitions = new ArrayList<>();for (int i = 0; i < count; ++i) {RectF rect = new RectF(mDetectResults.boxes[i*4+0], // leftmDetectResults.boxes[i*4+1], // topmDetectResults.boxes[i*4+2], // rightmDetectResults.boxes[i*4+3] // bottom);recognitions.add(new Recognition(mDetectResults.ids[i],mDetectResults.scores[i], rect));}return recognitions;
}
native方法:
方法签名 | 功能描述 |
---|---|
navite_init() | 初始化RKNN模型,加载指定路径的模型文件 |
native_deinit() | 释放模型资源 |
native_run() | 执行推理,结果写入Java层缓冲区 |
native_post_process() | 执行NMS等后处理,返回检测结果 |
InferenceWrapper与Camera线程和RKNN JNI时序图:
与InferenceResult的关系:
- 提供原始输出(OutputBuffer)给InferenceResult存储
- 执行postProcess()生成最终识别结果
与ObjectTracker的配合: - 产生的Recognition列表会传递给跟踪器进行ID关联
3.2 InferenceResult类
用于处理目标检测推理结果的工具类,主要功能包括存储推理输出、处理检测结果以及跟踪检测对象。
主要成员变量:
OutputBuffer mOutputBuffer; // 存储推理输出的原始数据
ArrayList<
相关文章:
RK3588芯片NPU的使用:官方rknn_yolov5_android_apk_demo运行与解读
一、本文的目标 本文将完成两项任务: 官方的调用摄像头动态目标识别例子运行在rk3588的开发板上。解读源码以增加对rknn开发的认识。二、开发环境说明 主机系统:Windows 11目标设备:搭载RK3588芯片的安卓开发板核心工具:Android Studio Koala | 2024.1.1 Patch 2,NDK 27.…...
面试篇:Spring Boot
基础概念 Spring Boot的核心优势是什么? Spring Boot 的核心优势如下: 自动配置:根据项目中的依赖自动进行配置,减少了大量的手动配置工作。 内嵌服务器:内置 Tomcat、Jetty 等容器,应用可以直接运行为一…...
开源漏洞扫描器:OpenVAS
一、OpenVAS介绍 OpenVAS (Open Vulnerability Assessment System) 是一款功能强大的开源漏洞扫描器。它由 Greenbone Networks 开发和维护,是 Greenbone 安全管理器 (GSM) 产品的基础,同时也有免费的社区版本(Greenbone Community Edition&…...
PCB封装主要组成元素
PCB(Printed Circuit Board,印刷电路板)封装是指将电子元件固定在 PCB 上,并实现电气连接的方式。主要包括以下几类。 1. 焊盘(Pad) 作用:焊盘是 PCB 封装中最重要的元素之一,它是…...
STC8H DMA 串口1全双工中断方式收发通讯C语言
/************* 功能说明 ************** 本例程基于STC8H8K64U为主控芯片的实验箱9进行编写测试,STC8H系列带DMA模块的芯片可通用参考. 串口1全双工中断方式收发通讯程序。 通过PC向MCU发送数据, MCU将收到的数据自动存入DMA空间. 当DMA空间存满设置大小的…...
考研英一学习笔记
2024 年全国硕士研究生招生考试 英语(一)试题 (科目代码:201) Section Ⅰ Use of English Directions: Read the following text. Choose the best word(s) for each numbered blank and mark A, B, C or D on the ANS…...
深度理解spring——BeanFactory的实现
BeanFactory Spring之BeanFactory什么是BeanFactoryApplicationContext相对BeanFactory实现的功能性扩展1. MessageSource2. ResourcePatternResolver3. ApplicationEventPublisher4. EnvironmentCapable通用ApplicationContext实践实现BeanFactoryBeanFactory后处理器排序让谁…...
半导体---检测和量测
目录 1.简介2.AOI(检测) 1.简介 半导体晶圆制造前道量测和检测设备。 公司产品涵盖光学薄膜量测、光学关键尺寸量测、光学衍射套刻量测、光学集成量测、X射线薄膜量测、X射线材料性能量测、X射线成分及表面污染量测等系列产品及解决方案。 半导体领域的量测和AOI如同半导体制造…...
CentOS 7 磁盘分区详细教程
CentOS 7 磁盘分区详细教程 在服务器管理和运维过程中,磁盘分区是一项基础且重要的操作。合理的磁盘分区可以提高数据存储的安全性、高效性,方便系统管理与维护。本文将详细介绍在 CentOS 7 系统中进行磁盘分区的具体步骤和方法。 一、准备工作 1.1 确…...
EasyRTC音视频实时通话在线教育解决方案:打造沉浸式互动教学新体验
一、方案概述 EasyRTC是一款基于WebRTC技术的实时音视频通信平台,为在线教育行业提供了高效、稳定、低延迟的互动教学解决方案。本方案将EasyRTC技术深度整合到在线教育场景中,实现师生间的实时音视频互动等核心功能,打造沉浸式的远程学习体…...
栈(Stack)和队列(Queue)
栈 栈(stack)是一种特殊的线性表,只允许在固定的一端进行插入和删除操作。 我们可以将栈近似看作一个桶,要取出桶底的元素,就要将桶顶的元素先取出,再将底部元素取出,也可以叫做后进先出。 这…...
1、AI及LLM基础:Python语法入门教程
Python语法入门教程 这是一份全面的Python语法入门教程,涵盖了注释、变量类型与操作符、逻辑运算、list和字符串、变量与集合、控制流和迭代、模块、类、继承、进阶等内容,通过详细的代码示例和解释,帮助大家快速熟悉Python语法。 文章目录 Python语法入门教程一、注释二…...
跨境电商关键词分类打标
你是一名顶级的亚马逊关键词分析专家,你将用你的亚马逊运营专业的经验帮助我做精准的关键词打标。 首先你会学习以下的知识内容,以便于你后续的关键词分析。 人群词是什么? 是指直接描述或定位特定用户群体的关键词或标签,用于精准识别目标受众的身份、需求或行为特征。 …...
C# 结构(Struct)
原文:C# 结构(Struct)_w3cschool 在 C# 中,结构是值类型数据结构。它使得一个单一变量可以存储各种数据类型的相关数据。struct 关键字用于创建结构。 结构是用来代表一个记录。假设您想跟踪图书馆中书的动态。您可能想跟踪每本…...
Java Collections工具类指南
一、Collections工具类概述 java.util.Collections是Java集合框架中提供的工具类,包含大量静态方法用于操作和返回集合。这些方法主要分为以下几类: 排序操作查找和替换同步控制不可变集合特殊集合视图其他实用方法 二、排序操作 1. 自然排序 List&…...
BBRv2,v3 吞吐为什么不如 BBRv1
为什么 BBRv2/3 测试下来吞吐远不如 2016 年底的 BBRv1,这个事曾经提到过很多次,今天分析一下原理。注意三个事实: BBR 是一种拥塞控制算法;BBR 已经迭代到了 v3 版本;BBRv3 的 “性能” 远不如 BBRv1. 第二点有点不…...
Java集成【邮箱验证找回密码】功能
目录 1.添加依赖 2.选择一个自己的邮箱,作为发件人角色。 3.编写邮箱配置【配置发件人邮箱】 4.编写邮箱配置类 5.编写controller业务代码 6.演示效果 7.总结流程 8.注意 结语 1.添加依赖 <!--导入邮箱依赖--> <dependency><groupId>or…...
Java微服务架构设计与实践 - 面试实战
Java微服务架构设计与实践 - 面试实战 在互联网大厂的Java求职者面试中,微服务架构设计是一个常见的考察点。本文通过严肃的面试官和资深Java架构师马架构之间的对话,详细展示了如何回答SpringCloud相关的核心技术问题。 第一轮提问 面试官࿱…...
Java后端开发面试题(含答案)
在广州一个小公司(BOSS标注是20-99人,薪资2-3k左右),直接面试没有笔试,按流程自我介绍,然后直接拿着简历问项目场景,问题是结合场景题和八股文。废话不多说,直接分享面试题目个大家做参考。 1、…...
Sharding-JDBC 系列专题 - 第九篇:高可用性与集群管理
Sharding-JDBC 系列专题 - 第九篇:高可用性与集群管理 本系列专题旨在帮助开发者全面掌握 Sharding-JDBC,一个轻量级的分布式数据库中间件。本篇作为系列的第九篇文章,将重点探讨 高可用性(High Availability, HA) 和 集群管理,包括数据库高可用方案、Sharding-JDBC 的故…...
Node.js 学习入门指南
Node.js 学习入门指南 Node.js 是一种流行的开源、跨平台的 JavaScript 运行时环境,它使开发者能够在服务器端运行JavaScript代码。本篇文章旨在帮助初学者快速入门并掌握Node.js的基础知识和常用技巧。 一、什么是Node.js? 定义 Node.js 是一个基于…...
数智视融合驱动未来,Al+数字孪生重塑价值|2025袋鼠云春季数智发布会回顾
4月16日,袋鼠云成功举办了“做DataAI的长期主义者——2025年袋鼠云春季数智发布会”,从智能分析决策平台到AI大模型应用,从数字孪生中枢到AI增强型数字世界,勾勒出企业数智化转型的进化图谱,真正实现AI赋能企业业务&am…...
nfs服务原理、搭建手册、安全配置建议及异常定位手段
一、NFS服务原理 NFS(Network File System)是一种基于TCP/IP协议的网络文件共享系统,允许客户端像访问本地文件一样访问远程服务器上的共享目录。其核心原理依赖于RPC(Remote Procedure Call)机制,具体流程…...
第十三届蓝桥杯 2022 C/C++组 修剪灌木
目录 题目: 题目描述: 题目链接: 思路: 核心思路: 思路详解: 代码: 代码详解: 题目: 题目描述: 题目链接: P8781 [蓝桥杯 2022 省 B] 修…...
MySQL:数据库设计
目录 一、范式 二、第一范式 二、第二范式 三、第三范式 四、设计 (1)一对一关系 (2)一对多关系 (3)多对多关系 一、范式 数据库的范式是一种规则(规范),如果我们…...
OpenManus与OWL部署及体验报告
OpenManus与OWL对任务的执行结果均不及Manus;二者比较,Owl达成率更高;二者使用过程中均会消耗大量tokens,单个问题成本高。 一、部署 OpenManus:https://github.com/mannaandpoem/OpenManus.git OWL:https…...
【Pandas】pandas DataFrame pow
Pandas2.2 DataFrame Binary operator functions 方法描述DataFrame.add(other)用于执行 DataFrame 与另一个对象(如 DataFrame、Series 或标量)的逐元素加法操作DataFrame.add(other[, axis, level, fill_value])用于执行 DataFrame 与另一个对象&…...
Red:1靶场环境部署及其渗透测试笔记(Vulnhub )
环境介绍: 靶机下载: https://download.vulnhub.com/red/Red.ova 本次实验的环境需要用到VirtualBox(桥接网卡),VMware(桥接网卡)两台虚拟机(网段都在192.168.152.0/24࿰…...
【多源01BFS】Codeforce:Three States
题干 翻译 给定一个 nm 的网格地图,包含以下元素: .:表示荒地(可以修建道路)。 #:表示岩石(不可通行)。 数字 1、2、3:分别表示三个国家的位置。 目标:将…...
在深度学习中FLOPs和GFLOPs的含义及区别
在深度学习中,FLOPs和GFLOPs是衡量计算性能的关键指标,但两者的定义和应用场景不同: 1. 定义与区别 • FLOPs(Floating-point Operations) 表示模型或算法执行时所需的浮点运算总次数,用于衡量模型的计算复…...
SpringBoot入门实战(项目搭建、配置、功能接口实现等一篇通关)
🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息 文章目录 SpringBoot入门实战(项目搭建、配…...
昆仑万维开源SkyReels-V2,解锁无限时长电影级创作,总分83.9%登顶V-Bench榜单
昆仑万维开源了全球首个基于扩散强迫框架(Diffusion-forcing)的无限时长视频生成模型——SkyReels-V2。这一模型以总分83.9%的优异成绩登顶权威评测V-Bench1.0榜单,并在质量维度获得84.7%的评分,刷新了开源视频生成技术的天花板。…...
精选面试题
1、js中set和map的作用和区别? 在 JavaScript 中,Set 和 Map 是两种非常重要的集合类型 1、Set 是一种集合数据结构,用于存储唯一值。它类似于数组,但成员的值都是唯一的,没有重复的值。Set 中的值只能是唯一的,任何…...
【技术派后端篇】技术派中 Session/Cookie 与 JWT 身份验证技术的应用及实现解析
在现代Web应用开发中,身份验证是保障系统安全的重要环节。技术派在身份验证领域采用了多种技术方案,其中Session/Cookie和JWT(JSON Web Token)是两种常用的实现方式。本文将详细介绍这两种身份验证技术在技术派中的应用及具体实现…...
【CAPL实战:以太网】对IPv4报文的Payload部分进行分片并创建分片包
As we know,TCP/IP协议栈网络层接收到来自上层的数据时,并不是简单地添加报头发送出去,而是会受到来自网卡配置参数MTU的约束。也就是从网卡上发送出去的以太网帧报文的数据部分的长度不能大于MTU值。即网络层头部 + 有效载荷不能大于MTU。 所以网络层在发送上层的数据时,…...
Spring Security认证流程
认证是Spring Security的核心功能之一,Spring Security所提供的认证可以更好地保护系统的隐私数据与资源,只有当用户的身份合法后方可访问该系统的资源。Spring Security提供了默认的认证相关配置,开发者也可以根据自己实际的环境进行自定义身…...
Spring Security基础入门
本入门案例主要演示Spring Security在Spring Boot中的安全管理效果。为了更好地使用Spring Boot整合实现Spring Security安全管理功能,体现案例中Authentication(认证)和Authorization(授权)功能的实现,本案…...
Axure疑难杂症:母版菜单设置打开链接后菜单选中效果
亲爱的小伙伴,在您浏览之前,烦请关注一下,在此深表感谢! Axure产品经理精品视频课已登录CSDN可点击学习https://edu.csdn.net/course/detail/40420 课程主题:菜单打开链接后子菜单选中效果 主要内容:母版设计、选中效果 应用场景:页面赋值 案例展示: 案例视频:...
4月份最新---Meta发明了一种很新的Transformer
在自然语言处理领域,当模型处理长上下文时,如何在纷繁的 Token 中精准捕捉关键信息、过滤无关干扰,始终是注意力机制优化的核心方向。标准多头注意力(Multi-Head Attention, MHA)通过查询 - 键 - 值(Q-K-V)的点积相似性计算注意力权重,虽能定位单个 Token 级别的语义关…...
Spring Boot知识点详解
打包部署 <!‐‐ 这个插件,可以将应用打包成一个可执行的jar包;‐‐> <build><plugins> <plugin> <groupId>org.springframework.boot</groupId><artifactId>spring‐boot‐maven‐plugin</artifactId&g…...
基于 EFISH-SBC-RK3588 的无人机多光谱/红外热成像边缘计算方案
一、硬件架构设计 核心算力平台(EFISH-SBC-RK3588) 处理器性能:搭载 8 核 ARM 架构(4Cortex-A762.4GHz 4Cortex-A551.8GHz),集成 6 TOPS NPU 与 Mali-G610 GPU,支持多光谱图像实时融…...
字典与集合——测试界的黑话宝典与BUG追捕术
主题:“字典是测试工程师的暗号手册,集合是BUG的照妖镜” 一、今日目标 ✅ 掌握字典的「键值对暗号体系」与集合的「去重妖法」✅ 开发《测试工程师黑话词典》,让新人秒变老司机✅ 统计自动化测试结果中的高频BUG类型(附赠甩锅指…...
QT构建即时通讯应用--WebSocket全面解析与实战指南
概述 WebSocket协议因其低延迟和双向通信的能力而成为了现代Web和桌面应用程序的首选,Qt框架提供了强大的WebSocket支持,使得开发者可以轻松地集成这一技术到自己的项目中 WebSocket简介 WebSocket是一种在单个TCP连接上进行全双工通信的协议。它允许服务器主动向客户端推…...
复杂性决策-思维训练
思维训练 1.模式识别 观察、复杂、不确定、波动、模糊 –找出必要和非必要因素 –识别重大威胁和机遇 2.系统分析 为复杂情景构建系统心智模型 利用模型识别模式做出预测,指定有效策略 3.心智敏锐度 利用不同层次的分析探索挑战的能力,对其他利益相关方在…...
缓存集群技术深度解析:从原理到实战
缓存集群技术深度解析:从原理到实战 一、缓存集群核心定位与架构选型 1. 集群模式核心价值 缓存集群通过数据分片、高可用保障、水平扩展解决单节点瓶颈,核心能力包括: 数据分片:将数据分散到多个节点,突破单节点内…...
Qt C++/Go/Python 面试题(持续更新)
目录 1、封装、继承、多态是什么? 2、final标识符的作用是什么? 3、介绍一下虚函数 4、介绍一下智能指针 5、介绍一下左值、右值、左值引用、右值引用 6、指针和引用有什么区别? 7、define和const的区别是什么? 8、C程序的…...
Spring Cloud Alibaba VS Spring Cloud
Spring Cloud Alibaba 与 Spring Cloud 组件对比 服务发现与注册中心 功能Spring CloudSpring Cloud Alibaba对比说明核心组件EurekaNacosNacos 支持动态配置管理、健康检查更灵活,且提供 DNS 服务发现能力。健康检查…...
containerd 配置代理
1.systemd unit file 为 containerd 服务创建一个 systemd 插入目录 mkdir /etc/systemd/system/containerd.service.d/创建名为 /etc/systemd/system/containerd.service.d/http-proxy.conf 的文件 添加 HTTP_PROXY 环境变量 [Service] Environment"HTTP_PROXYhttp:/…...
专家系统的基本概念解析——基于《人工智能原理与方法》的深度拓展
一、什么是专家系统 (一)基本思想与定义 1. 核心思想:知识与推理的分离 迄今为止,关于专家系统还没有一个公认的严格定义,一般认为: (1)它是一个智能程序系统; &…...
什么是公链?公链项目有哪些?公链项目开发
公链技术全景解析:定义、生态与开发指南(2025年深度版) 一、公链的本质与核心特征 1.1 公链的定义 公链(Public Blockchain)是一种完全开放、无需许可的区块链网络架构,其核心特征在于去中心化、透明…...