当前位置：首页 > news >正文

Ardupilot开源无人机之Geek SDK进展2024

news 来源：原创 2025/5/7 2:26:00

Ardupilot开源无人机之Geek SDK进展202501

1. 源由
2. 状态
3. TODO
- 3.1 跟踪目标框
- 3.2 onnxruntime版本
- 3.3 CUDA 11.8版本
- 3.4 pytorch v2.5.1版本
- 3.5 Inference性能
- 3.6 特定目标集Training
4. 参考资料

1. 源由

前期搭建《Ardupilot开源无人机之Geek SDK》，主要目的是：

基于：《ArduPilot开源飞控系统 - 无人车、船、飞机等》
验证：《Ardupilot & OpenIPC & 基于WFB-NG构架分析和数据链路思考》可行性
框架：打通硬实时、软实时的控制面和数据面链路,提供一个简单、多样、高效的验证平台 jetson-fpv

2. 状态

简单示例
框架成型：jetson-fpv
支持特性：
- FPV features （FPV功能）
  - MSPOSD for ground station （OSD）
  - video-viewer （视频图像，可以达到120FPS）
  - Adaptive wireless link （链路自适应）
- Jetson video analysis （Jetson推理功能）
  - detectnet for object detection
  - segnet for segmentation
  - posenet for pose estimation
  - imagenet for image recognition
- yolo for object detection （YOLO目标检测）
- Real time video stabilizer
- DeepStream analysis （DeepStream目标跟踪分析）
  - ByteTrack
  - NvDCF tracker
硬件形态

3. TODO

优先级：
3.2 onnxruntime版本 > 3.1 跟踪目标框 > 3.5 Inference性能 > 3.6 特定目标集Training > 3.3 CUDA 11.8版本 > 3.4 pytorch v2.5.1版本

3.1 跟踪目标框

DeepStream-Yolo - How to keep the bounding boxes when interval is NOT zero? #604
NVIDIA - How to keep the bounding boxes when interval is NOT zero?

3.2 onnxruntime版本

Yolov8s no bounding box on default settings #597
NVIDIA - Build onnxruntime v1.19.2 for Jetpack 5.1.4 L4T 35.6 Faild
microsoft/onnxruntime - Build onnxruntime v1.19.2 for Jetpack 5.1.4 L4T 35.6 Faild #23267
[Build] Trying to build on a embedded device that doesn’t support BFLOAT16 #19920
mlas: fix build on ARM64 #21099
arm64: force -mcpu to be valid #21117
[Build] v1.19.2 abseil_cpp failed: 2 with JP5.1.4 gcc/g++13 #23286

3.3 CUDA 11.8版本

How to install CUDA 11.8 on Jetpack 5.1.4 L4T 35.6?
Linux 35.5 + JetPack v5.1.3@CUDA安装和版本切换

3.4 pytorch v2.5.1版本

pytorch v2.5.1 build for nvidia jetson orin nano 8GB #143624
Linux 35.6 + JetPack v5.1.4之 pytorch编译
Linux 35.6 + JetPack v5.1.4之 pytorch升级

3.5 Inference性能

DeepStream-Yolo - Anyway to boost yolo performance on Jetson Orin? #605
NVIDIA - Anyway to boost yolo performance on Jetson Orin?

A: DeepStream-Yolo - INT8 calibration (PTQ)
B: NVIDIA - NvDCF tracker plugin

3.6 特定目标集Training

TBD.

4. 参考资料

【1】Ardupilot & OpenIPC & 基于WFB-NG构架分析和数据链路思考
【2】ArduPilot开源飞控之MAVProxy深入研读系列 - 2蜂群链路
【3】Ardupilot开源飞控之FollowMe计划
【4】Ardupilot开源飞控之FollowMe验证平台搭建
【5】Ardupilot开源无人机之Geek SDK讨论
【6】OpenIPC开源FPV之工程框架
【7】OpenIPC开源FPV之重要源码启动配置
【8】wfb-ng 开源代码之Jetson Orin安装
【9】wfb-ng 开源代码之Jetson Orin问题定位
【10】Linux 35.5 + JetPack v5.1.3@CUDA安装和版本切换
【11】Linux 35.6 + JetPack v5.1.4@yolo安装
【12】Linux 35.6 + JetPack v5.1.4@python opencv安装
【13】Linux 35.6 + JetPack v5.1.4@DeepStream安装
【14】Linux 35.6 + JetPack v5.1.4之RTP实时视频Python框架
【15】Linux 35.6 + JetPack v5.1.4之 pytorch编译
【16】Linux 35.6 + JetPack v5.1.4之 pytorch升级
【17】OpenIPC开源FPV之Adaptive-Link工程解析
【18】NVIDIA DeepStream插件之Gst-nvtracker