当前位置：首页 > news >正文

Ubuntu20.04安装OpenVINO环境以及YOLOv8 C++部署测试

news 来源：原创 2025/6/30 19:58:35

深度学习

文章目录

深度学习
一、三种推理框架介绍
- 1、OpenVINO介绍
- 2、TensorRT介绍
- 3、Mediapipe介绍
二、三种框架的对比
- 1、框架自身比较
- - 2.1、从模型部署上：
  - 2.2.从支持深度学习模型上：
  - 2.3.从应用平台上:
  - 2.4.从上手的难易程度上：
- 2、应用平台比较
三、Ubuntu 安装 OpenVINO
- 3.1、创建或指定安装目录
- 3.2、下载 OpenVINO 安装包
- 3.3、安装 linux 环境依赖
- 3.4、创建软链接（非必须）
- 3.5、配置环境变量
四、YOLOv8 C++ 编译测试
- 2.1、编译安装OpenCV
- 2.2、下载 ultralytics 源码
- 2.3、修改 CMakeLists.txt
- 2.4、编译可执行文件
- 2.5、准备 OpenVINO 模型
- 2.6、detect 测试

一、三种推理框架介绍

1、OpenVINO介绍

OpenVINO是英特尔针对自家硬件平台开发的一套深度学习工具库，包含推断库，模型优化等等一系列与深度学习模型部署相关的功能。

OpenVINO™工具包是用于快速开发应用程序和解决方案的综合工具包，可解决各种任务，包括模拟人类视觉，自动语音识别，自然语言处理，推荐系统等。该工具包基于最新一代的人工神经网络，包括卷积神经网络（CNN），循环和基于注意力的网络，可在英特尔®硬件上扩展计算机视觉和非视觉工作负载，从而最大限度地提高性能。它通过从边缘到云的高性能，人工智能和深度学习推理来加速应用程序。

OpenVINO特点

在边缘启用基于CNN的深度学习推理
支持通过英特尔®Movidius™VPU在英特尔®CPU，英特尔®集成显卡，英特尔®神经计算棒2和英特尔®视觉加速器设计之间进行异构执行
通过易于使用的计算机视觉功能库和预先优化的内核加快上市时间
包括对计算机视觉标准（包括OpenCV *和OpenCL™）的优化调用
OpenVINO是一个比较成熟且仍在快速发展的推理库，提供的demo和sample都是很充足的，上手比较容易，可以用来快速部署开发，尤其是Intel的硬件平台上性能超过了大部分的开源库，毕竟是自家的亲儿子。可以这么说在x86上推断能力没有什么框架可以与之媲美。

OpenVINO对各类图形图像处理算法进行了针对性的优化，从而扩展了Intel的各类算力硬件以及相关加快器的应用空间，实现了AI范畴的异构较量，使传统平台的视觉推理能力获得了很大水平的提高。OpenVINO实现了一套通用的API，能够夹杂挪用CPU、GPU、Movidius NCS和FGPA的算力来配合完成一次视觉推理，预先实现了一系列的功能库、OpenCL kernel等，能够缩短产品面世时间。
在这里插入图片描述

基于OpenVINO，应用在新零售、教育、智能交通、智慧金融、智慧城市、智能工场以及无人驾驶等范畴，OpenVINO已经在国内外顶尖客户的方案中显现出强大的优势。

2、TensorRT介绍

TensorRT是一个高性能的深度学习推理优化器，可以为深度学习应用提供低延迟，高吞吐率的部署推理。TensorRT可用于对超大规模数据中心，嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow，Caffe，Mxnet，Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。
在这里插入图片描述

3、Mediapipe介绍

MediaPipe是个基于图形的跨平台框架，用于构建多模式应用的机器学习管道。

MediaPipe可在移动设备，工作站和服务器上跨平台运行，并支持移动GPU加速。使用MediaPipe，可以将应用的机器学习管道构建为模块化组件的图形。

MediaPipe专为机器学习从业者而设计包括研究人员，学生，和软件开发人员，他们实施生产就绪的ML应用程序，发布伴随研究工作的代码，以及构建技术原型。MediaPipe的主要用例上使用推理模型和其他可重用组件对应用机器学习管道进行快速原型设计。MediaPipe还有助于机器学习技术部署到各种不用硬件平台上的演示和应用程序中。
在这里插入图片描述

二、三种框架的对比

1、框架自身比较

2.1、从模型部署上：

OpenVINO模型部署分为两个部分：模型优化器和推理引擎。

模型优化器将训练好的模型转换为推理引擎可以识别的中间表达–IR文件，并在转换过程中对模型进行优化。推理引擎接受经过模型优化器转换并优化的网络模型，为Intel的各种计算设备提供高性能的神经网络推理运算。

TensorRT也是两个部分：build和deployment 。

build：这个阶段主要完成模型转换，将不同框架的模型转换到TensorRT。模型转换时会完成前述优化过程中的层间融合，精度校准。这一步的输出是一个针对特定GPU平台和网络模型的优化过的TensorRT模型，这个TensorRT模型可以序列化存储到磁盘或内存中。存储到磁盘中的文件称之为 plan file。deployment主要完成推理过程。将上面一个步骤中的plan文件首先反序列化，并创建一个 runtime engine，然后就可以输入数据（比如测试集或数据集之外的图片），然后输出分类向量结果或检测结果。

2.2.从支持深度学习模型上：

在这里插入图片描述

2.3.从应用平台上:

在这里插入图片描述

2.4.从上手的难易程度上：

在这里插入图片描述
TensorRT只能在GPU设备上运行。如果仅作为学习就需要一台不错的电脑，而要部署到硬件上，更是需要额外购买Jetson设备，因为Jetson仅是一块开发板，彩色摄像头，双目摄像头都需要自己购买安装，还要学习Jetson的开发。学习时间学习成本非常高。

Mediapipe仅支持TensorFlow ML框架。对于学习其他深度学习框架的小伙伴来说是非常不友好的。Mediapipe提供的预训练模型也是非常少的，不能给小伙伴们学习提供太多的帮助。

2、应用平台比较

好马还需配好鞍。软件层面上的对比我们已经看到，现在让我们来看看它们各自部署到的硬件平台。

OpenVINO用于OpenCV AI Kit（OAK）
OpenCV的首款开源软硬一体智能深度相机OAK，也叫DepthAI，是嵌入式空间AI平台，可帮助你构建具有真正实时3D对象定位和跟踪的产品。OAK相机减轻了AI深度视觉等工作的负担，直接从内置摄像头进行处理，使你的主机有能力处理特定位于应用程序的数据。最棒的是它是模块化的并获得MIT许可的开源设备。可以将这些Spatial AI/CV的超级功能添加到实际的商业产品中。

OAK-D系列的产品自身带有一颗4K/60fps的彩色摄像头和双目摄像头，搭载Intel MyriadX VPU芯片，算力是树莓派4B的40倍，却只有2.5W的功耗。可以应用于人脸识别，车辆识别，社交距离探测，避障等场景。
在这里插入图片描述
TensorRT用于Jetson Nano
Jetson Nano是NVIDIA推出的人工智能计算机。Jetson Nano支持高分辨率传感器，可以并行处理多个传感器，并且可在每个传感器流上运行多个神经网络。它还支持许多常见的人工智能框架，让开发人员轻松地将自己偏爱的模型及框架集成到产品中。
在这里插入图片描述
MediaPipe用于Coral Dev Board
Coral Dev Board是Google推出的单板计算机，Coral Dev Board TPU可快速构建原型，涵盖物联网（IOT）和需要快速设备上ML推理的通用嵌入式系统。然后，用户可以使用SOM结合使用板对板连接器的自定义底板，快速从原型过渡到生产。
在这里插入图片描述

三者优缺点总结

在这里插入图片描述
总结

在Coral，OAK，Jetson Nano之间让你做出选择的主要理由可能是：

最快：Egde TPU
深度感知+AI：OAK
最灵活：Jetson Nano
不过，你要为Jetson Nano的灵活性付出金钱的代价。。。它是最昂贵的，最慢且功耗最高。

而OAK价格最低，功耗最低，速度第二快，同时允许直接从图像传感器获得大量专用的计算机视觉功能。

Edge TPU是最快的，但是相对于Jetson Nano和OAK（Myriad）而言，缺点是，数据路径（视频）必须流经主CPU，并被压缩为Edge的正确格式TPU芯片需要，然后从芯片外进入神经处理（Edge TPU芯片本身），因此功率/热量大大超过了需要，并且CPU承担了这项工作。

OAK和Jetson Nano都在这里占有优势。在OAK上，MIPI摄像机直接连接到具有直接访问神经处理的内存的成像管道，并且还连接了视差深度，哈里斯滤波，运动估计等计算机视觉硬件模块，因此非常高效。同样，Jetson Nano在CPU和GPU之间具有有效的共享内存设置，因此直接从图像传感器获取图像数据并进行神经推理是资源高效的。而且，尽管没有专用的硬件模块，但GPU在这项工作上也相当出色。这是Edge TPU的唯一真正缺点，但是它仍然具有很多优势，例如与Google的所有机器学习工具，模型等紧密集成在一起，这些都是业界领先的。

三、Ubuntu 安装 OpenVINO

3.1、创建或指定安装目录

建立一个 /opt/intel 目录用于安装，也可以指定其他目录

sudo mkdir /opt/intel

3.2、下载 OpenVINO 安装包

通过以下命令下载并解压 x86_64 平台的安装包

curl -L https://storage.openvinotoolkit.org/repositories/openvino/packages/2025.0/linux/openvino_toolkit_ubuntu22_2025.0.0.17942.1f68be9f594_x86_64.tgz --output openvino_2025.0.0.tgz
tar -xf openvino_2025.0.0.tgz
sudo mv openvino_toolkit_ubuntu22_2025.0.0.17942.1f68be9f594_x86_64 /opt/intel/openvino_2025.0.0

也可从 openvino-linux 手动下载并解压。

3.3、安装 linux 环境依赖

cd /opt/intel/openvino_2025.0.0
sudo -E ./install_dependencies/install_openvino_dependencies.sh

3.4、创建软链接（非必须）

为了方便，可以通过以下命令创建一个软链接，但不是必须的

cd /opt/intelsudo ln -s openvino_2025.0.0 openvino_2025

3.5、配置环境变量

source /opt/intel/openvino_2025/setupvars.sh

以上命令只在当前终端有效，当每打开一个新终端时，需要重新执行一遍。
如果需要配置永久有效，可将上述命令添加到 ~/.bashrc 文件的最后一行，如果系统中有多个版本的openvino，不推荐这样做。

四、YOLOv8 C++ 编译测试

2.1、编译安装OpenCV

参考 ubuntu18.04 编译安装opencv3.4.8

2.2、下载 ultralytics 源码

从 ultralytics 下载源码，并解压，文件目录如下

在这里插入图片描述

2.3、修改 CMakeLists.txt

修改 ultralytics-8.3.72/examples/YOLOv8-OpenVINO-CPP-Inference 目录中的 CMakeLists.txt 文件，将其中的 openvino 目录改为本机安装的目录，如
在这里插入图片描述

2.4、编译可执行文件

通过以下命令编译 detect 可执行文件

cd ultralytics-8.3.72/examples/YOLOv8-OpenVINO-CPP-Inference
mkdir build
cd build
cmake ..
make

执行成功后，将在build目录生成detect可执行文件

在这里插入图片描述

2.5、准备 OpenVINO 模型

在 ultralytics 环境中通过以下命令导出 openvino 模型

yolo export model=yolov8n.pt imgsz=640 format=openvino

执行成功后，将生成 yolov8n_openvino_model 目录，里面是转换成功的openvino模型
在这里插入图片描述

2.6、detect 测试

将上述转换成功的 yolov8n_openvino_model 目录复制到可执行文件所在的 build 目录，同时准备一张测试图片，执行以下命令

./detect yolov8n_openvino_model/yolov8n.xml safehat.jpg

执行该命令时发生 GLIBCXX_3.4.30 找不到的错误

./detect: /home/csp/anaconda3/lib/libstdc++.so.6: version `GLIBCXX_3.4.30' not found (required by /opt/intel/openvino_2025.0.0/runtime/lib/intel64/libopenvino.so.2500)

解决方法是通过以下命令将 libstdc++.so.6 所在目录加入到环境变量中

# 查找 libstdc++.so.6 所在目录
find /usr -name "libstdc++.so.6"
# 输出 /usr/lib/x86_64-linux-gnu/libstdc++.so.6# 将目录添加到环境变量
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH# 查看环境变量
echo $LD_LIBRARY_PATH# 输出以下内容，说明添加成功
# /usr/lib/x86_64-linux-gnu:/opt/intel/openvino_2025.0.0/runtime/3rdparty/tbb/lib:/opt/intel/openvino_2025.0.0/runtime/lib/intel64

继续执行 detect 命令，报以下错误

在这里插入图片描述

原因是程序中需要将识别的结果图片显示出来，但终端没有安装图形界面，导致报错，解决办法是修改源代码重新编译执行，或者在 MobaXterm 终端中执行，可以正常显示，如
在这里插入图片描述
至此，说明openvino安装成功，且 yolov8 c++ 目标检测示例能够成功编译和执行。

主要参考以下官方文档

Install OpenVINO
YOLOv8-OpenVINO-CPP-Inference

深度学习

文章目录

一、三种推理框架介绍

1、OpenVINO介绍

2、TensorRT介绍

3、Mediapipe介绍

二、三种框架的对比

1、框架自身比较

2.1、从模型部署上：

2.2.从支持深度学习模型上：

2.3.从应用平台上:

2.4.从上手的难易程度上：

2、应用平台比较

三、Ubuntu 安装 OpenVINO

3.1、创建或指定安装目录

3.2、下载 OpenVINO 安装包

3.3、安装 linux 环境依赖

3.4、创建软链接（非必须）

3.5、配置环境变量

四、YOLOv8 C++ 编译测试

2.1、编译安装OpenCV

2.2、下载 ultralytics 源码

2.3、修改 CMakeLists.txt

2.4、编译可执行文件

2.5、准备 OpenVINO 模型

2.6、detect 测试

相关文章：