当前位置：首页 > news >正文

单目测距和双目测距 bev 3D车道线

news 来源：原创 2025/7/28 14:20:49

单目视觉测距原理

单目视觉测距有两种方式。

第一种，是通过深度神经网络来预测深度，这需要大量的训练数据。训练后的单目视觉摄像头可以认识道路上最典型的参与者——人、汽车、卡车、摩托车，或是其他障碍物（雪糕桶之类），然后对识别到的物体进行距离估计。

第二种，是结合车辆的运动信息，用时序上的相邻帧进行“类双目视觉“的检测，这种方法也被称为motion stereo或structure from motion。

单目摄像头的算法思路是先识别后测距：首先通过图像识别，然后根据图像大小和高度进一步估算障碍物与本车距离。

单目深度估计

双目测距

双目摄像头的算法思路是先测距后识别：首先利用视差直接测量物体与车的距离，然后在识别阶段，双目仍然要利用单目一样利用深度学习算法，进一步识别障碍物到底是什么。

根据双目视觉的测距原理，通常将其实现过程分为五个步骤：相机标定，图像获取，图像预处理，特征提取与立体匹配，三维重构。其中，相机标定是为了得到相机的内外参数和畸变系数等，可以离线进行；而左右相机图像获取的同步性，图像预处理的质量和一致性，以及立体匹配（获取视差信息）和三维重构（获取距离信息）算法的实时性要求带来的巨大运算量，对在嵌入式平台上实现双目视觉ADAS提出了挑战。

与单目视觉相比，双目视觉测距精度较高。

双目相机需要同步。

立体匹配计算量大。

受光影响大：在大雨天气或者前方强光源的情况下，前视摄像头有可能看不清车道线，环视摄像头斜向下看车道线且可以提供多个角度，基本不会受到地面积水反光的影响，功能可以比前视做得更稳定。但同时也要考虑侧向无车灯照射时，摄像头的夜间表现。

左右镜头的光照不同，环境光照过强过弱，不均匀等。

相机间距越小，检测距离越近；相机间距越大，检测距离越远。

遮挡、弱纹理和重复纹理区域、深度不连续区域难以获取高精度和高鲁棒的视差信息，自动标定算法不成熟。

首先，和单目视觉相比双目视觉的成本会更高（无论是多一个摄像头，还是对计算深度图算力的要求），但实话实说还是在可接受的范围内，毕竟和激光雷达比都是小钱，也不需要为单目视觉庞大的训练集买单。

其次，双目视觉本身对于目标的纹理是有要求的，既不能太简单，也不能太复杂。一堵大白墙对于双目视觉来说识别是有风险的，而激光雷达等传感器则可以很好地进行检测。但话说回来，真实场景中也不太可能有一堵大白墙横在路中间，再看看激光雷达的价格，哎，算了吧。

再次，双目视觉对于远距离物体探测的精度是弱于激光雷达的。双目深度的误差是与距离的平方成正比的，而激光雷达的精度基本上和距离无关。

双目立体匹配

PatchMatch SGBM SGM AD-census

【论文阅读】（2023 奥比中光综述）双目立体视觉研究进展与应用 - 仓颉ZL - 博客园

单目深度估计

zeroDepth 2023

depth-any

单目3D mono

smoke

MonoDLE

CenterNet

Lite-FPN for keypoint-based Monocular 3D object detect

https://www.zhihu.com/question/516518724/answer/3060443825?utm_id=0

qd-3dt

Complex YOLO

https://zhuanlan.zhihu.com/p/483833539?utm_id=0

MonoDLE

【论文解读】单目3D目标检测 MonoDLE（CVPR2021）-CSDN博客

MonoFlex 2021

【论文解读】单目3D目标检测 MonoFlex（CVPR 2021）-CSDN博客

【单目3D目标检测】MonoFlex论文精读与代码解析-CSDN博客

MonoCD 2024

https://zhuanlan.zhihu.com/p/691322485

朝向预测运动轨迹

添加时序的模型比较大

对深度信息的恢复是对3D目标检测最关键的任务

当前case与深度估计所依赖的假设相冲突，所深度估计结果会产生严重的退化。

对一个目标使用多种方法（依赖不同的假设）产生多种深度估计。

MonoDLE

单目3D目标检测——MonoDLE 模型训练 | 模型推理-CSDN博客

使用预训练权重推理

首先下载预训练权重：

https://drive.google.com/file/d/1jaGdvu_XFn5woX0eJ5I2R6wIcBLVMJV6/view

下载好的权重名称为：checkpoint_epoch_140.pth，新建一个文件夹monocon-pytorch-main/checkpoints/，存放权重

然后修改配置文件experiments/example/kitti_example.yaml

tester:

type: *dataset_type

mode: single # 'single' or 'all'

checkpoint: '../../checkpoints/checkpoint_epoch_140.pth' # for 'single' mode

checkpoints_dir: '../../checkpoints' # for 'all' model

threshold: 0.2 # confidence filter

python ../../tools/train_val.py --config kitti_example.yaml --e

推理完成后，结果存放在experiments/example/outputs/data

生成的结果，和kitii标签格式是一致的。

先将kitti 原始数据testing中label_2备份，将新生成的标签experiments/example/outputs/data复制到kitti 原始数据testing中label_2中，然后可视化。

单目3D检测入门！从图像角度分析3D目标检测场景：MonoDLE-CSDN博客

【论文解读】单目3D目标检测 MonoDLE（CVPR2021）-CSDN博客

https://zhuanlan.zhihu.com/p/452886061

查看工业界 https://www.zhihu.com/question/516518724/answer/3381421318

3D车道线

bev感知算法

Depth-anything v2 深度估计

BEVDepth首次将纯视觉与激光雷达的差距缩到10%以内

单目视觉测距原理

双目测距

双目立体匹配

单目深度估计

单目3D mono

MonoDLE

3D车道线

bev感知算法

相关文章：