自动驾驶数据集三剑客:nuScenes、nuImages 与 nuPlan 的技术矩阵与生态协同
目录
1、引言
2、主要内容
2.1、定位对比:感知与规划的全维覆盖
2.2、数据与技术特性对比
2.3、技术协同:构建全栈研发生态
2.4、应用场景与评估体系
2.5、总结与展望
3、参考文献
1、引言
- 随着自动驾驶技术向全栈化迈进,Motional 团队构建了涵盖 3D感知、2D检测 及 规划决策 的数据集矩阵,为自动驾驶系统提供了从环境感知到行为决策的全链路支持。
- nuScenes:多模态 3D 感知的行业标杆
- nuImages:大规模 2D 图像标注与时空信息拓展
- nuPlan:闭环验证下的长时规划与决策测试平台
三者相辅相成,形成了从单帧理解到长期决策的技术闭环,加速了自动驾驶算法的研发与落地。
2、主要内容
2.1、定位对比:感知与规划的全维覆盖
-
nuScenes – 3D 感知标杆
- 核心任务:在复杂场景中实现多模态(激光雷达、摄像头、雷达融合)的 3D 检测与语义分割
- 数据特点:精选 1000 个场景,提供 23 类物体的 3D 边界框以及点云语义标注
-
nuImages – 2D 视觉的时空扩展
- 核心任务:构建大规模 2D 图像实例分割与视频理解数据集,重点覆盖长尾场景
- 数据特点:
- 93,000 张关键帧图像(涵盖雨雪、夜间等复杂天气条件)
- 超过 80 万实例分割标注及 10 万张语义分割(可行驶区域)
- 每个场景配有前后 13 帧的时序图像(2Hz 采样),支持动态目标分析
-
nuPlan – 规划决策的闭环测试平台
- 核心任务:实现长时轨迹预测与复杂交互决策的闭环验证
- 数据特点:覆盖 1200 小时真实驾驶数据,标注包括四城交通信号及各类挑战性场景,为规划与决策算法提供丰富素材
- 项目地址:GitHub - motional/nuplan-devkit: The devkit of the nuPlan dataset.
2.2、数据与技术特性对比
维度 | nuScenes | nuImages | nuPlan |
---|---|---|---|
数据规模 | 1000 场景(约 15 小时) | 93K 张图像(覆盖 500+ 日志) | 1200 小时驾驶数据 |
传感器配置 | 6 路摄像头、1 台激光雷达、5 路雷达、IMU/GPS | 6 路摄像头(支持时序图像采集) | 8 路摄像头、5 台激光雷达、IMU/GPS |
标注重点 | 3D 边界框、点云语义 | 2D 实例/语义分割及属性标注 | 驾驶轨迹、地图语义、交通灯状态 |
场景特性 | 高密度交通场景(每场景 20 秒左右) | 主动筛选长尾场景(雨雪、夜间等复杂条件) | 自然驾驶场景(涵盖常规与极端情况) |
地理覆盖 | 波士顿、新加坡 | 波士顿、新加坡(附带扩展日志) | 波士顿、匹兹堡、拉斯维加斯、新加坡 |
2.3、技术协同:构建全栈研发生态
-
感知层互补
- 2D-3D 融合预训练:利用 nuImages 丰富的实例分割标注,提升 nuScenes 3D 检测模型的泛化能力
- 时序信息融合:nuImages 提供的 13 帧时序数据有助于构建视频目标检测算法,与 nuScenes 的 2Hz 标注形成优势互补
-
规划层赋能
- 场景泛化素材:nuImages 中覆盖的长尾场景(如夜间行人)可为 nuPlan 提供极端情况测试数据
- 仿真环境输入:通过 nuImages 语义分割结果,构建更真实的仿真场景,提升 nuPlan 中规划算法的鲁棒性
-
工具链整合
- 统一数据格式:三大数据集采用相似的关系型数据库结构,有效降低多任务协同开发的门槛
- 可视化协同:结合 nuScenes 的 WebGL 查看器与 nuPlan 的 nuBoard,实现 2D/3D 数据的联动分析
2.4、应用场景与评估体系
-
nuScenes – 3D 感知核心验证平台
- 主要任务:
- 多模态 3D 目标检测(车辆、行人等)
- 点云语义分割(涵盖 32 类标签)
- 评估指标:mAP(3D 检测)、IoU(分割)、AMOTA(跟踪)
- 主要任务:
-
nuImages – 2D 视觉长尾挑战库
- 主要任务:
- 实例分割(23 类前景目标及可行驶区域)
- 视频目标检测(注重时序一致性)
- 属性识别(如行人姿态、车辆状态)
- 评估指标:COCO 风格 AP(实例分割)、VPQ(视频全景质量)
- 主要任务:
-
nuPlan – 规划决策闭环考场
- 主要任务:
- 无保护左转决策测试
- 密集车流中的切入与交互决策
- 评估体系:碰撞率、乘坐舒适性(加速度/抖动)、规则遵守率等
- 主要任务:
2.5、总结与展望
nuScenes、nuImages 与 nuPlan 构成的“感知-检测-规划”数据三角,为自动驾驶技术研发提供了从环境理解到行为决策的全链路支持。未来的发展方向可能包括:
- 跨模态预训练:通过整合 nuImages 2D 标注,进一步增强 nuScenes 3D 模型的泛化与鲁棒性
- 端到端仿真:借助 nuPlan 的规划场景和 nuImages 的时序数据,实现虚实融合的闭环训练环境
- 开源社区共建:推动三大数据集在开发工具、数据格式及可视化分析方面的深度互通,促进行业生态协同发展
这一数据集矩阵将持续推动自动驾驶系统在复杂场景下的稳定性和泛化能力,为全行业的技术落地提供有力支撑。
3、参考文献
- nuScenes: A multimodal dataset for autonomous driving (CVPR 2020)
- nuImages: A Multimodal Dataset for Robust Scene Understanding (ECCV 2022)
- nuPlan: A closed-loop ML-based planning benchmark (NeurIPS 2021 Workshop)
- nuPlan数据集介绍与快速入门 - 深蓝学院 - 专注人工智能与自动驾驶的学习平台
- nuPlan新SOTA!清华提出Diffusion Planner:扩散模型重塑自动驾驶路径规划(ICLR'25)
相关文章:
自动驾驶数据集三剑客:nuScenes、nuImages 与 nuPlan 的技术矩阵与生态协同
目录 1、引言 2、主要内容 2.1、定位对比:感知与规划的全维覆盖 2.2、数据与技术特性对比 2.3、技术协同:构建全栈研发生态 2.4、应用场景与评估体系 2.5、总结与展望 3、参考文献 1、引言 随着自动驾驶技术向全栈化迈进,Motional 团…...
02.07 TCP服务器与客户端的搭建
一.思维导图 二.使用动态协议包实现服务器与客户端 1. 协议包的结构定义 首先,是协议包的结构定义。在两段代码中,pack_t结构体都被用来表示协议包: typedef struct Pack {int size; // 记录整个协议包的实际大小enum Type type; …...
基于机器学习时序库pmdarima实现时序预测
目录 一、Pmdarima实现单变量序列预测1.1 核心功能与特性1.2 技术优势对比1.3 python案例1.3.1 时间序列交叉验证1.3.1.1 滚动交叉验证1.3.1.2 滑窗交叉验证 时间序列相关参考文章: 时间序列预测算法—ARIMA 基于VARMAX模型的多变量时序数据预测 基于机器学习时序库…...
计算机视觉的研究方向、发展历程、发展前景介绍
以下将分别从图像分类、目标检测、语义分割、图像分割(此处应主要指实例分割)四个方面,为你介绍研究生人工智能计算机视觉领域的应用方向、发展历程以及发展前景。 文章目录 1.图像分类应用方向发展历程发展前景 2.目标检测应用方向发展历程…...
NLP_[2]-认识文本预处理
文章目录 1 认识文本预处理1 文本预处理及其作用2. 文本预处理中包含的主要环节2.1 文本处理的基本方法2.2 文本张量表示方法2.3 文本语料的数据分析2.4 文本特征处理2.5数据增强方法2.6 重要说明 2 文本处理的基本方法1. 什么是分词2 什么是命名实体识别3 什么是词性标注 1 认…...
单硬盘槽笔记本更换硬盘
背景 本人的笔记本电脑只有一个硬盘槽,而且没有M.2的硬盘盒,只有一个移动硬盘 旧硬盘:512G 新硬盘:1T 移动硬盘:512G 参考链接:https://www.bilibili.com/video/BV1iP41187SW/?spm_id_from333.1007.t…...
在stm32mp257的yocto中设置用户名和密码
在STM32MP257的Yocto环境中设置用户名和密码,通常需要修改根文件系统的用户配置。以下是详细步骤: 1. 设置root密码 默认情况下,root账户可能无密码或使用默认密码。通过以下方法修改: 方法1:在local.conf中直接设置 # 打开Yocto工程的配置文件 vi conf/local.conf# 添…...
力扣--链表
相交链表 法一: 把A链表的节点都存HashSet里,遍历B链表找相同的节点 法二: 把A、B指针都移到末尾,再同时往回走,每次往回走都比较 当前节点的下一节点(a.next b.next ?)是否相同,当不相同…...
【redis】数据类型之hash
Redis中的Hash数据类型是一种用于存储键值对集合的数据结构。与Redis的String类型不同,Hash类型允许你将多个字段(field)和值(value)存储在一个单独的key下,从而避免了将多个相关数据存储为多个独立的key。…...
多路文件IO
一、思维导图...
计算机网络面经
文章目录 基础HTTPHTTP报文结构 (注意)RPC和http的区别TCPTCP报文结构(注意)IP基础 HTTP HTTP报文结构 (注意) 请求行:请求方法get/post,url,http版本 请求头:用户标识,请求体长度,类型,cookie 请求体:内容 状态行:状态码,状态消息、(http版本) 响应头:内…...
非递减子序列(力扣491)
这道题的难点依旧是去重,但是与之前做过的子集类问题的区别就是,这里是求子序列,意味着我们不能先给数组中的元素排序。因为子序列中的元素的相对位置跟原数组中的相对位置是一样的,如果我们改变数组中元素的顺序,子序…...
00_Machine Vision_基础介绍
基础概念 由于计算机只能处理离散的数据,所以需要将连续的图片转化为离散的数据。主要包含:空间离散以及灰度值离散 空间离散:将图片的像素点离散化,即将图片的像素点转化为一个个的小方块,即为图片的分辨率。分辨率…...
排错 -- 用React.js,Solidity,智能合约构建最新区块链应用
真枪实弹:第一个Web3项目【上集】用React.js,Solidity,智能合约构建最新区块链应用详细教程 构建web跟随b站教程中遇到了很多错误,从今天开始构建完整的应用,在此记录一些排错。 问题情况1:跟随视频后无Src文件 问题情况1解决方法࿱…...
【WB 深度学习实验管理】利用 Hugging Face 实现高效的自然语言处理实验跟踪与可视化
本文使用到的 Jupyter Notebook 可在GitHub仓库002文件夹找到,别忘了给仓库点个小心心~~~ https://github.com/LFF8888/FF-Studio-Resources 在自然语言处理领域,使用Hugging Face的Transformers库进行模型训练已经成为主流。然而,随着模型复…...
ximalaya(三) playUriList值解密--webpack
本文主要介绍解密音频播放url参数。 本文仅代表个人理解,如有其他建议可在评论区沟通。 声明 仅仅记录一下自己的学习方法,不作为其他参考、更不作为商业用途。如有侵犯请联系本人删除 目标地址:aHR0cHM6Ly93d3cueGltYWxheWEuY29tL3NvdW5k…...
ES6 Map 数据结构是用总结
1. Map 基本概念 Map 是 ES6 提供的新的数据结构,它类似于对象,但是"键"的范围不限于字符串,各种类型的值(包括对象)都可以当作键。Map 也可以跟踪键值对的原始插入顺序。 1.1 基本用法 // 创建一个空Map…...
使用Redis实现业务信息缓存(缓存详解,缓存更新策略,缓存三大问题)-更新中
一、什么是缓存? 缓存是一种高效的数据存储方式,它通过将数据保存在内存中来提供快速的读写访问。这种机制特别适用于需要高速数据访问的应用场景,如网站、应用程序和服务。在处理大量数据和高并发请求时, 缓存能显著提高性能和用…...
Windows 系统下使用 Ollama 离线部署 DeepSeek - R1 模型指南
引言 随着人工智能技术的飞速发展,各类大语言模型层出不穷。DeepSeek - R1 凭借其出色的语言理解和生成能力,受到了广泛关注。而 Ollama 作为一款便捷的模型管理和部署工具,能够帮助我们轻松地在本地环境中部署和使用模型。本文将详细介绍如…...
1.2 变革里程碑:Transformer 的崛起
变革里程碑:Transformer 的崛起 一、架构革命的核心驱动力 #mermaid-svg-hsXnwHI0wO2qZaqb {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#000000;}#mermaid-svg-hsXnwHI0wO2qZaqb .error-icon{fill:#552222;}#mermaid-sv…...
SpringBoot速成(八)登录实战:未登录不能访问 P5-P8
1.登录 package com.itheima.springbootconfigfile.controller;import com.itheima.springbootconfigfile.pojo.Result; import com.itheima.springbootconfigfile.pojo.User; import com.itheima.springbootconfigfile.service.UserService;import com.itheima.springbootco…...
[Unity角色控制专题] 详细说明如何使用Character Controller配合脚本实现类似MC的第一人称控制(仅移动与视角摇晃)
关于角色控制器的基本用法我就不做介绍了,请自行查看相关文档: Unity - Manual: Character Controller component reference 本文用到了三角函数和插值函数,非常简单,如有疑问请查询以下文章: Unity中的数学 之 Mathf_uni…...
2025_2_9 C语言中队列
1.队列(先进先出) 队列也是一种受限制的线性结构 它只能在一端添加元素,在另一端访问,删除元素 (队首插入,队尾删除) 因为链表实现没有数组实现快,所以队列大多数是用数组实现的 q…...
(原创,可用)SSH实现内外网安全穿透(安全不怕防火墙)
目前有A、B终端和一台服务器,A、B机器不能直接访问,服务器不能直接访问A、B终端但是A、B终端可以访问服务器,这个场景很像我们有一台电脑在单位内网,外机器想访问内网系统,可能大家目前想到的就是frp之类穿透工具&…...
mysql安装starting the server报错
win10家庭版无法启动服务的,先不要退出,返回上一栏,然后通过电脑搜索栏输入服务两个字,在里面找到mysql80,右键属性-登录,登录身份切换为本地系统就行了...
设计高效的测试用例:从需求到验证
在现代软件开发过程中,测试用例的设计一直是质量保证(QA)环节的核心。有效的测试用例不仅能够帮助发现潜在缺陷,提升软件质量,还能降低后期修复成本,提高开发效率。尽管如此,如何从需求出发&…...
【阅读笔记】信息熵自动曝光An Automatic Exposure Algorithm Based on Information Entropy
一、算法背景 信息熵作为衡量图像信息量的重要指标,能够反映图像的细节丰富程度。通过基于信息熵的自动曝光算法,可以自动调整曝光时间,使图像包含更多信息,从而提高图像质量。 灰度直方图在各个灰度值上分布越均匀,…...
Dockerfile 文件详解
在平常的开发工作中,我们经常需要部署项目,一个项目开发完成后,使用 Docker 方式部署,那么首先得构造镜像,构造镜像最主要的就是 Dockerfile 文件的编写,今天简单来总结下 Dockerfile 文件的编写以及有哪些…...
模型压缩 --学习记录2
模型压缩 --学习记录2 如何找到更好的权衡方式(模型量化)方法一:寻找更好的 range方法二:寻找更好的 X-fp32(浮点数)方法三:寻找更好的 scale 和 zp方法四:寻找更好的 roundPTQ 后训练量化(离线量化)QAT 量化感知训练(在线量化)量化为什么会带来加速?三、模型稀疏技…...
JVM常见命令
引言 掌握JVM是属于Java程序员的必修课,对线程的掌控,对内存的把控,所以了解JVM常见命令可以帮助我们快速了解虚拟机的详细数据 命令 1. java 这是最基础的命令,用于启动一个 Java 应用程序。 java -cp /path/to/your/class…...
ASP.NET Core托管服务
目录 托管服务的异常问题 托管服务中使用DI 托管服务案例:数据的定时导出 场景,代码运行在后台。比如服务器启动的时候在后台预先加载数据到缓存,每天凌晨3点把数据导出到备份数据库,每隔5秒钟在两张表之间同步一次数据。托管服…...
模型压缩中的四大核心技术 —— 量化、剪枝、知识蒸馏和二值化
一、量化 (Quantization) 量化的目标在于将原始以 32 位浮点数表示的模型参数和中间激活,转换为低精度(如 FP16、INT8、甚至更低位宽)的数值表示,从而在减少模型存储占用和内存带宽的同时,加速推理运算,特别适用于移动、嵌入式和边缘计算场景。 1.1 概念与目标 基本思想…...
C++:类和对象初识
C:类和对象初识 前言类的引入与定义引入定义类的两种定义方法1. 声明和定义全部放在类体中2. 声明和定义分离式 类的成员变量命名规则 类的访问限定符及封装访问限定符封装 类的作用域与实例化类的作用域类实例化实例化方式: 类对象模型类对象的大小存储…...
01-SDRAM控制器的设计——案例总概述
本教程重点▷▷▷ 存储器简介。 介绍 SDRAM 的工作原理。 详细讲解SDRAM 控制的Verilog 实现方法。 PLL IP和FIFO IP 的调用,计数器设计,按键边沿捕获,数码管控制。 完成SDRAM控制器应用的完整案例。 Signal Tap 调试方法。 准备工作▷…...
笔记:蓝桥杯python搜索(3-2)——DFS剪支和记忆化搜索
目录 一、DFS剪支 二、例题 P2942 数字王国之军训军队 P3075 特殊的多边形 三、记忆化搜索 四、例题 例题 P3820 混境之地 P216 地宫取宝 一、DFS剪支 在搜索过程中,如果需要完全遍历所有情况可能需要很多时间在搜索到某种状态时,根据当前状态判断…...
处理数据及其选择关键列进行一次聚类
1. 数据加载与初步处理 # 文件路径 file_path ../data/all_database_result.csv# 读取CSV文件到DataFrame df pd.read_csv(file_path)# 选择特定的特征列 selected_features [Q10, Q12, Q13, Q14]# 缺失值处理:这里简单地删除含有任何缺失值的行 df.dropna(subse…...
Qt 支持的动画格式对比,Lottie/APNG/GIF/WEBP
Qt版本:6.7.2 , QML 一,Lottie 在qml中使用LottieAnimation即可,但有三个问题: 1.动画加载中报错: 如果图片(.json)本身存在不支持的effect 或shape type等,效果并不好:…...
FaceFusion如何设置公开链接和端口
有时候我们想在局域网内的其他设备上使用 FaceFusion,这时候需要设置公开链接和端口。 当你运行 FaceFusion 的时候,会发现有这样的一段提示: To create a public link, set shareTrue in launch().但是这个提示是错的,如果你查…...
【安当产品应用案例100集】037-强化OpenVPN安全防线的卓越之选——安当ASP身份认证系统
在当前数字化时代,网络安全已成为企业发展的重要组成部分。对于使用OpenVPN的企业而言,确保远程访问的安全性尤为重要。安当ASP身份认证系统凭借其强大的功能和便捷的集成方式,为OpenVPN的二次登录认证提供了理想的解决方案,特别是…...
RK3568实战项目(六)--开发工具介绍
目录 一、引言 二、开发工具 ------>2.1、trust_merger ------>2.2、boot_merger ------>2.3、loaderimage ------>2.4、resource_tool ------>2.5、mkimage ------>2.6、mkbootimg ------>2.7、unpack_bootimg ------>2.8、repack-bootimg …...
01.02、判定是否互为字符重排
01.02、[简单] 判定是否互为字符重排 1、题目描述 给定两个由小写字母组成的字符串 s1 和 s2,请编写一个程序,确定其中一个字符串的字符重新排列后,能否变成另一个字符串。 在这道题中,我们的任务是判断两个字符串 s1 和 s2 是…...
尝试一下,交互式的三维计算python库,py3d
py3d是一个我开发的三维计算python库,目前不定期在PYPI上发版,可以通过pip直接安装 pip install py3d 开发这个库主要可视化是想把自己在工作中常用的三维方法汇总积累下来,不必每次重新造轮子。其实现成的python库也有很多,例如…...
DeepSeek-R1模型的数学原理(说人话)
文章目录 1、什么是GRPO2、数学原理3、比喻4、流程总结 🍃作者介绍:双非本科大四网络工程专业在读,阿里云专家博主,前三年专注于Java领域学习,擅长web应用开发,目前已转行人工智能领域。 🦅个人…...
安宝特方案 | AR助力制造业安全巡检智能化革命!
引言: 在制造业中,传统巡检常面临流程繁琐、质量波动、数据难以追溯等问题。安宝特AR工作流程标准化解决方案,通过增强现实AR技术,重塑制造业安全巡检模式,以标准化作业流程为核心,全面提升效率、质量与…...
DeepSeek和ChatGPT的对比
最近DeepSeek大放异彩,两者之间有什么差异呢?根据了解到的信息,简单做了一个对比。 DeepSeek 和 ChatGPT 是两种不同的自然语言处理(NLP)模型架构,尽管它们都基于 Transformer 架构,但在设计目标…...
AJAX项目——数据管理平台
黑马程序员视频地址: 黑马程序员——数据管理平台 前言 功能: 1.登录和权限判断 2.查看文章内容列表(筛选,分页) 3.编辑文章(数据回显) 4.删除文章 5.发布文章(图片上传࿰…...
神经网络常见激活函数 5-PReLU函数
文章目录 PReLU函数导函数函数和导函数图像优缺点pytorch中的PReLU函数tensorflow 中的PReLU函数 PReLU 参数化修正线性单元:Parametric ReLU 函数导函数 PReLU函数 P R e L U { x x > 0 α x x < 0 ( α 是可训练参数 ) \rm PReLU \left\{ \begin{array}{} x \qua…...
艾蒿染色体水平基因组-文献精读111
A chromosome-scale genome assembly of Artemisia argyi reveals unbiased subgenome evolution and key contributions of gene duplication to volatile terpenoid diversity 一项关于艾蒿(Artemisia argyi)的染色体尺度基因组组装揭示了无偏的亚基因…...
EB生成配置的过程
EB Tresos Studio,简称EB,通过图形化的模式进行配置生成,并根据选项配置生成配置代码,即 MCAL 层各个模块的配置参数。 在 MCAL 代码中,分为静态代码和配置代码。静态代码,就是 AUTOSAR 规范内容,包含对硬件的封装以及标准化接口的封装;配置代码一般用于配置初始化结构…...
使用Docker + Ollama在Ubuntu中部署deepseek
1、安装docker 这里建议用docker来部署,方便简单 安装教程需要自己找详细的,会用到跳过 如果你没有安装 Docker,可以按照以下步骤安装: sudo apt update sudo apt install apt-transport-https ca-certificates curl software-p…...