【笔记】自动驾驶预测与决策规划_Part9_数据驱动前沿算法与发展趋势

数据驱动前沿算法与发展趋势

0. 前言

本文主要记录课程《自动驾驶预测与决策技术》的学习过程，难免会有很多纰漏，感谢指正。
课程链接：https://www.shenlanxueyuan.com/my/course/700
相关笔记链接：
Part1_自动驾驶决策规划简介
Part2_基于模型的预测方法
Part3_路径与轨迹规划
Part4_时空联合规划
Part5_决策过程
Part6_不确定性感知的决策过程
Part7_数据驱动的预测方法
Part8_数据驱动的规划方法

该章节主要以论文讲解为主，未仔细阅读论文原文，仅借助PPT与ChatGpt进行资料整理与记录，对应的论文链接均已附上链接。

1. 端到端自动驾驶引言

2. 端到端自动驾驶

2.1 端到端自动驾驶早期尝试 ALVINN

参考链接： Alvinn: An autonomous land vehicle in a neural network

---

摘要： ALVINN（自动驾驶陆地车辆神经网络）是一种3层反向传播网络，设计用于道路跟踪任务。目前，ALVINN接收来自相机和激光测距仪的图像作为输入，并输出车辆应当朝哪个方向行驶，以便跟随道路。训练使用的是模拟的道路图像。在卡内基梅隆大学的自动驾驶测试车辆上的成功测试表明，该网络能够在特定的实地条件下有效地跟踪真实道路。为完成这一任务而开发的表示方法在不同条件下训练时会发生显著变化，这表明该系统有可能成为一种新型的自适应自动导航系统，能够根据实际情况调整其处理方式。

2.2 基于模仿学习的端到端系统 NVIDIA-E2E

参考链接： End to end learning for self-driving cars

局限：Out of Distribution,指的是模型在训练时从未见过的数据分布。在机器学习中，模型通常在某种特定数据分布（训练数据集）上进行训练，但在实际应用中，模型可能会遇到超出该分布范围的输入数据。这些数据与训练数据有显著不同，因此模型可能无法很好地处理或预测这些数据。

2.3 基于强化学习的端到端系统

Kendall A, Hawke J, Janz D, et al. Learning to drive in a day

2.4 多模态融合的自动驾驶 Transfuser

TransFuser: Imitation With Transformer-Based Sensor Fusion for Autonomous Driving

摘要： 我们应该如何将来自互补传感器的表示整合用于自动驾驶？基于几何的融合在感知任务（例如目标检测、运动预测）中表现出了潜力。然而，在端到端驾驶的背景下，我们发现基于现有传感器融合方法的模仿学习在高密度动态代理的复杂驾驶场景中表现不佳。因此，我们提出了TransFuser，一种利用自注意力机制整合图像和激光雷达（LiDAR）表示的方法。我们的方法使用多分辨率的变换器模块（transformer modules）来融合透视视图和鸟瞰视图的特征图。我们在一个具有挑战性的全新基准上对其有效性进行了实验证明，该基准涉及长途驾驶和密集交通，以及CARLA城市驾驶模拟器的官方排行榜。在提交时，TransFuser在CARLA排行榜上的驾驶得分大幅超过了所有先前的工作。与基于几何的融合方法相比，TransFuser将每公里平均碰撞数减少了48%。

2.5 模块化端到端 UniAD

参考链接：

• Planning-oriented Autonomous Driving
• https://github.com/OpenDriveLab/UniAD
• https://zhuanlan.zhihu.com/p/642373931
  
  摘要： 现代自动驾驶系统的特点是将任务划分为模块化的顺序任务，即感知、预测和规划。为了执行多样化的任务并实现高级智能，当前的方法通常为每个任务部署独立的模型，或者设计多任务框架并为每个任务配置独立的输出。然而，这些方法可能会面临累积误差或任务协调不足的问题。相反，我们认为，一个理想的框架应当在追求最终目标（即自动驾驶汽车的规划）时进行优化。因此，我们重新审视感知和预测中的关键组件，并对任务进行优先排序，使得所有任务都能为规划贡献力量。我们提出了统一自动驾驶（UniAD）框架，这是一个最新的综合性框架，将全栈驾驶任务整合到一个网络中。该框架精心设计，旨在利用每个模块的优势，并从全局角度提供补充特征抽象以支持代理交互。任务通过统一的查询接口进行通信，促进彼此合作以达成规划目标。我们将UniAD实例化并应用于具有挑战性的nuScenes基准数据集。通过广泛的消融实验，实验证明采用这种思想的有效性，UniAD在各个方面显著超越了之前的最先进方法。

主要贡献：

1. 模块化与任务协调：现有的自动驾驶方法通常将感知、预测和规划分开进行处理，但这些方法可能导致错误累积和任务之间的协调不足。UniAD通过将所有任务整合到一个统一的框架中，解决了这一问题，并通过统一的查询接口使任务之间互相协作，共同支持最终的规划目标。

2. 全栈任务整合：UniAD框架将感知、预测、规划等任务整合到一个网络中，确保每个模块的优势得以发挥，并通过全局视角提供互补的特征抽象。这种方法优化了自动驾驶系统的性能，避免了传统方法中任务之间的解耦。

3. 在nuScenes基准数据集上的验证：UniAD在nuScenes这一具有挑战性的自动驾驶基准上进行了广泛验证。实验结果表明，UniAD在多个方面都显著超越了现有的最先进方法。

---

---

2.6 模块化端到端 VAD

参考链接：
Vad: Vectorized scene representation for efficient autonomous driving
https://github.com/hustvl/VAD

摘要：自动驾驶需要全面理解周围环境，以进行可靠的轨迹规划。以往的研究依赖于密集的栅格化场景表示（例如，代理占用图和语义地图）来执行规划，这在计算上非常密集，并且缺少实例级的结构信息。在本文中，我们提出了VAD（一种端到端的向量化自动驾驶范式），它将驾驶场景建模为完全向量化的表示。所提出的向量化范式具有两个显著的优点。一方面，VAD利用向量化的代理运动和地图元素作为显式的实例级规划约束，有效提高了规划安全性。另一方面，VAD通过摆脱计算密集型的栅格化表示和手工设计的后处理步骤，运行速度比以前的端到端规划方法快得多。VAD在nuScenes数据集上实现了最先进的端到端规划性能，远超以往最好的方法。我们的基础模型VAD-Base将平均碰撞率降低了29.0%，并且运行速度提高了2.5倍。此外，一个轻量级的变种VAD-Tiny显著提高了推理速度（最多提高9.3倍），同时达到了相似的规划性能。我们相信，VAD的卓越性能和高效率对自动驾驶系统在现实世界中的部署至关重要。

VAD基于统一的Transformer结构:

• BEV Encoder用于编码输入的环视图像，并将其转化为鸟瞰图视角（BEV）下的特征图；
• Vectorized Motion Transformer提取场景中的动态目标信息，实现动态目标检测和矢量化的轨迹预测；
• Vectorized Map Transformer提取场景中矢量化的静态元素信息（如车道线，路沿和人行道）；
• Planning Transformer以隐式的动静态场景特征作为输入，提取其中与驾驶决策规划相关的信息，并完成自动驾驶车辆的轨迹规划。
• 在模型训练阶段，VAD基于矢量场景表征，对自车的规划轨迹进行矢量化约束，从而提升规划的安全性。

---

VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning

2.8 端到端系统评测

nuScenes开环评测

Rethinking the Open-Loop Evaluation of End-to-End Autonomous Driving in nuScenes

评测指标优化

Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?

ReasonNet

Reasonnet: End-to-end driving with temporal and global reasoning

UniSim仿真器闭环评测

UniSim: A Neural Closed-Loop Sensor Simulator

2.9 端到端自动驾驶的局限与挑战

End-to-end Autonomous Driving: Challenges and Frontiers

3. 自动驾驶与多模态大模型

3.1 多模态大模型对自动驾驶的启发

3.2 自动驾驶语言可解释性

Textual Explanations for Self-Driving Vehicles

ADAPT

ADAPT: Action-aware Driving Caption Transformer

DriveGPT4

DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model

3.3 自动驾驶文本数据集

NuScenes-QA
NuScenes-QA: A Multi-modal Visual Question Answering Benchmark for Autonomous Driving Scenario

摘要：我们在自动驾驶领域引入了一项新的视觉问答（VQA）任务，旨在根据街景线索回答自然语言问题。与传统的VQA任务相比，自动驾驶场景中的VQA面临更多的挑战。首先，原始视觉数据是多模态的，包括由摄像头和激光雷达分别捕获的图像和点云。其次，由于连续的实时采集，数据是多帧的。第三，户外场景展示了动态的前景和静态的背景。现有的VQA基准无法充分解决这些复杂性。为弥补这一空白，我们提出了NuScenes-QA，这是第一个针对自动驾驶场景的VQA基准，涵盖了34K个视觉场景和46万个问答对。具体而言，我们利用现有的3D检测注释生成场景图，并手动设计问题模板。随后，基于这些模板，程序化地生成问答对。全面的统计数据证明，NuScenes-QA是一个平衡的大规模基准，具有多样化的问题格式。在此基础上，我们开发了一系列基准模型，采用了先进的3D检测和VQA技术。我们的广泛实验突出显示了这一新任务所带来的挑战。

NuScenes-QA是建立在NuScenes数据集基础上的，NuScenes是一个广泛使用的自动驾驶数据集，包含了来自多个传感器的高质量数据，涵盖了不同的驾驶环境和情况。NuScenes-QA扩展了该数据集，并为每个场景附加了针对性的视觉问答任务。

这些问题不仅涉及到场景的感知（例如：这个图像中有多少辆车？），还包括更高级的推理任务（例如：根据当前交通状况，前方的车辆可能会做出什么动作？）。问题类型包括但不限于：

物体识别：如识别场景中的特定物体（行人、汽车等）。
场景理解：如理解交通信号、车道结构等。
动态推理：如推断未来的交通变化（车辆、行人等的行为预测）。
多模态问答
NuScenes-QA的一个显著特点是它的多模态性。它不仅依赖于图像，还结合了激光雷达点云、车辆状态信息等数据来提问。这样可以评估一个系统如何综合多种感知输入来回答问题，测试其多源信息融合和推理能力。

---

---

DriveLM

DriveLM: Driving with Graph Visual Question Answering

https://github.com/OpenDriveLab/DriveLM

摘要：我们研究了如何将基于网络规模数据训练的视觉-语言模型（VLMs）集成到端到端自动驾驶系统中，以增强泛化能力并实现与人类用户的互动。尽管近期的研究通过单轮视觉问答（VQA）将VLMs适配到自动驾驶任务中，但人类驾驶员通常在多步骤的推理过程中做出决策。人类驾驶员从关键物体的定位开始，估计物体之间的交互，然后再采取行动。我们的关键洞察是，通过提出的任务——图形VQA，在该任务中，我们通过感知、预测和规划的问答对来建模图结构推理，从而获得一个合适的代理任务来模拟人类的推理过程。我们基于nuScenes和CARLA构建了数据集（DriveLM-Data），并提出了一种基于VLM的基准方法（DriveLM-Agent），用于联合执行图形VQA和端到端自动驾驶。实验结果表明，图形VQA为驾驶场景推理提供了一个简单且原则明确的框架，而DriveLM-Data为这一任务提供了一个具有挑战性的基准。我们的DriveLM-Agent基准模型在端到端自动驾驶方面与最先进的驾驶专用架构相比具有竞争力，尤其在零-shot评估中，对于未见过的物体或传感器配置，表现尤为突出。我们希望这项工作能为如何将VLM应用于自动驾驶提供新的思路。为促进未来的研究，所有代码、数据和模型都已公开。

关键方法与贡献
图结构建模：

• 图网络：在DriveLM中，场景中的不同元素（如车辆、行人、交通信号、道路标志等）被建模为图的节点，而这些节点之间的关系（如物理距离、交通规则等）则被建模为边。通过构建图网络，DriveLM可以捕捉到场景中各个对象之间的相互关系，进行更复杂的推理。
• 多模态融合：该方法结合了来自视觉传感器（如摄像头和激光雷达）的数据，利用图神经网络对这些数据进行融合。这样，系统可以在多个模态之间共享信息，更好地理解和预测交通场景。

视觉问答任务：

• 多层次问题处理：DriveLM不仅能够处理基本的物体识别问题（例如，“这个图像中有多少辆车？”），还能够处理更复杂的推理问题（如，“前方红灯处的行人会如何反应？”），这些问题通常需要系统理解物体之间的相互关系和动态变化。
• 图结构推理：通过图结构的推理，DriveLM能够在处理复杂交通情境时考虑到多个因素，如交通信号的变化、行人的行为预测以及其他车辆的动作，从而提供更为精确的答案。

训练与基准：

• DriveLM使用了一个高质量的自动驾驶数据集，数据集中包含大量的街道场景和问答对。该方法的一个显著优势是，它不仅能够处理静态环境，还能够处理动态环境中的推理任务，例如，预测前方行人或车辆的行为。
• 多任务学习：DriveLM还支持多任务学习，即同时进行物体检测、场景图构建和VQA任务，从而提升模型的泛化能力和效率。

---

TOD 3 Cap

TOD3Cap: Towards 3D Dense Captioning in Outdoor Scenes

---

3.4 基于场景文本特征的规划模型

GPT-Driver

GPT-Driver: Learning to Drive with GPT
https://arxiv.org/abs/2310.01415

摘要：我们提出了一种简单而有效的方法，将OpenAI的GPT-3.5模型转化为一个可靠的自动驾驶运动规划器。运动规划是自动驾驶中的核心挑战，目标是规划出既安全又舒适的驾驶轨迹。现有的运动规划器主要依赖启发式方法来预测驾驶轨迹，但这些方法在面对新的和未见过的驾驶场景时，表现出不足的泛化能力。在本文中，我们提出了一种新颖的运动规划方法，利用大型语言模型（LLMs）固有的强大推理能力和泛化潜力。我们方法的核心思路是将运动规划重新定义为一个语言建模问题，这是一个以前未曾探索的视角。具体而言，我们将规划器的输入和输出表示为语言标记，并利用LLM通过坐标位置的语言描述生成驾驶轨迹。此外，我们提出了一种新的提示-推理-微调策略，激发LLM的数值推理潜力。通过这一策略，LLM不仅能够描述非常精确的轨迹坐标，还能够用自然语言表达其内部的决策过程。我们在大规模的nuScenes数据集上评估了我们的方法，广泛的实验验证了基于GPT的运动规划器在有效性、泛化能力和可解释性方面的优越性。代码现已公开。

主要创新和方法：

1. 将运动规划重新定义为语言建模问题：

   • 该方法的核心创新是将运动规划重新定义为语言建模问题，这是一个以前未曾探索过的角度。具体而言，作者将运动规划的输入和输出表示为语言标记，并利用LLM（如GPT-3.5）生成驾驶轨迹，通过自然语言描述坐标位置来规划路径。

2. 利用GPT-3.5生成轨迹：

   • 不同于传统的基于算法的规划方法，该方法通过对环境和任务的描述来引导LLM生成所需的驾驶轨迹。GPT-3.5通过生成描述轨迹坐标的自然语言文本来推断和生成适当的驾驶轨迹，类似于人类驾驶员如何通过语言描述自己的行驶路线。

3. 提示-推理-微调策略：

   • 为了提高模型生成精确可靠轨迹的能力，作者提出了一种新的策略，包括三个步骤：提示（Prompting）、推理（Reasoning）和微调（Finetuning）。
     • 提示阶段为LLM提供关于驾驶环境的具体指令和上下文信息。
     • 推理阶段鼓励模型使用其内部知识来处理输入并做出决策。
     • 微调阶段进一步优化模型，以生成更精确的轨迹坐标。
   • 这一策略有效地激发了LLM的数值推理能力，使其能够生成精确的轨迹坐标，同时能够用自然语言表达其决策过程。

---

---

DiLu

DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models
https://pjlab-adg.github.io/DiLu/

---

3.5 场景特定特征对齐的规划模型

场景特定特征对齐的规划模型

Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving
https://github.com/wayveai/Driving-with-LLMs

---

3.6 闭环多模态大模型

LMDrive: Closed-Loop End-to-End Driving with Large Language Models

DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving

---

3.7 大模型特性探索及其局限与挑战

Generalization: LLaDA
Driving Everywhere with Large Language Model Policy Adaptation

A Language Agent for Autonomous Driving

Agents: AgentDriver

---

Agents: PlanAgent

DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models

---

Dual System: DriveVLM

理想最近推送的端到端，应该就是基于这个方法，效果还比较惊艳。
参考链接：

• DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
• https://tsinghua-mars-lab.github.io/DriveVLM/
• https://zhuanlan.zhihu.com/p/692173066

---

---

局限与挑战

4. 参考

---

Part1_自动驾驶决策规划简介
Part2_基于模型的预测方法
Part3_路径与轨迹规划
Part4_时空联合规划
Part5_决策过程
Part6_不确定性感知的决策过程
Part7_数据驱动的预测方法
Part8_数据驱动的规划方法

---

Alvinn: An autonomous land vehicle in a neural network
End to end learning for self-driving cars
Kendall A, Hawke J, Janz D, et al. Learning to drive in a day

TransFuser: Imitation With Transformer-Based Sensor Fusion for Autonomous Driving
Planning-oriented Autonomous Driving
https://github.com/OpenDriveLab/UniAD
https://zhuanlan.zhihu.com/p/642373931

Vad: Vectorized scene representation for efficient autonomous driving
https://github.com/hustvl/VAD

VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning

Rethinking the Open-Loop Evaluation of End-to-End Autonomous Driving in nuScenes

Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?

Reasonnet: End-to-end driving with temporal and global reasoning

UniSim: A Neural Closed-Loop Sensor Simulator

End-to-end Autonomous Driving: Challenges and Frontiers

Textual Explanations for Self-Driving Vehicles

ADAPT: Action-aware Driving Caption Transformer

DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model

GPT-Driver: Learning to Drive with GPT

DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models
https://pjlab-adg.github.io/DiLu/

Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving
https://github.com/wayveai/Driving-with-LLMs

DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving

DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
https://tsinghua-mars-lab.github.io/DriveVLM/

https://zhuanlan.zhihu.com/p/692173066