当前位置：首页 > news >正文

自动驾驶---基于深度学习模型的轨迹预测

news 来源：原创 2025/9/21 17:59:58

1 背景

自动驾驶任务中，轨迹预测一直以来是一个难题。

在复杂交通场景中，即使驾驶员最终意图确定，但决策过程中其他车辆的动态行驶路径的即时变化会导致自车路径呈现多模态属性，即车辆的未来轨迹有多种可能性。对车辆的多模态轨迹进行预测，并保证预测的准确性与多样性，是当前自动驾驶领域关注的热点内容。

之前的博客《自动驾驶---LSTM模型用于轨迹预测》为读者朋友介绍了长短时记忆网络用于轨迹预测，但该方法只能输入车辆历史轨迹信息，而没有车辆所处的环境信息，因此效果是不如基于深度学习模型的预测。

反过来思考，如果将其它动态车辆的多模预测模型，应用于自车，其实也就是目前的planner大模型。

2 轨迹预测问题描述

类比人类驾驶时通过观察周围交通参与者来预测其未来可能的行为，为进一步提高安全性，在自动驾驶研究中关键的技术之一是像人类驾驶员一样可以在高动态的复杂多变的场景中预测周围环境的未来状态，其未来状态可以由未来轨迹表示，即多模态轨迹预测任务。多模态轨迹预测旨在为处于异构复杂高动态环境中的目标车辆生成多条可能的轨迹，由于不确定性的存在，目标车辆即使在相同场景下也有可能表现不同，这也是多模态轨迹预测面临的挑战。

模型输入与输出

轨迹预测任务可以被表示为在某个场景中，给定一段预测时间范围、智能体的历史轨迹及环境信息，预测其在未来一段时间范围的轨迹。模型的输入一般为历史轨迹，其由目标车辆的物理状态及环境车辆的物理状态（）组成，其中车辆物理状态由速度、加速度、转向角以及当前环境信息组成。通常情况下，假设目标车辆周围有个交通参与者（如周边车辆、自行车、行人）。

其中，表示时间范围为t的历史轨迹，，其中表示当前车辆的坐标，表示当前目标车辆的状态。

在轨迹预测任务中，模型的输出大多为未来个时间步的预测轨迹：

轨迹预测主要研究问题

轨迹预测主要的挑战来自环境的不确定性、生成轨迹的多模态性以及模型的可解释性。

（1）多模态问题

在轨迹预测过程中，周围交通参与者的未来行为难以预测，其未来轨迹是多模态的（如下图所示），因此实际预测的未来轨迹不是唯一的，即在相同历史轨迹条件下，车辆的未来轨迹具有多种可能性。因此预测模块需要对不确定性进行建模，并预测其他车辆多条可能的轨迹。多模态轨迹预测就是预测模型根据每个未来轨迹设置相应的置信度，并为每个交通参与者生成多条未来轨迹。

（2）可解释性问题

基于深度学习的研究通常最终获得“黑盒”深度学习模型，导致模型太复杂且无法被人类理解或排除故障。特别是在医疗诊断、规划、控制问题的研究中，所提出的模型需要与其输出建立一定程度的信任关系，而信任关系的概念取决于人类对模型或机器工作的可见性，即深度神经网络应该为其输出人类可以理解的理由，从而使人类洞悉其内部工作原理，这种模型被称为可解释模型。可解释性 AI 系统的目的是通过提供解释使其行为更容易被人类理解。

3 数据集及评估指标

数据集

车辆轨迹在交通流分析、驾驶行为分析、决策模型设计、训练、测试以及路径规划方面都有很重要的作用，因此选择合适的数据集对于模型性能的提升至关重要。早期NGSIM数据集中交通参与者只有高速路场景下的车辆，数据内容只有历史轨迹，将此类数据集作为各轨迹预测算法模型的输入显然是不全面的，环境复杂度低导致早期轨迹预测方法难以生成多模态的预测轨迹。后期出现的数据集中添加了环境信息更丰富的高清地图（HD map）、多种交通参与者（行人、自行车）及场景（路口、环岛等），使近期的模型在复杂高动态、不确定性高的场景中有较好的预测精度及泛化性。本小节将介绍目前轨迹预测任务中常用的数据集，并列出了使用这些数据集的经典算法（见表1）。

评估指标

车辆轨迹预测方法通常采用以下评估指标，读者可以对比《自动驾驶---Parking端到端架构》模型评价的指标，本质模型的评价指标应有相同的地方，即使是不同的功能。

（1）平均位移误差（Average displacement error，ADE）：预测轨迹与实际轨迹之间的平均欧氏（L2）距离；

（2）最终位移误差（Final displacement error，FDE）：最终预测轨迹与实际轨迹之间的L2距离；

（3）丢失率（Miss rate，MR）：基于L2距离，最终预测轨迹与真实轨迹偏差 2.0m的数量的比率；

（4）均方根误差（Root mean squared error，RMSE）：预测误差平方平均值的平方根。RMSE对较大的预测误差敏感，是常用的轨迹预测指标之一；

（5）负对数似然（Negative log likelihood，NLL）：对于建模的轨迹分布f(Y)；

（6）预测范围（Prediction horizon）：指模型可以预测的未来时间步长。通常预测时间步越长，预测的精度越低。为了满足后续规划和控制，预测的时间步不宜太短，一般模型将预测范围为5s或10s的预测轨迹作为输入，并且各模块内时间步应保持一致；

（7）计算时间（Computation time）：由于轨迹预测模型复杂度高，因此需要大量的计算资源。为达到更高的自动驾驶水平，每个模块的计算速度必须快，以此减少延迟，因此计算时间对于模型能否实现实车部署很重要；

（8）可驱动区域顺应性（Drivable area compli‐ ance，DAC）：将可驾驶区域内未来轨迹的数量与所有可能的轨迹数量的比率作为评估所提出解决方案的可行性的指标。

4 多模态轨迹预测方法

与处理空间-时间问题的 CNN、RNN 方法不同，基于注意力机制的方法是受到人类在处理大量信息时能够快速聚焦于高价值因素的认知系统的启发所提出的方法。本小节将介绍近年来基于 Transformer 框架的可随场景变化的自适应调整的多模态方法。实现多模态预测的另一个挑战在于如何用有限的训练样本覆盖给定场景中所有可能的结果。多智能体轨迹预测需要在两个关键维度建模。

（1）时间维度：将历史信息对智能体未来状态的影响进行建模

在时间维度层面，现有基于经典深度学习的模型CNN，RNN无法建模长时间序列，会导致时间信息丢失问题，Transformer 模型可以通过将位置编码、时间编码的形式保存长历史轨迹的信息。

（2）社会维度：对每个智能体之间的交互关系进行建模

在社会维度层面，Transformer 模型可以通过注意力机制建模人-车、车-车、车-环境之间的交互关系，通过分配权重的方式选择影响力最大的交互，以此为基础，Transformer 可扩展到多智能体交互环境中。

将轨迹预测难点问题分类，并对相应问题的解决办法进行介绍，见表2。现有基于概率的方法和基于建议的启发式的方法虽然可以通过添加规则的方式输出概率分布或通过添加具有强约束的锚点，实现多模态轨迹预测。但是基于概率的方法过度依赖先验分布和损失函数，容易出现优化不稳定或模式崩溃的现象；基于建议的启发式方法过度依赖于锚点质量，不能保证生成多模态情况。基于Transformer 的方法可以避免在设计先验分布和损失函数的过程中的大量人工工作，同时可以更好地捕捉到轨迹预测的多模态性质，实现多模态轨迹预测。

针对多模态轨迹预测目前具有的挑战性问题，基于Transformer轨迹预测在Argoverse数据集的平均位移误差和最终位移误差性能指标上取得了最优水平。基于Transformer的模型处理交互问题，特别是与其他交通参与者、障碍物交互效果相比，CNN 与RNN方法有明显的提升，Transformer可以解决长历史轨迹信息丢失问题，同时依靠注意力机制捕获车辆之间交互信息。除此之外，基于自注意力机制的 Transformer 方法有较好的可解释性，研究人员可以根据模型输出结果更好地判断可改进的参数。

然而，Transformer 模型虽然在自然语言处理及视觉领域均取得了非常显著的成果，但是在自动驾驶轨迹预测方向的研究还较少。目前还无法确定 Transformer 算法能否应用到更加复杂多变的环境中。在现实环境中，感知模块在真实驾驶环境存在局限性，如果有其他交通参与者被遮挡，或者出现缺失/过时/不准确的道路基础设施信息等情况，无法获得实验阶段输入的理想数据，会导致预测轨迹出现偏差。同时如何进一步提升可解释性也是基于 Transformer 模型面临的主要问题之一，现有方法中对预测轨迹的置信度难以解释，导致模型可解释性低。这些问题也是未来使用 Transformer 做多模态轨迹预测可继续深入的方向。此外，现有方法对于多模态的研究还不充分，相信在未来的发展中，基于 Transformer 的多模态轨迹预测方法会更加完善。

5 总结

现阶段基于深度学习的多模态轨迹预测方法的整体框架已经成型，都是由编码器+交互+解码器组成，通过CNN、RNN、GNN等神经网络提取空间交互信息及地图信息，训练后的模型在复杂场景及长时间范围内具有较好的性能，并可以生成与车辆机动性以及场景一致的多模态轨迹。但是基于深度学习的方法需要大量的实验数据。数据方面，目前针对轨迹预测任务的数据集内容越来越丰富，场景复杂度越来越高，数据集的发展提高了轨迹预测算法的性能。

文章只是简单阐述了大模型在轨迹预测方向的应用，更偏向综述类，读者可以对基于模型的多模预测作一个大致了解。但是随着技术的发展，目前预测-决策-规划模型一体化的趋势愈加明显，甚至已经量产，这也是自动驾驶技术进化的魅力。了解大模型也是未来自动驾驶工程师的必修课之一。

6 参考

中科院自动化所：《Deep learning-based multimodal trajectory prediction methods for autonomous driving: state of the art and perspectives》

自动驾驶---基于深度学习模型的轨迹预测

1 背景自动驾驶任务中，轨迹预测一直以来是一个难题。在复杂交通场景中，即使驾驶员最终意图确定，但决策过程中其他车辆的动态行驶路径的即时变化会导致自车路径呈现多模态属性，即车辆的未来轨迹有多种可能性。对车辆的多模态轨迹…...

编程日记 2025/9/21 17:59:58

线性模型 - 二分类问题的损失函数

在二分类问题中，损失函数用于量化模型预测与真实标签之间的差异，以指导模型参数的调整。本文，我们来一起学习一下常见的损失函数及其直观解释。一、核心二分类损失函数及通俗理解 1. 0-1损失（Zero-One Loss） 公式&…...

编程日记 2025/9/19 16:17:45

string类详解（上）

文章目录目录1. STL简介1.1 什么是STL1.2 STL的版本1.3 STL的六大组件 2. 为什么学习string类3. 标准库中的string类3.1 string类3.2 string类的常用接口说明目录 STL简介为什么学习string类标准库中的string类string类的模拟实现现代版写法的String类写时拷贝 1. STL简介 …...

编程日记 2025/9/13 9:02:53

c# —— StringBuilder 类

StringBuilder 类是 C# 和其他一些基于 .NET Framework 的编程语言中的一个类，它位于 System.Text 命名空间下。StringBuilder 类表示一个可变的字符序列，它是为了提供一种比直接使用字符串连接操作更加高效的方式来构建或修改字符串。与 C# 中的 stri…...

编程日记 2025/9/18 1:09:53

今日行情明日机会——20250217

2025年02月17日行情后续投资机会分析根据最新盘面信息，以下板块和个股具备潜在投资机会，需结合市场动态和基本面进一步验证： 1. 腾讯系AI（18家涨停） 核心逻辑：涨停家数最多（18家&#xff0…...

编程日记 2025/9/19 13:31:03

Openshift或者K8S上部署xxl-job

本案例以版本2.3.0为例 1. 源码编译成jar包 source code: https://github.com/xuxueli/xxl-job/blob/2.3.0/ 这里我们会得到两个jar包：xxl-job-admin-2.3.0.jar和xxl-job-executor-sample-springboot-2.3.0.jar 2. 初始化mysql数据库 sql code: https://github.…...

编程日记 2025/9/17 23:32:58

vite+vue3开发uni-app时低版本浏览器不支持es6语法的问题排坑笔记

重要提示：请首先完整阅读完文章内容后再操作，以免不必要的时间浪费！切记！！！在使用vitevue3开发uni-app项目时，存在低版本浏览器不兼容es6语法的问题，如“?.” “??” 等。为了方便…...

编程日记 2025/9/15 11:40:43

使用 Apache PDFBox 提取 PDF 中的文本和图像

在许多应用中，我们需要从 PDF 文件中提取文本内容和嵌入的图像。为了实现这一目标，Apache PDFBox 是一个非常实用的开源工具库。它提供了丰富的 API，可以帮助我们轻松地读取 PDF 文件、提取其中的文本、图像以及其他资源。本文将介绍如何使…...

编程日记 2025/9/20 7:43:03

centos7arm架构安装mysql服务

1.安装新版mysql前，需将系统自带的mariadb卸载 rpm -qa|grep mariadb //查找mariadb的rpm包 rpm -e mariadb-libs-5.5.56-2.el7.x86_64 //卸载mariadb包 2.去官网下载对应mysq包https://downloads.mysql.com/archives/community/ 3.解压下载包&…...

编程日记 2025/9/18 12:19:15

【个人开发】deepspeed+Llama-factory 本地数据多卡Lora微调

文章目录 1.背景2.微调方式2.1 关键环境版本信息2.2 步骤2.2.1 下载llama-factory2.2.2 准备数据集2.2.3 微调模式2.2.3.1 zero-3微调2.2.3.2 zero-2微调2.2.3.3 单卡Lora微调 2.3 踩坑经验2.3.1 问题一：ValueError: Undefined dataset xxxx in dataset_info.json.2…...

编程日记 2025/9/13 9:02:39

后端生成二维码，前端请求接口生成二维码并展示，且多个参数后边的参数没有正常传输问题处理

一、后端代码 1、controller GetMapping("/generateQRCode/{url}")ApiOperation(value "生成url链接二维码",notes "生成url链接二维码")public JsonResult<NewsQRCodeVo> generateQRCode(PathVariable String url,HttpServletRespons…...

编程日记 2025/9/13 9:02:36

NBT群落物种级丰度鉴定新方法sylph

文章目录简介为什么选择Sylph？Sylph的工作原理 Install使用解析成gtdb格式sylph 能做什么？sylph 不能做什么？ANI定义如何使用 sylph-utils 生成包含分类信息的配置文件耗时：66个样本耗时1h 转成easymicroplot可用数据简介 Sylp…...

编程日记 2025/9/19 8:13:20

长视频生成、尝试性检索、任务推理 | Big Model Weekly 第56期

点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 COMAL:AConvergent Meta-Algorithm for Aligning LLMs with General Preferences 许多对齐方法，包括基于人类反馈的强化学习（RLHF），依赖于布拉德利-特里&#…...

编程日记 2025/9/20 22:53:02

使用右侧值现象来处理一个word导入登记表的需求

需求也简单，导word文件用户登记表，有各部门的十几个版本（为什么这么多？不知道）。这里说下谈下我的一些代码做法： 需求分析： 如果能解决java字段和各项填的值怎么配对的问题，那么就…...

编程日记 2025/9/21 16:07:35

FRRouting配置与OSPF介绍，配置，命令，bfd算法：

文章目录 1、frrouting的配置：2、ospf2.1、检测和维护邻居关系2.2、ospfDR和BDR2.3、odpf邻居表2.4、ospf常用命令2.5、bfd配置 1、frrouting的配置： sudo service zebra start sudo service ospfd start telnet localhost 2604 en configure termina…...

编程日记 2025/9/18 18:13:48

基于ThinkPHP 5~8兼容的推荐算法类实现，

在现代推荐系统中，随着用户量和物品量的增长，传统的推荐算法可能会面临性能瓶颈。本文将介绍如何基于 ThinkPHP 实现一个高性能的推荐系统，结合显性反馈（如兴趣选择）、隐性反馈（如观看时长、评论、点赞、搜…...

编程日记 2025/9/15 10:54:43

使用Python爬虫实时监控行业新闻案例

目录背景环境准备请求网页数据解析网页数据定时任务综合代码使用代理IP提升稳定性运行截图与完整代码总结在互联网时代，新闻的实时性和时效性变得尤为重要。很多行业、技术、商业等领域的新闻都可以为公司或者个人发展提供有价值的信息。如果你有一项需求是要实时…...

编程日记 2025/9/13 9:01:45

kong身份认证插件详解之Basic Auth插件

1.3、Basic Authentication 支持基于用户名和密码的基本认证，通常用于简单的身份验证场景。 1.3.1、环境准备 1.3.1.1、创建一个服务，basic-auth-service curl -i -s -X POST http://localhost:8001/services \--data namebasic-auth-service \--dat…...

编程日记 2025/9/11 19:04:20

Copilot基于企业PPT模板生成演示文稿

关于copilot创建PPT，咱们写过较多文章了： Copilot for PowerPoint通过文件创建PPT Copilot如何将word文稿一键转为PPT Copilot一键将PDF转为PPT，治好了我的精神内耗测评Copilot和ChatGPT-4o从PDF创建PPT功能 Copilot for PPT全新功能&a…...

编程日记 2025/9/21 1:28:05

用React实现一个登录界面

使用React来创建一个简单的登录表单。以下是一个基本的React登录界面示例： 1. 设置React项目如果你还没有一个React项目，你可以使用Create React App来创建一个。按照之前的步骤安装Create React App，然后创建一个新项目。 2. 创建登录组…...

编程日记 2025/9/13 11:47:16

前端布局的方式有哪些

前端布局的方式有哪些在前端开发里，布局就像是装修房子，把不同的东西合理地摆放在合适的位置，让整个空间既美观又实用。下面给你介绍几种常见的前端布局方式： 1. 普通流布局（标准文档流布局） 这就像是按…...

编程日记 2025/9/21 18:39:15

seata集成nacos

#nacos集成nacos并配置mysql数据源 1. 所需依赖 <dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-seata</artifactId></dependency> 2. 打开seata目录&#xff…...

编程日记 2025/9/20 11:18:32

第29篇基于ARM A9处理器用C语言实现中断＜五＞

Q：怎样设计基于ARM A9处理器的C语言程序使用定时器中断实现实时时钟？ A：在上一期的程序中添加A9 Private Timer作为第三个中断源，配置该定时器使其每隔0.01秒产生一次中断。使用该定时器使全局变量time的值递增，并将…...

编程日记 2025/9/18 15:21:29

deepseek多列数据对比，联想到excel的高级筛选功能

目录 1 业务背景 2 deepseek提示词输入 3 联想分析 4 EXCEL高级搜索 1 业务背景系统上线的时候经常会遇到一个问题，系统导入的数据和线下的EXCEL数据是否一致，如果不一致，如何快速找到差异值，原来脑海第一反应就是使用公…...

编程日记 2025/9/13 9:01:35

C 程序多线程拆分文件

C 程序多线程拆分文件在C语言中，实现多线程来拆分文件通常需要借助多线程库，比如 POSIX 线程库（pthread）或者 Windows 的线程库（CreateThread 或类似的函数）。下面我将分别展示在 Linux 和 Windows 环境下…...

编程日记 2025/9/13 9:01:33

mysql 使用 CONCAT、GROUP_CONCAT 嵌套查询出 json 格式数据

tb_factory表由 factory_code 和 factory_name 字段，查询出如下所示效果： {"factory_0001": "工厂1","factory_0002": "工厂2",... } select sql： SELECT CONCAT( "{",GROUP_CONCAT( C…...

编程日记 2025/9/13 9:01:31

Leetcode 2466. Count Ways To Build Good Strings

Problem Given the integers zero, one, low, and high, we can construct a string by starting with an empty string, and then at each step perform either of the following: Append the character ‘0’ zero times.Append the character ‘1’ one times. This can …...

编程日记 2025/9/21 1:10:24