开发者说 | VADv2：基于概率性规划的端到端自动驾驶

时间： 2024-05-11 来源：地平线HorizonRobotics公众号

代理服务

技术支持

批量订货

• VAD论文链接:

https://arxiv.org/abs/2303.12077

• 项目主页：

https://github.com/hustvl/VAD

• VADv2论文链接：

https://arxiv.org/abs/2402.13243

• 项目主页：

https://hgao-cv.github.io/VADv2

概率性规划

不同于感知，规划中存在着更多的不确定性，对于同一场景，存在不同的合理的决策规划结果。环境信息到决策规划不存在明确的映射关系，因此学习拟人的驾驶策略极具挑战性。以往的基于学习的规划方法确定性地通过MLP回归出规划轨迹，无法应对环境信息和决策规划之间不明确的映射关系。同时基于神经网络输出的轨迹无法保证满足运动学约束，仍需要后端的轨迹优化。

VADv2采用概率性规划的方法，从大量的人类驾驶数据中，拟合每一时刻基于环境信息的自车轨迹概率分布，将问题转化为预测每一条轨迹和环境信息的相关性，从而应对规划中的不确定性。

图1 规划中的不确定性

算法框架

图2 VADv2 算法框架

如图2所示，VADv2以车载相机采集的流式图像序列作为输入。鉴于图像信息稀疏性，VADv2将图像信息转换为具有高层语义信息的tokens。具体地，VADv2基于MapTRv2从环视图像数据中提取地图物理层和逻辑层的map tokens，同时从图像中提取关于动态障碍物的agent tokens和交通信号灯的traffic element tokens。此外，由于在连续的动作空间上学习概率分布较为困难，VADv2将动作空间离散化，通过最远轨迹采样的方式从真实的轨迹数据中筛选出N条轨迹构建轨迹集合,用于表征整个动作空间。VADv2将轨迹通过正余弦编码方式编码为planning tokens。Planning tokens基于堆叠的Transformer结构与包含环境信息的tokens交互，同时结合稀疏导航信息和自车状态信息，输出每一条轨迹的概率：

在训练阶段，VADv2通过KL散度约束预测的概率分布和驾驶数据对应分布之间的一致性，并引入额外的场景约束进一步降低存在安全风险的轨迹的概率。在推理阶段，VADv2在每一个时刻从轨迹概率分布中采样一条高置信度的轨迹用于车辆控制。由于输出多模式的轨迹簇，VADv2也可以和基于优化或规则的规控架构结合，进行二阶段优化以及筛选过滤。

图3 CARLA闭环规划性能

图4 消融实验

闭环验证

在CARLA仿真器上，VADv2能够长时间控车稳定地行驶，正确地响应交通信号灯，通过复杂路口，与其他车辆和行人交互，刹停避障等。同时，VADv2也在Town05 Benchmark上取得了显著优于其他方法的闭环性能（图3）。消融实验如图4所示，验证了各类token隐式表征和概率分布约束的有效性。Town05 Long Benchmark中4条路线闭环可视化效果如下所示：

总结与展望

在CARLA仿真器上的闭环实验初步验证了该范式的可行性。未来的研究方向是如何与现有的规控架构结合进一步提升系统的鲁棒性，以及在更加复杂的真实场景中展开验证。

参考文献：

[1] Jiang, Bo and Chen, Shaoyu and Xu, Qing and Liao, Bencheng and Chen, Jiajie and Zhou, Helong and Zhang, Qian and Liu, Wenyu and Huang, Chang and Wang, Xinggang. VAD: Vectorized Scene Representation for Efficient Autonomous Driving. ICCV 2023.

[2] Liao, Bencheng and Chen, Shaoyu and Wang, Xinggang and Cheng, Tianheng and Zhang, Qian and Liu, Wenyu and Huang, Chang. MapTR: Structured modeling and learning for online vectorized hd map construction. ICLR 2023.

[3] Liao, Bencheng and Chen, Shaoyu and Zhang, Yunchi and Jiang, Bo and Zhang, Qian and Liu, Wenyu and Huang, Chang and Wang, Xinggang. MapTRv2: An End-to-End Framework for Online Vectorized HD Map Construction. arXiv preprint arXiv:2308.05736, 2023.

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由酉水浪子转载自地平线HorizonRobotics公众号，原文标题为:开发者说 | VADv2：基于概率性规划的端到端自动驾驶，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

【经验】地平线ISP工具Control tool的使用方法介绍

Control tool是isp-tuning时tuning ISP参数的图形界面工具，对于刚接触地平线的开发者来说，会比较陌生，下面详细介绍Control tool的使用方法。

2022-09-10 - 设计经验代理服务技术支持批量订货

【经验】地平线X3平台UART驱动调试方法

地平线X3系列SOC共有4路串口：UART0、UART1，UART2，UART3。其中UART0用作调试串口，只有UART1支持硬件自动流控。都支持基于中断或基于DMA的模式。

2022-09-12 - 设计经验代理服务技术支持批量订货

【经验】地平线X3平台浮点模型转换方法

地平线X3芯片工具链是为用户提供将浮点模型转换部署到地平线硬件上的工具。用户使用这套工具可以将caffe、onnx模型转换成定点模型。本文详细介绍将caffe模型转换成定点模型。

2023-02-08 - 设计经验代理服务技术支持批量订货

地平线基于矢量表征和概率规划的端到端自动驾驶，推出「你好，开发者」自动驾驶技术专场

端到端自动驾驶正成为高阶智驾跨越体验拐点的必选项。实现真正的自动驾驶所面临的一大挑战是无法穷尽的Corner Case。为了让大家进一步了解VADv2以及地平线在端到端自动驾驶领域的相关研发工作，地平线推出地平线「你好，开发者」自动驾驶技术专场，主题为《基于矢量表征和概率规划的端到端自动驾驶》。

2024-08-10 - 原厂动态代理服务技术支持批量订货

地平线自动驾驶算法新突破，两篇科研论文入选学术顶会ECCV 2024

近日，地平线两篇论文入选国际计算机视觉顶会ECCV 2024，自动驾驶算法技术再有新突破。

2024-07-27 - 原厂动态代理服务技术支持批量订货

地平线全新一代智驾方案SuperDrive背后的“思考”：如何让智驾决策更像老司机

地平线全新一代智驾方案Horizon SuperDrive™为了解决城区的规控难题采用了更拟人、更像老司机的“交互博弈”。从响应人，到服务人，再到解放人，智能驾驶在不断演进的过程中，完成的是人的高维延伸，用优雅不怂、从容笃定形容的高阶智驾系统，一定能够像“老司机”一样预测、推理、学习、决策。

2024-06-26 - 原厂动态代理服务技术支持批量订货

地平线SuperDrive获铃轩奖金奖，软硬结合打造高阶智驾系统标杆

今年4月，地平线重磅推出凝聚软硬结合全栈智驾技术打造的高阶智驾系统——Horizon SuperDrive™（简称HSD）。作为下一代高阶智驾系统行业标杆，HSD以端到端的世界模型与交互博弈构成的领先算法架构，解决智驾产品性能上限和泛化一致体验的难题。系统不止拥有高度拟人的优雅从容姿态、超强通行效率，更能提供全国一致的极致智驾体验，让用户享受体验无断点、模式无切换、全场景无差别的安全美好出行。

2024-11-23 - 原厂动态代理服务技术支持批量订货

地平线（Horizon Robotics）新一代AIoT智能芯片选型表

描述- 旭日®3 是地平线针对 AIoT 场景，推出的新一代低功耗、高性能的智能芯片；集成了地平线最先进的伯努利2.0 架构引擎( BPU® )，可提供 5TOPS 的算力。新的 BPU 架构极大提升了对先进 CNN 网络架构的支持效果，并极大降低了运算对 DDR 带宽的占用率。辅以地平线天工开物® 软件开发平台，大幅简化算法开发与部署过程，降低产品的落地成本。

型号- X3M,X3E

2022/10/25 - 地平线 - 选型指南代理服务技术支持批量订货