ECCV 2024|OSP:全新视角下的自动驾驶场景建模算法

2024-10-15 地平线HorizonRobotics公众号
地平线 地平线 地平线 地平线


占 据 网 格 预 测


占据网格预测是自动驾驶领域的感知任务,它将三维空间分割成许多体素网格,并要求模型预测每一个体素网格的占据状态和语义信息,不仅能灵活地表征各种形状的障碍物,还能适用于动态场景。目前大多数占据网格预测方法主要基于 BEV 表征进行算法设计。因为 BEV 特征是均匀划分的二维网格,它们无法对不同区域进行区分性处理,导致模型在训练时无法专注于难以学习和关键的区域,同时在推理时也无法实现端到端地精准预测各个位置。OSP 利用稀疏点集表征,在保持模型能力的同时增强了训练和推理的灵活性,能端到端地输出任意位置占据状态信息。


图1. OSP和BEV表征方法对比


算 法 框 架


本文首先定义了 PoIs(Points of Interest)这一概念,这是一组用于表征三维场景的稀疏点,也是本文方法的核心。PoIs 可以表征空间中任意位置,包括普通的占据网格位置,或是需要受到额外关注的物体和区域。在模型的每一次前向推理中,当前 PoIs 的位置信息都会被编码并送入解码器。模型整体结构是基于变形器的编码器-解码器架构,包含骨干网络,位置编码器,点解码器和三维占据网格预测头。骨干网络负责从环视图像中提取多尺度图像特征;位置编码器负责对 PoIs 进行位置信息编码,并将其输入点解码器;点解码器负责将多尺度图像特征和位置编码信息进行交互和解码,进行注意力的计算,并将结果送入三维占据网格预测头;三维占据网格预测头负责预测 PoIs 对应的占据状态和语义信息。


图2. OSP算法框架


图3. OSP算法指标


本方法可用于增强 BEV 表征的方法,其增强流程如下图所示。对于一个现有的 BEV 表征方法,OSP 冻结其特征提取的骨干网络并训练 OSP 的解码器部分,这保证了同一个冻结的骨干网络能同时用于 BEV 表征方法和本方法,对于同一样本可以提取出相同的图像特征。训练完成后,对于给定的环视图像输入,二维的图像特征被冻结的骨干网络提取,并同时使用 BEV 表征的解码器和本章的点解码器进行解码,对于 BEV 表征的稠密的预测结果,本方法可以自适应的选取置信度较低的位置作为 PoIs 并生成稀疏的点预测结果,通过将稠密输出和稀疏的点预测输出加权求和得到增强后的结果。



图4. OSP算法用于增强BEV表征方法


可 视 化


OSP 接受环视6V图像作为输入,可视化中从上至下从左至右分别是前左、前视、前右、后左、后视、后右的图片。OSP 预测以自车为中心长宽80米范围内的占据网格状态信息,可视化为俯瞰视角下的预测结果,期间不同的颜色代表了不同种类。


6V图像输入

6V图像输入


总结与展望


本方法为三维占据网格预测提供了一种全新的思路,在性能和灵活性上都有优越性。本方法利用稀疏点集的位置信息和多尺度图像特征对占据网格进行预测,平均交并比(mIoU)超过了基于 BEV 表征的方法;得益于自定义稀疏点集(PoIs)的高度灵活性,本方法可以端到端地输出任意位置的状态信息,也可以用于增强 BEV 表征的方法。这为未来的研究和应用奠定了坚实的基础。

授权代理商:世强先进(深圳)科技股份有限公司
技术资料,数据手册,3D模型库,原理图,PCB封装文件,选型指南来源平台:世强硬创平台www.sekorm.com
现货商城,价格查询,交期查询,订货,现货采购,在线购买,样品申请渠道:世强硬创平台电子商城www.sekorm.com/supply/
概念,方案,设计,选型,BOM优化,FAE技术支持,样品,加工定制,测试,量产供应服务提供:世强硬创平台www.sekorm.com
集成电路,电子元件,电子材料,电气自动化,电机,仪器全品类供应:世强硬创平台www.sekorm.com
  • +1 赞 0
  • 收藏
  • 评论 0

本文由Ray转载自地平线HorizonRobotics公众号,原文标题为:ECCV 2024|OSP:全新视角下的自动驾驶场景建模算法,本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关研发服务和供应服务

评论

   |   

提交评论

全部评论(0

暂无评论

相关推荐

世界模型:地平线眼中的「认知大脑」

在8月28日举办的地平线高阶智驾技术开放日上,地平线创始人兼CEO余凯博士就当下火热的端到端,智能驾驶未来发展趋势、地平线软硬结合的王炸产品Horion SuperDrive™(HSD™),与参会嘉宾进行了真诚的分享。其中,余凯博士提到,“端到端是每家公司都能掌握的,魔鬼在细节中。” 本篇文章即从端到端讲起 ,并为大家剖析何为地平线的“驾驶世界观”。

2024-10-23 -  技术探讨 代理服务 技术支持 采购服务

自动驾驶技术“十问十答”

说起自动驾驶,大家现在已经不陌生,但是关于自动驾驶你又了解多少呢?今天Keysight总结了关于自动驾驶的“十问十答”,带你了解更多自动驾驶的来龙去脉。

2024-01-18 -  技术探讨

地平线自动驾驶算法新突破,两篇科研论文入选学术顶会ECCV 2024

近日,地平线两篇论文入选国际计算机视觉顶会ECCV 2024,自动驾驶算法技术再有新突破。

2024-07-27 -  原厂动态 代理服务 技术支持 采购服务

地平线旭日® X5 介绍

描述- 地平线公司作为智能驾驶计算方案提供商,专注于深度神经网络芯片研发。其产品征程系列和旭日系列芯片广泛应用于自动驾驶、智能驾驶辅助系统等领域。公司拥有150+车型前装定点,1000万+出货量,200+生态合作伙伴,1200+专利,1500+研发人员。地平线旭日芯片持续迭代,提供高效进化的智能平台,支持多种算法加速需求。旭日5芯片集成了CPU、BPU、GPU、DSP四合一异构加速,满足不同算法加速需求。

2024/9/27  - 地平线  - 商品及供应商介绍 代理服务 技术支持 采购服务

【经验】地平线ISP工具Control tool的使用方法介绍

Control tool是isp-tuning时tuning ISP参数的图形界面工具,对于刚接触地平线的开发者来说,会比较陌生,下面详细介绍Control tool的使用方法。

2022-09-10 -  设计经验 代理服务 技术支持 采购服务

地平线算法工具链新进展! GANet在征程®5上实现高效部署

地平线征程5是专为高阶智能驾驶打造的智能计算方案,搭载地平线第三代架构BPU--贝叶斯(Bayes),算力可达128TOPS,是率先实现前装量产的国产百TOPS级智能计算方案。基于征程5开发的高等级自动驾驶方案可实现ADAS功能、高速导航智能驾驶、城区导航智能驾驶和智慧泊车的全场景覆盖。

2024-02-23 -  原厂动态 代理服务 技术支持 采购服务

智驾征程|MG ES5全球首秀!上汽MG名爵与地平线首个合作车型正式落地

MG ES5搭载了基于地平线征程®3的Horizon Mono™️高级辅助驾驶方案,可以提供多项辅助驾驶及主动安全功能,包括智能巡航辅助、车道保持辅助、智能超速报警等,并覆盖大曲率弯道和匝道通行、车道变化分流通行等更多场景,以更聪明的方案为用户带来更好用的智驾体验。

2024-11-11 -  原厂动态 代理服务 技术支持 采购服务

地平线与大众汽车集团旗下软件公司CARIAD合资公司正式成立,强大智能驾驶计算方案驱动出行变革

行业领先的智能驾驶计算方案提供商地平线与大众汽车集团旗下软件公司CARIAD正式宣布合资公司酷睿程(CARIZON)成立。新合资公司将整合地平线强大的软硬结合技术能力以及CARIAD在智能车身和软件系统整合方面的专业经验,开发行业领先的、高度优化的全栈式高级驾驶辅助系统和自动驾驶解决方案。酷睿程将基于地平线征程家族计算方案开展研发工作,落地智驾方案将搭载于大众汽车集团在中国市场的纯电动车型。

2023-12-14 -  原厂动态 代理服务 技术支持 采购服务

迈向端到端自动驾驶:端到端矢量地图在线构建方法和基于矢量化表征的端到端自动驾驶算法VAD

随着科技的不断进步,自动驾驶汽车行业正迎来一项具有潜力的革命性技术——端到端自动驾驶。端到端自动驾驶是一种全新的自动驾驶技术,它将感知、决策和控制集成到一个单一的深度学习神经网络中,无需复杂的中间模块。这意味着汽车可以直接从传感器数据中学习并作出决策,以安全而高效地导航城市道路。端到端方案基于数据驱动的方式优化整个系统,打通了各个模块的壁垒,并减少了繁琐的后处理,具有很高的研究价值。

2023-10-27 -  原厂动态 代理服务 技术支持 采购服务

【经验】地平线X3M SDB开发板烧录ubuntu镜像实操和注意事项

地平线X3M SDB开发板,地平线论坛已经支持yocto linux和ubuntu两种SDK包,本文实操烧录ubuntu镜像以及说明注意事项。

2022-06-24 -  设计经验 代理服务 技术支持 采购服务

【经验】地平线DDR压测工具stressapptest的使用方法

stressapptest是开源工具,可以进行内存、CPU和存储的压力测试。本文主要介绍地平线DDR压测工具stressapptest的使用方法。

2022-03-24 -  设计经验 代理服务 技术支持 采购服务

一组数字读懂地平线高阶智驾技术开放日!

地平线在北京举办的高阶智驾技术开放日上,展示了其Horizon SuperDrive™(HSD™)系统的最新进展。该系统旨在2025年实现高阶智驾的规模化发展,提供全场景智驾模式和安全保障。地平线的技术在多个算法挑战赛中获奖,并计划通过World Model和交互博弈模型实现性能和体验的优化。征程6芯片将支持这一全场景智驾解决方案,以实现高效、拟人化的驾驶体验。

2024-10-17 -  原厂动态 代理服务 技术支持 采购服务

【经验】地平线Soc X3M适配新的sensor时MIPI CSI、VIO配置注意事项

地平线X3M适配新的sensor,除了要实现sensor寄存器的初始化,以及代码库实现,还需要做X3M端的MIPI CSI配置,以及VIO的配置,本文将介绍地平线Soc X3M的MIPI CSI、VIO配置注意事项。

2021-12-10 -  设计经验 代理服务 技术支持 采购服务

【经验】地平线X3M芯片通过软件调节降低功耗的三种方法

地平线X3M SoC芯片包含4个53核,主频1.2Ghz,还有2个BPU核,主频1GHz,算力最高5Tops,在处理负责图像逻辑的情况下,需要对功耗进行必要的控制,保证芯片能正常工作。下面是三种通过软件调节降低芯片功耗的三种方法。

2023-05-18 -  设计经验 代理服务 技术支持 采购服务
展开更多

电子商城

查看更多

品牌:地平线

品类:电源管理IC

价格:¥20.0000

现货: 814

品牌:地平线

品类:软件包

价格:¥20.0000

现货: 730

品牌:地平线

品类:SOC

价格:¥144.8208

现货: 673

品牌:地平线

品类:SOC

价格:¥128.7296

现货: 409

品牌:地平线

品类:软件包

价格:¥21.2494

现货: 378

品牌:地平线

品类:AIOT RDK MODULE

价格:¥429.0000

现货: 269

品牌:地平线

品类:AIOT RDK MODULE

价格:¥319.0000

现货: 221

品牌:地平线

品类:Intelligent Robot SoC

价格:

现货: 120

品牌:地平线

品类:摄像头模组

价格:¥150.0000

现货: 91

品牌:地平线

品类:天线

价格:¥3.0000

现货: 80

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

现货市场

查看更多

品牌:地平线

品类:SOC

价格:¥40.9328

现货:1,804

品牌:地平线

品类:软件包

价格:¥4.8667

现货:1,517

品牌:地平线

品类:单片机

价格:¥147.0000

现货:256

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

查看更多

授权代理品牌:接插件及结构件

查看更多

授权代理品牌:部件、组件及配件

查看更多

授权代理品牌:电源及模块

查看更多

授权代理品牌:电子材料

查看更多

授权代理品牌:仪器仪表及测试配组件

查看更多

授权代理品牌:电工工具及材料

查看更多

授权代理品牌:机械电子元件

查看更多

授权代理品牌:加工与定制

世强和原厂的技术专家将在一个工作日内解答,帮助您快速完成研发及采购。
我要提问

954668/400-830-1766(工作日 9:00-18:00)

service@sekorm.com

研发客服
商务客服
服务热线

联系我们

954668/400-830-1766(工作日 9:00-18:00)

service@sekorm.com

投诉与建议

E-mail:claim@sekorm.com

商务合作

E-mail:contact@sekorm.com

收藏
收藏当前页面