【技术】地平线-华中科技大学计算机视觉联合实验室发表:基于径向对称性和分治策略的点云方位角归一化
点云感知算法是安全鲁棒的自动驾驶系统中尤为重要的一环。在CVPR 2022上,地平线-华中科技大学计算机视觉联合实验室发表了研究成果Azimuth Normalization——以点云特有的径向对称性作为先验,对数据归一化,降低从点云中获取信息的难度。该归一化方法能与大多数感知算法结合,降低对训练数据的需求并提升性能上限,在三维场景感知中有着广泛的应用价值。
简介
从机器学习的角度考虑,数据中隐含的对称性能够作为算法的归纳偏置(inductive bias),对于提升算法精度有很大的帮助。点云是三维场景理解中最重要的表示形式,本工作讨论了点云数据特有的径向对称性(Radial Symmetry),并提出了针对点云数据的方位角归一化方法(Azimuth Normalization / AziNorm)。Azimuth Normalization采用了一种分而治之(Divide-and-conquer)的策略,灵活地分解全场景点云并在子点云上进行归一化。归一化后的子点云具有更简单的模式(pattern),更容易被下游的感知算法识别。Azimuth Normalization具有很强的拓展性,能够应用在多种传感器产生的点云数据上(如LiDAR、RADAR、RGB-D camera),能够与各类感知算法(如检测、分割)结合并且不需要改变具体算法的实现细节和超参数。Azimuth Normalization能够显著提升感知算法的数据效率(Data Efficiency),收敛速度和性能上限,如图1所示,AziNorm与SECOND [1] 检测算法结合提升明显,仅用10%的数据量或迭代次数就优于充分训练的SECOND。
径向对称性
径向对称性与产生点云数据的传感器(LiDAR
/ RADAR /RGB-D
camera)的工作原理高度相关。以LiDAR为例,如图2,LiDAR始终沿着径向(法向)方向向各个方位角发射电磁波,电磁波触碰到障碍物表面后反射,沿着径向方向反射的回波最终被LiDAR接收,形成点云。因此,产生的点云在径向方向上具有明显的对称性(如图2中,地面的点云对称性明显)。
算法流程
Azimuth Normalization采用了分治的策略,具体流程如下(流程图见图3):
●Patch Splitting:把整个感知范围拆分为相互重叠的块(patch), 把全场景的点云规则地分解为子点云;
●Patch Filtering:滤除不包含点云的patch、只含地面点的patch(点云具有稀疏性、不均匀性),避免不必要的计算开销;
●Normalization:对子点云进行平移变换、旋转变换(对每个点的3D坐标进行),统一各个patch的径向方向;
●Patch-wise Perception:在patch level调用现成的感知算法(point-based、voxel-based、hybrid),不需要改变实现细节和超参数;
●Inverse Normalization:把感知结果逆变换回原本的LiDAR坐标系;
●Patch Merging:融合各个patch结果,对于不同的感知任务可以采用不同的融合策略,例如,对于检测采用非极大值抑制(NMS),对于分割采用逐点平均。
实验结果
1.点云检测和点云分割
表1和表2是Azimuth
Normalization在点云检测和分割两个感知任务上的实验结果。值得注意的是,对于检测难度大的类别(点稀疏、训练样本数量少),如pedestrian和cyclist,Azimuth
Normalization能够带来更明显的增益。Azimuth
Normalization极大地简化点云数据中的模式(pattern),消除方位角带来的差异,在归一化后,难类别检测难度显著降低。
2. 归一化粒度(Normalization Granularity)
图4展示了另一种分治策略,被称之为扇形区域归一化(Sectorial Normalization)。点云被均匀划分为扇形区域,并通过旋转统一径向方向。表3对比了Sectorial Normalization和Azimuth Normalization。4- 和8- Sectorial Normalization 把方位角的变化范围分别缩小到了90º和45º,而Azimuth Normalization的归一化粒度更小,因此性能提升更明显。
3. 消融实验
表4是相关的消融实验,验证了Azimuth Normalization的性能提升主要来自于旋转变换,即对径向方向的归一化,以及Azimuth Normalization对patch的形状layout、尺寸radius、间距stride的选择不敏感。
总结
Azimuth Normalization利用径向对称性对点云数据进行归一化,带来在数据效率、收敛速度、性能上限三个方面的提升,能够减少感知算法对于数据量的需求,降低标注成本,并且在对感知精度要求高的离线应用场景中有较大的应用价值,如自动标注(Auto Labeling)和生成高精地图(HD Maps)。
- |
- +1 赞 0
- 收藏
- 评论 0
本文由放弃是坚强的第一课转载自地平线,原文标题为:CVPR 2022 | 基于径向对称性和分治策略的点云方位角归一化,本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
相关推荐
【技术】地平线-中科院提出CIRKD,一种新颖的跨图像关系型KD方法用于语义分割任务
地平线提出一种跨图像的知识蒸馏(KD)方法来建模图像间的依赖,从而使得网络能够捕捉到更加丰富的结构化信息。具体地,本工作建模数据集中的全部图像之间建模pixel-to-pixel以及pixel-to-region的对比关系作为知识。
新技术 发布时间 : 2022-05-28
地平线主动安全产品获国内首个ASIL B产品级功能安全认证
近日,地平线主动安全产品Horizon Matrix Mono获得国内首个ISO 26262功能安全ASIL B产品级功能安全认证。这意味着地平线主动安全产品在产品层面获得了国际标准认可,为中国智能汽车“出海”提供更全面、更符合当地要求的安全助力。
原厂动态 发布时间 : 2024-04-25
世界模型:地平线眼中的「认知大脑」
在8月28日举办的地平线高阶智驾技术开放日上,地平线创始人兼CEO余凯博士就当下火热的端到端,智能驾驶未来发展趋势、地平线软硬结合的王炸产品Horion SuperDrive™(HSD™),与参会嘉宾进行了真诚的分享。其中,余凯博士提到,“端到端是每家公司都能掌握的,魔鬼在细节中。” 本篇文章即从端到端讲起 ,并为大家剖析何为地平线的“驾驶世界观”。
技术探讨 发布时间 : 2024-10-23
地平线(Horizon Robotics)新一代AIoT智能芯片选型表
描述- 旭日®3 是地平线针对 AIoT 场景,推出的新一代低功耗、高性能的智能芯片;集成了地平线最先进的伯努利2.0 架构引擎( BPU® ),可提供 5TOPS 的算力。新的 BPU 架构极大提升了对先进 CNN 网络架构的支持效果,并极大降低了运算对 DDR 带宽的占用率。辅以地平线天工开物® 软件开发平台,大幅简化算法开发与部署过程,降低产品的落地成本。
型号- X3M,X3E
【经验】地平线ISP工具Control tool的使用方法介绍
Control tool是isp-tuning时tuning ISP参数的图形界面工具,对于刚接触地平线的开发者来说,会比较陌生,下面详细介绍Control tool的使用方法。
设计经验 发布时间 : 2022-09-10
一组数字读懂地平线高阶智驾技术开放日!
地平线在北京举办的高阶智驾技术开放日上,展示了其Horizon SuperDrive™(HSD™)系统的最新进展。该系统旨在2025年实现高阶智驾的规模化发展,提供全场景智驾模式和安全保障。地平线的技术在多个算法挑战赛中获奖,并计划通过World Model和交互博弈模型实现性能和体验的优化。征程6芯片将支持这一全场景智驾解决方案,以实现高效、拟人化的驾驶体验。
原厂动态 发布时间 : 2024-10-17
地平线算法工具链新进展! GANet在征程®5上实现高效部署
地平线征程5是专为高阶智能驾驶打造的智能计算方案,搭载地平线第三代架构BPU--贝叶斯(Bayes),算力可达128TOPS,是率先实现前装量产的国产百TOPS级智能计算方案。基于征程5开发的高等级自动驾驶方案可实现ADAS功能、高速导航智能驾驶、城区导航智能驾驶和智慧泊车的全场景覆盖。
原厂动态 发布时间 : 2024-02-23
【经验】地平线X3M SDB开发板烧录ubuntu镜像实操和注意事项
地平线X3M SDB开发板,地平线论坛已经支持yocto linux和ubuntu两种SDK包,本文实操烧录ubuntu镜像以及说明注意事项。
设计经验 发布时间 : 2022-06-24
再创新高,地平线征程家族出货量正式突破600万!
地平线车载智能计算方案出货量突破600万套,自2020年起持续快速增长。征程家族计算方案适应多级别智驾市场,合作车型超30家,累计量产车型270款。新推出的征程®6系列和SuperDrive全场景智能驾驶解决方案致力于提升城区NOA领域的智驾体验,预计2024年第四季度推出标准版量产方案。地平线以其技术成熟度和量产合作模式,稳居智驾科技供应商领先地位。
原厂动态 发布时间 : 2024-09-19
地平线发布具有4核ARMA53处理能力的X3派AI开发平台,支持H.264/H.265编解码和5Tops端侧推理|视频
地平线旭日®️X3派是一款面向生态开发者的嵌入式AI开发板,接口兼容树莓派,具有5Tops端侧推理与4核ARMA53处理能力。可同时多路CameraSensor的输入并支持H.264/H.265编解码。
新产品 发布时间 : 2022-06-16
【经验】地平线X3M芯片通过软件调节降低功耗的三种方法
地平线X3M SoC芯片包含4个53核,主频1.2Ghz,还有2个BPU核,主频1GHz,算力最高5Tops,在处理负责图像逻辑的情况下,需要对功耗进行必要的控制,保证芯片能正常工作。下面是三种通过软件调节降低芯片功耗的三种方法。
设计经验 发布时间 : 2023-05-18
全程零接管!地平线高阶智驾系统SuperDrive畅通闹市区雨天晚高峰
大众汽车集团(中国)CEO贝瑞德与地平线CEO余凯共同试乘地平线高阶智驾系统SuperDrive,在北京闹市区雨天晚高峰挑战中,SuperDrive以零接管、高效拟人驾驶完成50分钟复杂城区行程,展现卓越通过能力和丝滑驾驶体验,二人共赞其为理想智驾产品。
原厂动态 发布时间 : 2024-08-15
【经验】地平线X3M SoC芯片烧录efuse的方法
地平线X3M SoC的efuse的主要目的是自动识别不同厂商的DDR以及DDR类型。现在的DDR频率默认是3200,有些DDR的最高频率为2666,不烧写efuse,频率变为3200会影响启动。
设计经验 发布时间 : 2023-03-03
【IC】地平线新品发布,硬件模组RDK,高达96TOPS算力的RDK Ultra系列 ∣ 视频
地平线官宣系列重要发布:全新地平线RDK系列机器人开发者套件正式上线,机器人操作系统 TogetheROS™.Bot 2.0版发布,应用中心NodeHub首发亮相。
新产品 发布时间 : 2023-07-29
电子商城
现货市场
登录 | 立即注册
提交评论