【技术】传感器融合SoC,ADAS加速迈向高度自动驾驶之路
先进驾驶辅助系统(ADAS)的诸多功能日益增加在机动车辆上的应用,其中有些功能也已经搭载于中阶车款上,如自动定速巡航控制(ACC)和车道偏离警示辅助系统等。但这仅仅只是开始——在未来十年,高度自动驾驶的模式也将成为现实。
目前的自动驾驶操作案例采用了各种解决方案,其中有些特定类型的感测器专为某种特定功能提供所需要的资料。然而,更复杂的功能必须共同使用多种不同类型的感测器与连接。感测器与功能之间的联系开始变得更多方向。
有鉴于高度自动驾驶模式所要求的感测器越来越多、功能愈发复杂,我们需要建立一个集中的环境模型,作为不同ADAS功能的基础。该模型以大量的感测器资料为基础,对于资料的评估结果构筑了各种行动的基础。这些行动是道路交通中对车辆所做的即时干预行为,因此,软硬体作业必须具备高性能、高作业安全性以及低功耗。
在打造集中环境模型的过程中,必须使用不同类型的感测器。这些感测器可提供大量的辅助资讯,从而降低对于单个感测器的依赖。例如,仅依靠无法达到指定侦测率或物件不存在的摄影机,即所谓的‘假阳性侦测’。在这种情况下,辅助感测器可以使用雷达或光达。
为了合并这些感测器资料到一个统一的视图中,必须具备强大的运算能力。像摄影机或雷达等感测器能够以10Mb/s~40Mb/s的频宽速度传送资料,而在全面的感测器系统中,此数值还可以快速增加到500Mb/s。这些资料必须透过车载网路并由电子控制单元(ECU)进行即时采集。为此,ECU必须可以存取Gigabit Ethernet,包括具有汽车级可靠度与高品质的交换机。
为了准确地反映行车周围环境,ECU不仅要即时接收资料,还必须为资料进行处理。由于感测器可能无法同时侦测到所有的物体,因此,必须按时间顺序对资料进行同步处理;同时,由于每个感测器都根据其位置与侦测方式进行专门的安排,所以还必须按空间顺序分别对资料进行同步处理。除此之外,ECU还必须评估输入资料的合理性,连结不同的资料,并就侦测到的物体与车辆的相关性或即将执行的措施进行分类。为此,则必须使用系统单晶片(SoC)搭配主控制器(MCU)的高性能架构。
当主CPU 控制致动器时,SoC提供运算能力。除了使用DDR3或LP-DDR4介面实现较大的记忆体频宽外,SoC还必须能透过Gigabit Ethernet和PCI Express,为感测器和其他运算单元提供高速链路。资料的处理与评估需要多倍1,000DMIPS,以实现高达数个10,000DMIPS的运算能力。
这要求晶片结构具有足够的尺寸,例如连接至微处理器(MPU)与硬体加速器的多层汇流排和快取记忆体。例如瑞萨电子的第三代装置R-Car H3系列等,专用于处理这种任务。DDR介面可提供峰值达到51.2GB/s的有效频宽,并可实现很高的平均传输速率。对于资料处理,瑞萨电子已经采用了运算能力高达40,000DMIPS的最新ARM-v8A 64位元Cortex-A57/Cortex-A53 CPU核心。除了标准的MPU,专用的硬体加速器也已经被用于在低功耗状态下提供额外的性能。这可透过使用通用绘图处理器(GP-GPU)和特殊的视觉处理器来实现。由于视觉处理器能够实现平行指令处理,因此在处理大量资料阵列时的速度大幅提升;这是因为这些处理器能够根据所使用的演算法类型,提供 SIMD或MIMD等执行模式。
同时,感测器融合ECU作业与安全息息相关,并且必须符合通用的安全标准。目前,汽车产业广泛使用 ISO26262安全标准来实现攸关安全功能的安全目标。从车辆下层架构一直到其上的内部ECU细节资讯,都必须接受安全分析,包括对各层开发过程和技术架构的检验,以降低系统或随机的硬体故障风险。其结果是在汽车安全等级的分类中,包括从最低的品质管制安全等级(未考虑任何的安全措施)到最高的 ASIL-D等级。
ASIL等级对预定时间内发生故障的机率进行了说明:在系统级,100FIT要求安全等级达到ASIL-B,10FIT要求安全等级达到ASIL-D。MCU提供ASIL的支援,例如支援ASIL-D的RH850-P1H该系列正成为标准配置。 然而,在SoC中执行安全要求是一种新措施,而且仅在人们对于高度自动驾驶车的需求提高时才需要。由于SoC架构的复杂度,在以最低附加系统成本实现功能 安全时,需要具备对于基础安全机制整合的详尽专业知识与经验。因此,例如,建置较大的Cortex-A CPU,包括其快取记忆体作为锁步双核心设计,在经济上对于SoC并不可行。这对于 GP-GPU等复杂的电路情况也相同,因为它无法进行冗余设计。
因此,作为自动驾驶模式的关键安全方面,必须对安全要求和目标应用案例进行详细分析。这是评估有关安全与大规模生产成本效率的唯一途径。另一个案例是记忆体的实现。如果使用不同几何尺寸的平面技术,每朝向更小的几何尺寸进一 步,FIT就增加一级。在包含多个百万位元组整合SRAM的SoC中,底层FIT等级在考虑安全机制之前自然较高。为了达到ASIL-B的目标标准,选择一种正确的纠错方式,例如ECC和使用finFET电晶体的实体措施都是必备的。
另一项要求是,在行驶期间对所有相关的、随机发生的硬体故障进行检测,而且,系统必须采取措施,以确保这些故障不会妨碍驾驶的安全性。这虽然可能导致可用的功能减少,但重要的是可避免威胁生命的情况的发生。因此,根据受影响的功能,必须设计一种功能来预防在先进自动驾驶模式下出现故障,从而确保车辆即使在故障发生时仍能保持安全行驶。
最简便的方法就是多提供一个备用的ECU,并在主路径处于安全模式时使用第二个运算路径。由于重复进行操作,使得这样的系统成本较大,而且,除了需要更大的空间外,还会导致更高的功耗。由于控制ECU通常也对于冷却带来限制,可用的功率预算通常低于20瓦。这包括一个提供多种功能的SoC,包括高运算能力和功能安全性、与通讯交换机进行极快的网路连接、大容量记忆体、高安全性MCU以及相应的功率转换级。
因此,该ECU的所有元件都必须具备很高的能效。特别是SoC,必须利用现有的最新制程和电源管理技术,如绝缘技术、时脉闸控技术以及动态时脉频率 调整技术,从而使SoC的功耗保持在10W以下。专用于汽车产业的硬体加速器对于能效的提升也贡献良多。
融合感测器的新挑战及应用方案
同时,融合不同的感测器和功能,也对软体建置带来新的挑战。这对半导体供应商及其合作夥伴提出新的要求,并呼吁实现高度自动驾驶模式的新方法出现。
在大多数情况下,MCU软体使用的汽车开放系统架构并不适于现代复杂的CPU执行动态记忆体分配与多执行绪功能。因此,使用复杂的即时操作系统,与现有的 AUTOSAR机制进行互动以及使用时隙方法并控制共用资源,被看作是一种创新的解决方案。
这种架构让ECU在不影响基础系统的情况下接受和执行更新。此外,这种架构还可让来自不同供应商的软体得以共存。这种机制不仅能在开发和整合阶段促进规划,而且还有利于操作过程中确定性任务的执行。这种机制很重要是因为几乎没有任何单一供应商可以掌握必要的专业知识来因应在单一ECU中结合的所有服务。
因此,不同的软体套件可以共用现有CPU、硬体加速器和通讯网路的作业资源,而不至于发生相互阻碍或占用共用资源的情况。这种模式是对基于感测器融合的ECU提出的最重要要求之一。为此,必须在执行阶段使用专用工具。例如,瑞萨电子正与加入R-Car联盟的业界夥伴合作,他们掌握了这些机制,并为每个软体模组定义界限以促进可预见且可靠的软体模组整合。
感测器融合是高度自动驾驶模式的关键元件,它需要各种最新技术、高效能SoC和MCU的组合,加上最高度的功能安全标准,结合软体与中介韧体领域中经验丰富的系统整合商和主要合作夥伴提供的专业知识。这些组合可以 确保人性化和安全的建置,最终可为驾驶人提供多种选择:在多重安全机制下辅助自动驾驶,或者让车辆在自动驾驶模式下行驶。
- |
- +1 赞 0
- 收藏
- 评论 182
本网站所有内容禁止转载,否则追究法律责任!
相关研发服务和供应服务
评论
全部评论(182)
-
真大虫无双 Lv8. 研究员 2020-06-16Mark~
-
奥太小王子 Lv6. 高级专家 2019-11-27了解了
-
用户63280835 Lv5. 技术专家 2019-11-26学习
-
风中羽翼11 Lv6. 高级专家 2019-11-25学习
-
夏夜忆雨 Lv7. 资深专家 2019-11-21自动
-
用户17024446 Lv7. 资深专家 2019-11-21厉害
-
努力拼搏 Lv4. 资深工程师 2019-11-20学习了
-
真大虫无双 Lv8. 研究员 2019-11-19自动驾驶路漫漫
-
毛绒绒 Lv5. 技术专家 2019-11-18学习
-
风中羽翼11 Lv6. 高级专家 2019-11-15学校了
相关推荐
How to Build Together a Safe and Efficient AD & ADAS Central Computing Solution
Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.
技术探讨 发布时间 : 2023-11-30
【产品】低功耗全高清ADAS专用低功耗SoC芯片SGKS6802
森国科SGKS6802是一款针对高级辅助驾驶(ADAS)、流媒体后视镜、夜视系统、透雾透霾及图形图像识别与处理等产品开发的ADAS专用低功耗SoC芯片,1080P@30fps+720P@30fps双路码流H.264编码及高质量的ISP处理。
新产品 发布时间 : 2021-07-23
硬创峰会热点提前知:新能源、车联网、自动驾驶为汽车论坛关键词
硬创峰会热点提前知:新能源、车联网、自动驾驶为汽车论坛关键词
行业资讯 发布时间 : 2019-02-28
【经验】R-Car H3/H3N/M3 SoC芯片的AVS模块介绍及寄存器的配置
Renesas推出驾驶安全辅助系统和车载信息娱乐系统的第三代R-Car SoC芯片,内核方面使用的是Cortex-A57 CPU、Cortex-A53 CPU和Cortex-R7,主要面向无人驾驶、智能辅助驾驶、车机、仪表和ADAS等应用场景,并以其强大的算力和丰富的外设资源赢得了广大车厂和Tier 1的认可。本文将介绍瑞萨R-Car H3/H3N/M3的AVS模块介绍及寄存器的配置。
设计经验 发布时间 : 2020-03-21
【产品】 瑞萨第三代汽车级SOC RCAR-M3带你走进自动驾驶时代
瑞萨电子推出第三代Rcar系列芯片,致力于高级安全(智能)驾驶系统和车载娱乐系统,建立一个完善的无人驾驶领域半导体的技术平台。其中新的Rcar-M3成员(SOC),提供ARM双核cortex-A57以及4核cortex-A53的高CPU性能、3D图像识别处理引擎,符合ISO 26262(ASIL-B)的安全等级,支持系统级封装(SiP)集成高速缓存,功能完善,完美支持先进驾驶辅助系统的开发设计。
新产品 发布时间 : 2018-07-29
【产品】瑞萨新一代SOC R-Car V3H,专为自动驾驶前置摄像头应用
瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H,集成了专门针对图像处理的功能单元,它比R-Car V3M在视觉处理方面的性能提高了5倍,并只有0.3瓦的超低功耗,更好的适应自动驾驶的需求。
新产品 发布时间 : 2018-03-07
【产品】全新开放式平台,加大对ADAS及自动驾驶的支持
新型R-Car V3M SoC符合ISO26262功能安全标准,为视觉处理提供了低功耗硬件加速功能,还配有内置图像信号处理器。
新产品 发布时间 : 2017-04-25
【经验】车规级SoC R CAR V3H2平台端工具链转换前 mobilenetv2.onnx浮点模型推理验证
RENESAS 车规级SoC R CAR V3H2平台上推理模型前,我们需要训练好自己的模型,目前通常采用迁移调优模型方式形成满足需求的浮点模型,并验证浮点模型的精度,耗时等性能,本文在ubuntu上用python推理浮点mobilenetv2.onnx模型。我们根据链接在公版的mobilenetv2模型基础上,迁移调优学习了自己采集的图片数据形成了自己要求的mobilenetv2.onnx模型。
设计经验 发布时间 : 2023-09-24
【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南
RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类,都是可以在端侧执行的,本文记录.pb的推理输出以及benchmark过程实操及解析。
设计经验 发布时间 : 2023-09-21
【经验】使用瑞萨SoC R CAR V3H2 cnn工具链实现onnx模型转caffe模型的实操
R CAR V3H2 的cnn神经网络模块需要运行int16的定点模型,而onnx模型首先需要通过cnn工具链转成caffe模型,然后再转成端侧的可执行模型,本文使用瑞萨的cnn工具链实现onnx模型转caffe模型。
设计经验 发布时间 : 2023-08-14
【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法
RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式,总共512个输出,同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件,那我如何查看这些数据呢,本文记录数据查看方法。
设计经验 发布时间 : 2023-09-23
【经验】R-Car H3中如何实现多摄像头的视频数据采集并同时进行H264编码
R-Car系列是瑞萨基于用户越来越高的汽车驾驶体验需求和日渐丰富的产品功能要求,以及汽车产品虚拟化、智能化的行业趋势推出的SoC。本文将以R-Car H3为例,介绍R-Car基于gstreamer实现多摄像头的视频数据采集并同时进行H264编码,该功能主要应用于自动驾驶域控制器,可实现视频数据的采集、编码和实时分发。
设计经验 发布时间 : 2020-03-05
Renesas Introduces Complete Power and Functional Safety Solution for R-Car V3H ADAS Camera Systems
March 30, 2021 - Renesas Electronics Corporation, a premier supplier of advanced semiconductor solutions, announced a new power and functional safety solution for systems based on the R-Car V3H system-on-chip (SoC) for advanced driver assistance systems (ADAS) automotive front cameras and driver monitor cameras.The new solution includes the RAA271050, a 42V synchronous buck ‘pre-regulator‘ that accepts the vehicle‘s 12V supply and steps it down to an intermediate supply voltage of 3.3V or 5.0V.
新产品 发布时间 : 2021-04-20
【经验】SoC R CAR V3H2 CNN工具链转换restnet18 caffe模型为端侧可执行命令过程解析
RENESAS SoC R CAR V3H2 CNN工具链最主要的功能就是把caffe,onnx等模型转换为V3H2 芯片端可执行模型,命令,本文记录并分析此转换过程。
设计经验 发布时间 : 2023-09-16
【应用】瑞萨R-Car H3 SoC和RH850/P1H-C MCU HAD解决方案套件,助力汽车自动驾驶技术开发
在高级驾驶辅助系统(ADAS)中,推荐Renesas的HAD解决方案套件,包含R-Car H3 SoC和RH850/P1H-C MCU,能够与摄像头、雷达、激光雷达、车辆与车辆以及车辆与基础设施之间的通信,实现了汽车自动驾驶。
应用方案 发布时间 : 2018-04-29
电子商城
品牌:SILICON LABS
品类:Wireless Gecko SoC
价格:¥8.1764
现货: 104,128
品牌:SILICON LABS
品类:Mighty Gecko Multi-Protocol Wireless SoC
价格:¥27.0929
现货: 90,767
品牌:SILICON LABS
品类:Wireless Gecko SoC
价格:¥10.4994
现货: 61,779
品牌:SILICON LABS
品类:Wireless Gecko SoC
价格:¥11.5212
现货: 59,367
现货市场
登录 | 立即注册
提交评论