【技术】瑞萨专为R-Car V3H片上系统专用硬件加速器设计的新型感知快速启动软件，加速嵌入式汽车ADAS开发

时间： 2019-06-24 来源：Renesas

技术问答

RENESAS电子公司是高级半导体解决方案的顶级供应商，利用基于其R-Car V3H 片上系统（SoC）的新型感知快速启动软件，继续加速高级驾驶辅助系统（ADAS）的开发）。该解决方案提供了用于摄像机障碍物检测（COD），激光雷达障碍物检测（LOD）和道路特征检测（RFD） - 三个基于传感器的L2+级别自动驾驶车辆系统的关键识别领域的参考软件。

R-Car V3H 片上系统在低功率水平下提供了高计算机视觉性能和人工智能处理的组合，为L2+级别自动驾驶汽车中的汽车前置摄像头提供了优化的嵌入式解决方案。为了实现最先进的识别技术，Renesas电子公司设计了用于包括卷积神经网络，密集光流，立体差异和对象分类等关键算法专用硬件加速器的片上系统。新的感知软件为使用这些复杂但经济高效且节能的加速器的开发人员提供了端到端的管道参考，这使得客户能够快速启动他们的应用程序设计，无论他们是使用加速器的专家还是经验有限开发人员。参考软件涵盖来自传感器或记录数据的输入，处理过程的所有阶段和屏幕上的显示输出。

“专用硬件加速器在实现嵌入式ADAS和自动化应用所需的计算机视觉性能和准确性方面发挥着至关重要的作用，同时仍能满足严格的车载功耗限制; 然而，这些加速器的复杂性可能会带来陡峭的学习曲线，“ Renesas电子先进自动驾驶车辆系统创新部总监Tim Grai表示。“通过新的感知快速启动软件，我们能够提供一套应用软件以及底层函数，以简化实现嵌入式ADAS所需的这些复杂加速器的使用。”

Renesas感知快速启动软件的关键功能：

摄像机障碍物检测（COD）参考软件使用卷积神经网络（CNN）IP，计算机视觉引擎（CV-E）和图像渲染（IMR）技术来检测诸如汽车，卡车，公共汽车和行人之类的2D物体。该COD软件可以达到大约每秒30帧（FPS）。

图1 COD示例

激光雷达障碍物检测（LOD）软件使用CNN-IP和CV-E来检测3D物体，包括汽车和卡车。该LOD软件在50米处使用3D边界框可以达到约15 FPS。

图2 LOD示例

道路特征检测（RFD）参考软件使用CNN-IP，CV-E，IMR和多功能管道引擎（IMP）来识别可行驶的自由空间，车道（交叉和非交叉），道路边界以及离车道和最近物体的距离以支持NCAP 2020。该RFD软件可以达到约30 FPS。

图3 RFD示例

可用性

Renesas感知软件解决方案现已在美国上市，可在全球范围内使用。请联系您当地的销售代表了解更多详情。

Renesas将继续开发新特性和功能来扩展感知快速启动软件，以与行业趋势保持一致。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由泰坦熊翻译自Renesas，版权归世强硬创平台所有，非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：世强硬创平台”。

全部评论（0）

暂无评论

【技术】瑞萨开发出了新的汽车SoC处理器技术，结合世界一流性能和能效的CNN加速器内核和ASIL D控制系统

2021年2月17日——瑞萨今天宣布开发用于高级驾驶员辅助系统（ADAS）和自动驾驶（AD）系统等应用的汽车片上系统（SoCs）处理器技术，旨在优化性能和能效，同时支持高水平的功能安全。

新技术发布时间 : 2021-03-04

面向自动驾驶的车载SoC，视频处理延迟时间仅为70ms

相关机构预计到2020年前后，汽车的各种仪表、驾驶辅助系统、音响及多个显示器将会整合在一起，所以就需要一种可实现整合的SoC。

新技术发布时间 : 2016-04-03

【产品】瑞萨推出基于专为智能摄像头和全景环视系统的片上系统SoC即用型3D 环视系统

瑞萨和麦格纳于今日联合宣布，双方合作推出专为入门级到中级车辆设计、新型高性价比3D环视解决方案，这将加速高级驾驶辅助系统（ADAS）的量产和普及。该3D 环视系统采用了瑞萨电子高性能低功耗、专为智能摄像头和全景环视系统而优化的片上系统(SoC)。

新技术发布时间 : 2018-06-29

完美结合无线连接、人工智能和安全性的智能家居解决方案

智能家居应用正在快速发展，其中推动智能设备的发展关键因素在于易于使用，而实现这一目标的最佳方法，便是让设备通过人工智能和机器学习技术进行自我思考。本文将为您介绍人工智能将如何强化智能家居设备的功能，以及由芯科科技（Silicon Labs）所推出的解决方案，将如何增强智能家居设备的功能性与安全性。

应用方案发布时间 : 2024-06-23

SOC模块LoRa-STM32WLE5有哪些值得关注

SoC模块是一个高度集成的芯片，能够执行复杂的计算和处理任务，适用于广泛的嵌入式和消费电子应用。LoRa数传模块专门用于低功耗、长距离无线通信，主要用于物联网（IoT）应用，如远程监控和传感器网络。简单来说，SoC模块是一个通用计算平台，而LoRa模块则专注于无线通信功能。

产品发布时间 : 2024-07-30

【产品】专为人工智能、高清网络摄像机开发的专业级SoC芯片ZC8201，配置多核处理器，可实现前端智能

卓智创芯（CREFUCHIP）出品的ZC8201芯片是专门为人工智能、高清网络摄像机等应用开发的一款专业级SoC芯片，它集成了双核ARM Cortex A7处理器，可配置的多核处理器、丰富的图像处理功能以及多种外围接口等，可提供多种差异化的产品功能。

产品发布时间 : 2022-10-17

“中微半导体—哈工大(深圳)人工智能芯片实验室”正式挂牌，重点关注混合信号SoC机器视觉、模式识别等技术

2021年8月28日，中微半导—哈工大（深圳）人工智能芯片实验室正式挂牌，实验室由多名青年学者和中微半导资深芯片专家组成，将充分发挥学校基础算法的科研优势与企业产业化的经验优势，围绕新型、高效的片上系统人工智能技术开展联合研发工作并培养高层次人才。

原厂动态发布时间 : 2021-09-01

Renesas（瑞萨）汽车产品选型指南

目录- 汽车微控制器汽车信息系统 - 微控制器微控制器工具片上系统片上系统工具电源电压产品分立式电源产品电机驱动器可配置的混合信号IC 触觉驱动器汽车传感器解决方案无线电源产品时钟和时序解决方案视频和显示控制器光电耦合器零件编号系统一般信息介绍

型号- R-CAR V3X,Y-RH850-P1X-144PIN-PB-T1-V2,NP60N04VUK,Y-RH850-F1X-100PIN-PB-T1-V3,Y-RH850-F1X-233PIN-PB-T2-V1,NP45N06PUK,NP75N04YUK,NP75N04YUG,R-CAR V4H,NP35N04YUG,R8A779M8,R8A779M7,R8A779M0,NP16N06YLL,R8A779M2,R8A779M1,R8A779M4,R-CAR GEN4,R8A779M3,R-CAR V4X,R-CAR E3E,R8A779M6,R8A779M5,DA9131-A,5P49V60,RL78/F1X,R-CAR M3E-2G,R8A779MB,DA9214-AT,DA7280-A,Y-R-CAR-M3N-SIP-BOARD-SKT-ES20,R5F109LD,R5F109LC,R5F109LB,RH850/D1M1A,R5F109LA,R-CAR D3,SLG46857-A,R5F109LE,NP36P04SDG,Y-RH850-F1X-324PIN-PB-T1-V1,ISL78714,Y-RCAR-V4H-WHITEHAWK-BRD-WS10,DA9215-AT,RTE0T00020KCE00000RE2,Y-ASK-RL78F14-V2,R-CAR D3E,R8A77980A,RAJ2800024H11HPF,R7F702300EABA,DA9132-A,NP160N055TUK,R-CAR S4-4,Y-ASK-RL78F15-V2,ZSC31150,NP45N06VDK,RL78/F13-CAN,DA9213-AT,RH850/ F1K,DA9141-A,NP50P04SDG,Y-QB-V850E2-EE,R-CAR S4-8,Y-RH850-P1XC-404PIN-PB-T1-V2,RH850/F1KM-S1,RH850/F1KM-S4,Y-RH850-X2X-MB-T1-V1,RTE0T00001FWREA000R,RTE7702200EAB00000J,Y-ASK-RH850F1KM-S1-V3,Y-RH850-D1L2-PB-TET-V1,R7F702300EBBG,R7F702300EBBB,RTP8A77980ASKB-0CW0SA001#WS,DA9224-AT,R5F10BAG,R5F10BAF,R5F10BAE,R5F10BAD,R7F702011EABG,R5F10BAC,NP29N06QUK,RTP0RC77995SEB0010S,NP89N04PUK,R-CAR H3,RH850/F1KH-D8,R7F702011EABA,RTP0RC7796SIPB0012SS5A,DA9142-A,NP20P06YLG,Y-RH850-E2X-292PIN-PB-T1-V2,NP179N04TUK,R5F10BBG,R5F10BBF,EWRL78,R5F10BBE,R5F10BBD,R5F10BBC,Y-RH850-E2X-373PIN-PB-T1-V3,R8A779FXLAX0BG,NP75P04YLG,RL78/F12,RL78/F13,RL78/F14,DA9130-A,RL78/F15,R-CAR V3M,R5F10AAA,R5F10DGD,Y-QB-R5F113TL-TB-V2,R5F10DGC,Y-R-CAR-V3M-BOARD-DEV-ES20,R-CAR V3H,RBA250N04AHPF-4UA01,NP30N06QDK,TW8832S,R5F10AAE,R5F10AAD,Y-ASK-RCAR-M3W-8GB-WS30,R5F10AAC,NP35N04YLG,R5F10DGE,R7F701412,Y-ASK-RCAR-V3H-WS11,R7F701652,R7F701410,R7F701653,R7F701411,Y-RH850-P1X-100PIN-PB-T1-V2,R7F701650,R7F701651,Y-RH850-F1X-144PIN-PB-T1-V3,R7F701649,R7F701408,R7F701647,R7F701648,R7F701645,R7F701403,NP15P06SLG,R7F701646,ISL79988,R5F10ABA,ISL79987,Y-QB-RL78D1A2-ZZZ-EE,NP90N04VUK,Y-RH850-D1M2H-PB-DEV-V1,R5F10ABE,R5F10ABD,QB-R5F109GE-TB,RBA160N04AHPF-4UA01,R5F10ABC,R7F701421,R7F701422,ΜPD166033,ΜPD166032,RAA279971,ΜPD166034,RAA279972,R7F701417,R-CAR M3,RV1S2752Q,R5F10CGD,R5F10CGC,R5F10CGB,Y-RH850-U2A-144PIN-PB-T1-V1,Y-QB-RL78F14-ZZZ-EE,Y-SBEV-RCAR-KF-M06,SLG46827-A,RH850/C1M-A2,RH850/C1M-A1,R7F702012AEABG,RTE7701460EPA00000R,R5F10PAE,RAA2S4251B,R5F10PAD,R7F701623,R-CAR GEN4 系列,R7F702012AEABA,ZSSC4132,Y-R-CAR-H3-8GB-BOARD-SKT-WS30,NP109N055PUK,ISL78434,R7F701401,R7F701644,R7F701402,Y-ASK-RCAR-V3H-WS21,DA9223-AT,NP90N06VLK,R5F10PBE,R5F10PBD,R5F10BGF,Y-RCAR-V3H-CONDOR-I-BRD-WS20,R5F10BGE,SLG46880-A,R5F10BGD,Y-RH850-X1X-MB-T1-V1,R5F10BGC,R8A77970,ISL78424,ZSSC3154,DA9062-A,ISL76671,R5F10BGG,NP75N055YUK,NP89N055PUK,NP20P04SLG,R5F113GL,RH850/P1L-C,R5F113GK,ZSSC4151,R5F10DLE,R5F10DLD,R5F10968,R-CAR M3NE-2G,ISL78610,R5F1096E,R5F1096D,R5F1096C,R5F1096B,R5F1096A,Y-ASK-RCAR-V3M-WS20-REV2,RTP0RC77951SKBX010SA03,P9149W,R5F10AGG,R5F10DMJ,QB-R5F10BMG-TB,R5F10AGF,ZSSC3170,R5F10AGE,R5F10AGD,R5F10DMG,R5F10AGC,R5F10DMF,Y-RH850-U2A-292PIN-PB-T1-V2,R5F10DME,R5F10AGA,R5F10DMD,ISL78600,RL78/F13-LIN,Y-R-CAR-D3-BOARD-DEV-WS11,DA9063-A,R- CAR H3NE-1.7G,R7F701710,RH850/P1M-C,RH850/P1M-E,DA9063L-A,QB-R5F10PPJ-TB,Y-RH850-X1X-MB-T2-V1,NP50P06KDG,ZSSC4175,R7F701708,R5F10CLD,R7F701709,NP75N04VUK,5P35023,5P35021,Y-ASK-RCAR-V3M-WS20,NP15P04SLG,R7F701278EAFP,Y-RH850-F1X-048PIN-PB-T1-V1,ZSSC4169,NP100P04PDG,R7F701715,R7F701714,R7F701711,Y-RH850-P1XC-292PIN-PB-T1-V2,ZSSC4161,ZSSC4162,ISL76683,Y-QB-RL78F15-ZZZ-EE,ZSSC4165,R5F10CME,R5F10CMD,R7F701371,R7F701372,NP60N04VDK,R-CAR V4X系列,RH850/X2X,Y-RH850-TFT-EXT-BRD,RH850/F1K,R5F10PGH,R7F701379,R5F10PGG,R5F10PGF,R7F701377,R5F10PGE,R7F701378,Y-RH850-E2X-40NM-EMU-ADAPTER-REV2,R5F10PGD,R7F701375,NP100P06PDG,R7F701376,DA9214-A,R7F701373,R7F701374,R5F10BLC,R5F10DPE,TW8819,R5F10PGJ,SLG46620-A,F1KM-S4,R5F10DPL,R5F10DPK,R5F10DPJ,R5F10BLG,R5F10BLF,R5F10BLE,R5F10DPG,R5F10BLD,R5F10DPF,R7F701382,R7F701383,R7F701380,R7F701381,ISL78365,R-CAR M3E,NP16N06QLK,R5F113LK,R7F701388,R7F701389,R5F10TPJ,R7F701386,R7F701384,R7F701385,NP90N04VLK,R5F113LL,TW8809,RTP8J77961ASKB0SK0SA05A,R5F10BMG,R5F10BMF,R5F10BME,R-CAR M3N,NP33N06YDG,5PB1110,RTE0T0002LKCE00000R,Y-ASK-RCAR-H3-8GB-WS30,R7F701275EABG,Y-BLDC-RH850F1KM-S1-V2,R5F113ML,R5F113MK,R7F701597,NP90N06VDK,NP50P03YDG,DA9215-A,ΜPD166031A,R5F10ALD,R5F10ALC,Y-RH850-F1X-176PIN-PB-T1-V4,NP20P06SLG,NP30N04QUK,TW8832,R5F10ALG,TW8836,R5F10ALF,R5F10ALE,NP83P04PDG,TW8834,DA9141-AT,RH850/X1X,RAA271005,RAJ2800044H12HPF,F1KM-S1,RAA271001,RAA271000,5PB1104,NP36P04KDG,R5F10AME,R-CAR S4,DA9130-AT,RH850/U2A16,RTP0RC77990SEB0020SA00,NP100N04PUK,RH850,Y-RH850-P1XC-144PIN-PB-T1-V1,R5F10DSL,R5F10DSK,R5F10AMG,R5F10DSJ,TW8824,R5F10AMF,TW8823,R7F701690,R7F701691,RH850/ F1KH-D8,DA9142-AT,RTP0RC77965SIPB012S-S,RV1S9184Q,R7F701694,R7F701695,R7F701692,R7F701693,RAA2S4253B,R7F701689,RH850/P1H-C,IPS2550DE1R,NP45N06VUK,NP50P04KDG,R5F10PLE,R5F113PG,R7F701580,R7F701581,DA9063L-AT,Y-R-CAR-M3W-8GB-BOARD-SKT-WS30,R-CAR GEN3E 系列,RH850/P1X-C,R7F701586,R5F10PLJ,R5F113PL,R7F701587,R5F113PK,R-CAR V3X 系列,NP36P06KDG,R5F10PLH,R5F113PJ,DA9224-A,R5F10PLG,R7

选型指南 - RENESAS - 版本 5.0-1 - 2022.04 PDF 中文下载

【产品】瑞萨第三代汽车级SOC RCAR-M3带你走进自动驾驶时代

瑞萨电子推出第三代Rcar系列芯片，致力于高级安全（智能）驾驶系统和车载娱乐系统，建立一个完善的无人驾驶领域半导体的技术平台。其中新的Rcar-M3成员（SOC），提供ARM双核cortex-A57以及4核cortex-A53的高CPU性能、3D图像识别处理引擎，符合ISO 26262（ASIL-B）的安全等级，支持系统级封装（SiP）集成高速缓存，功能完善，完美支持先进驾驶辅助系统的开发设计。

新产品发布时间 : 2018-07-29

How to Build Together a Safe and Efficient AD ＆ ADAS Central Computing Solution

Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.

技术探讨发布时间 : 2023-11-30

【产品】瑞萨新一代SOC R-Car V3H，专为自动驾驶前置摄像头应用

瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H，集成了专门针对图像处理的功能单元，它比R-Car V3M在视觉处理方面的性能提高了5倍，并只有0.3瓦的超低功耗，更好的适应自动驾驶的需求。

新产品发布时间 : 2018-03-07

【产品】全新开放式平台，加大对ADAS及自动驾驶的支持

新型R-Car V3M SoC符合ISO26262功能安全标准，为视觉处理提供了低功耗硬件加速功能，还配有内置图像信号处理器。

新产品发布时间 : 2017-04-25

【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法

RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式，总共512个输出，同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件，那我如何查看这些数据呢，本文记录数据查看方法。

设计经验发布时间 : 2023-09-23

【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南

RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类，都是可以在端侧执行的，本文记录.pb的推理输出以及benchmark过程实操及解析。

设计经验发布时间 : 2023-09-21

汽车成功产品组合

型号- ISL78010,RH850/F1L,R-CAR V3X,DA9214-A,RBA250N10,RL78/F23,RL78/F24,SLG46620-A,NP75N04YUK,R-CAR V4H,ZSSC417X,DA16600MOD,RXRAA279972,R-CAR E3,RH850/F1X,NP90N04VLK,5P49V60,RL78/F1X,DA7280-A,R-CAR M3N,RH850/D1M1A,ANL3,U2A16,RH850/P1X,ANL2,R-CAR D SERIES,R-CAR H SERIES,RL78 SERIES,NP20P06SLG,UPD166031A,RH850 / F1X,RH850/C,ISL78714,ISL78264,RBA160N04AHPF,RAA271005,RAA271000,R-CAR S4,RH850/U2A16,TXRAA279971,SERIES,NP100N04PUK,RH850,UPD166027,RL78/15,RL78/G23-64P,RAJ2800034,RH850/P1M,ISL78215,RH850/F1KM-S1,HS4011,5P49V60A,ΜPC842A,DA7280,DA9224-A,RAJ2800024,PR-INV06500780-FB,RTKA279971ZB0000BU,RTK7RLG230CLG000BJ,RAA278840,RAA270005KFP,RAA278842,ISL78206,ISL78208,ISL78322,RL78,ISL78444,TW8847,TW8846,RAA270005,NP109N04PUK,ISL78233,ISL1208,NP89N04PUK,R-CAR H3,RAA270000,R-CAR E SERIES,DA9213-A,R-CAR M SERIES,RAA279940,NP89N04PDK,NP50N04YUK,ISL78234,ISL78235,ISL78236,UPD166027T1J,RH850 / D1M1A,RAA270000KFT,R-CAR V3U,DA728X,RAJ2800044,RL78/F13,RL78/F14,R-CAR V3M,IPS2550,R-CAR V3H,P9261-3C,TW884X,ISL78224,UPD166033T1U,ISL78226,RH850 / F1KM-S1,RJQ7031,NP75N04YLG,ISL78714XB-EVKIT1Z,NP90N04VDK,ISL78419,RH850/C系列,RBA250N10CHPF-4UA02,RTK7F124FGS00000BJ,DA9063L,TW99XX,ISL799XX,RH850 U2X,NP90N04VUK,DA9063A,NP75N04YUKX6,XLH335006.005284K,RL78 / F1X,ISL78083,R-CAR S SERIES,DA14531,ANL3 SERIES,RAA279971,RAA279972,R-CAR M3,RV1S2752Q,RAA2788XX,TW88XX,RAA270205,ISL78310,RH850/D1M1-A,RA A271000,DA9223A,SLG46827-A,ISL81601,RH850/C1M-A2,RH850/C1M-A1,RH850-P1M,RAA2799XX,RJU7032,RH850/CM-AX,ZSSC4132,ISL78434,ISL78420,DA9224A,DA9223-A,RAA271082,RH850/F1KM,RH850/C1X,9FGV0841,ISL78307,ISL78301,ISL78424,NP180N04TUK,ISL78171,RBA250N04AHPF,RH850/C1M-AX,RH850/U2X,ZMOD4510,ISL78714BMS5XBEKIT1Z,R2A25110,IW7039-A,NP110N04PUK,ZSSC3170,RH850F1KM-S1,DA9063-A,RTK7F70169S00000BJ,R-CAR S,RAA271050,DA16200,RH850/P1M-E,RH850/U2AX,UPD166033,UPD166034,SLG46855-A,RAA2778842,ISL12022,ISL78434X3,RAA2778843,RAA2778840,UPD166031,UPD166032,R-CARS4,R-CAR V SERIES,5P35023,5P35021,ZMOD4410,NP15P04SLG,UPC842AMP,RAA271041,ANL2 SERIES,RH850/E1X,RH850/U2BX,UPD166029,ISL76683,RH850/U2A,ZSSC4165

商品及供应商介绍 - RENESAS - 2023.02 PDF 中文下载