瑞萨电子将与Fixstars联合开发工具套件用于优化R-Car SoC AD/ADAS AI软件

时间： 2022-12-29 来源：瑞萨电子公众号

技术问答

选型帮助

研发客服

商务客服

全球半导体解决方案供应商瑞萨电子今日宣布，将与专注于多核CPU/GPU/FPGA加速技术的全球卓越供应商Fixstars（Fixstars Corporation）联合开发用以优化并快速模拟专为瑞萨R-Car片上系统（SoC）所设计的自动驾驶系统（AD系统）及高级驾驶辅助系统（ADAS）的软件工具。借助这些工具，在软件开发的初始阶段便可充分利用R-Car的性能优势来快速开发具有高精度物体识别功能的网络模型，由此减少开发后返工，进一步缩短开发周期。

瑞萨电子汽车软件开发部副总裁川口裕史表示：“瑞萨持续打造集成开发环境，推动客户充分采用‘软件优先’的方法。此外，通过支持为R-Car量身定制的深度学习模型开发，瑞萨帮助客户搭建AD和ADAS解决方案，同时也减少了上市时间与开发成本。”

Fixstars公司CEO三木聪表示：“GENESIS for R-Car作为我们与瑞萨联合创建的基于云的评估环境，允许工程师在开发周期的早期评估并选择器件，得到了众多客户的青睐。我们将继续前沿技术的研发，加速可用于维护汽车应用中最新版本软件的机器学习操作（MLOps）。”

当前的AD和ADAS应用利用深度学习来实现高精度物体识别。深度学习推理处理需要大量数据计算和内存容量。由于在有限的计算单元和内存资源下进行实时处理是一项极具挑战性的任务，因此车载应用上的模型和可执行程序必须针对车用SoC进行优化。此外，从软件评估到验证的过程必须加快，并且需要反复更新以提高准确性及性能。为了满足这些需求，瑞萨和Fixstars已经开发了以下工具。

1、用于生成针对R-Car优化网络模型的R-Car神经架构搜索（NAS）工具

该工具生成深度学习网络模型，可有效利用R-Car器件上的CNN（卷积神经网络）加速器、DSP和内存。这使工程师能够快速开发轻量级网络模型，即使没有对R-Car架构的深入了解或经验，也能实现高度准确的物体识别并获得快速处理时间。

2、用于编译R-Car的网络模型R-Car DNN编译器

该编译器将优化的网络模型转换为可以充分利用R-Car性能潜力的程序。它将网络模型转换为可以在CNN IP上快速运行的程序，并进行内存优化，使高速、有限容量的SRAM性能最大化。

3、用于快速模拟已编译程序的R-Car DNN模拟器

这一模拟器可用来在个人电脑（PC），而非实际R-Car芯片上快速验证程序的运行。利用这一工具，开发人员可以生成与R-Car相同的运行结果。在让模型更为轻巧和优化程序的过程中，如果推理处理的识别精度受到影响，工程师能够为模型开发提供即时反馈，从而缩短开发周期。

瑞萨和Fixstars将继续利用联合“汽车软件平台实验室”共同开发深度学习软件，并建立操作环境，通过持续更新网络模型来维持并提升识别精度与性能。

目前推出的首套工具面向AD和ADAS应用的R-Car V4H SoC而设计。其高达34TOPS（每秒万亿次运算）的强大深度学习性能与卓越的能效特性相结合。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由翊翊所思转载自瑞萨电子公众号，原文标题为:瑞萨电子将与Fixstars联合开发工具套件用于优化R-Car SoC AD/ADAS AI软件，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

英业达与瑞萨电子联合开发汽车网关概念验证产品，双方的技术合作将加速全球新一代汽车的发展

2023 年 9 月 11 日，中国台北讯 - 全球高性能服务器厂商英业达（TPE：2356）与全球半导体解决方案供应商瑞萨电子（TSE：6723）今日宣布，双方将共同为快速增长的电动汽车（EV）市场设计汽车网关解决方案。针对一级汽车零部件供应商和OEM，两家公司将基于瑞萨电子 R-Car 片上系统 (SoC) 开发互联网关的概念验证 (PoC) 产品。

原厂动态发布时间 : 2023-09-21

瑞萨R-Car系列SoC为DMS/OMS提供创新的可扩展解决方案

瑞萨R-Car系列汽车片上系统为驾驶员/乘客监控提供了创新的可扩展解决方案，无论是作为独立的DMS＆OMS，还是与其他ADAS应用（前置摄像头和环绕视图系统）的集成。R-Car V3M/V3H搭载了最先进的计算机视觉和深度学习处理，可用于人脸检测识别、手势检测和分类。

原厂动态发布时间 : 2021-06-09

Renesas and Fixstars to Jointly Development Suite that Optimizes AD and ADAS AI Software for R-Car SoCs

The first set of tools available today is designed for the R-Car V4H SoC for AD and ADAS applications that combines powerful deep-learning performance of up to 34 tera operations per second (TOPS) with superior energy efficiency.

原厂动态发布时间 : 2022-12-27

【产品】低功耗全高清ADAS专用低功耗SoC芯片SGKS6802

森国科SGKS6802是一款针对高级辅助驾驶(ADAS)、流媒体后视镜、夜视系统、透雾透霾及图形图像识别与处理等产品开发的ADAS专用低功耗SoC芯片，1080P@30fps+720P@30fps双路码流H.264编码及高质量的ISP处理。

新产品发布时间 : 2021-07-23

【产品】瑞萨第三代汽车级SOC RCAR-M3带你走进自动驾驶时代

瑞萨电子推出第三代Rcar系列芯片，致力于高级安全（智能）驾驶系统和车载娱乐系统，建立一个完善的无人驾驶领域半导体的技术平台。其中新的Rcar-M3成员（SOC），提供ARM双核cortex-A57以及4核cortex-A53的高CPU性能、3D图像识别处理引擎，符合ISO 26262（ASIL-B）的安全等级，支持系统级封装（SiP）集成高速缓存，功能完善，完美支持先进驾驶辅助系统的开发设计。

新产品发布时间 : 2018-07-29

【产品】瑞萨新一代SOC R-Car V3H，专为自动驾驶前置摄像头应用

瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H，集成了专门针对图像处理的功能单元，它比R-Car V3M在视觉处理方面的性能提高了5倍，并只有0.3瓦的超低功耗，更好的适应自动驾驶的需求。

新产品发布时间 : 2018-03-07

How to Build Together a Safe and Efficient AD ＆ ADAS Central Computing Solution

Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.

技术探讨发布时间 : 2023-11-30

【产品】全新开放式平台，加大对ADAS及自动驾驶的支持

新型R-Car V3M SoC符合ISO26262功能安全标准，为视觉处理提供了低功耗硬件加速功能，还配有内置图像信号处理器。

新产品发布时间 : 2017-04-25

【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南

RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类，都是可以在端侧执行的，本文记录.pb的推理输出以及benchmark过程实操及解析。

设计经验发布时间 : 2023-09-21

【经验】车规级SoC R CAR V3H2平台端工具链转换前 mobilenetv2.onnx浮点模型推理验证

RENESAS 车规级SoC R CAR V3H2平台上推理模型前，我们需要训练好自己的模型，目前通常采用迁移调优模型方式形成满足需求的浮点模型，并验证浮点模型的精度，耗时等性能，本文在ubuntu上用python推理浮点mobilenetv2.onnx模型。我们根据链接在公版的mobilenetv2模型基础上，迁移调优学习了自己采集的图片数据形成了自己要求的mobilenetv2.onnx模型。

设计经验发布时间 : 2023-09-24

汽车成功产品组合

型号- ISL78010,RH850/F1L,R-CAR V3X,DA9214-A,RBA250N10,RL78/F23,RL78/F24,SLG46620-A,NP75N04YUK,R-CAR V4H,ZSSC417X,DA16600MOD,RXRAA279972,R-CAR E3,RH850/F1X,NP90N04VLK,5P49V60,RL78/F1X,DA7280-A,R-CAR M3N,RH850/D1M1A,ANL3,U2A16,RH850/P1X,ANL2,R-CAR D SERIES,R-CAR H SERIES,RL78 SERIES,NP20P06SLG,UPD166031A,RH850 / F1X,RH850/C,ISL78714,ISL78264,RBA160N04AHPF,RAA271005,RAA271000,R-CAR S4,RH850/U2A16,TXRAA279971,SERIES,NP100N04PUK,RH850,UPD166027,RL78/15,RL78/G23-64P,RAJ2800034,RH850/P1M,ISL78215,RH850/F1KM-S1,HS4011,5P49V60A,ΜPC842A,DA7280,DA9224-A,RAJ2800024,PR-INV06500780-FB,RTKA279971ZB0000BU,RTK7RLG230CLG000BJ,RAA278840,RAA270005KFP,RAA278842,ISL78206,ISL78208,ISL78322,RL78,ISL78444,TW8847,TW8846,RAA270005,NP109N04PUK,ISL78233,ISL1208,NP89N04PUK,R-CAR H3,RAA270000,R-CAR E SERIES,DA9213-A,R-CAR M SERIES,RAA279940,NP89N04PDK,NP50N04YUK,ISL78234,ISL78235,ISL78236,UPD166027T1J,RH850 / D1M1A,RAA270000KFT,R-CAR V3U,DA728X,RAJ2800044,RL78/F13,RL78/F14,R-CAR V3M,IPS2550,R-CAR V3H,P9261-3C,TW884X,ISL78224,UPD166033T1U,ISL78226,RH850 / F1KM-S1,RJQ7031,NP75N04YLG,ISL78714XB-EVKIT1Z,NP90N04VDK,ISL78419,RH850/C系列,RBA250N10CHPF-4UA02,RTK7F124FGS00000BJ,DA9063L,TW99XX,ISL799XX,RH850 U2X,NP90N04VUK,DA9063A,NP75N04YUKX6,XLH335006.005284K,RL78 / F1X,ISL78083,R-CAR S SERIES,DA14531,ANL3 SERIES,RAA279971,RAA279972,R-CAR M3,RV1S2752Q,RAA2788XX,TW88XX,RAA270205,ISL78310,RH850/D1M1-A,RA A271000,DA9223A,SLG46827-A,ISL81601,RH850/C1M-A2,RH850/C1M-A1,RH850-P1M,RAA2799XX,RJU7032,RH850/CM-AX,ZSSC4132,ISL78434,ISL78420,DA9224A,DA9223-A,RAA271082,RH850/F1KM,RH850/C1X,9FGV0841,ISL78307,ISL78301,ISL78424,NP180N04TUK,ISL78171,RBA250N04AHPF,RH850/C1M-AX,RH850/U2X,ZMOD4510,ISL78714BMS5XBEKIT1Z,R2A25110,IW7039-A,NP110N04PUK,ZSSC3170,RH850F1KM-S1,DA9063-A,RTK7F70169S00000BJ,R-CAR S,RAA271050,DA16200,RH850/P1M-E,RH850/U2AX,UPD166033,UPD166034,SLG46855-A,RAA2778842,ISL12022,ISL78434X3,RAA2778843,RAA2778840,UPD166031,UPD166032,R-CARS4,R-CAR V SERIES,5P35023,5P35021,ZMOD4410,NP15P04SLG,UPC842AMP,RAA271041,ANL2 SERIES,RH850/E1X,RH850/U2BX,UPD166029,ISL76683,RH850/U2A,ZSSC4165

商品及供应商介绍 - RENESAS - 2023.02 PDF 中文下载

【经验】使用瑞萨SoC R CAR V3H2 cnn工具链实现onnx模型转caffe模型的实操

R CAR V3H2 的cnn神经网络模块需要运行int16的定点模型，而onnx模型首先需要通过cnn工具链转成caffe模型，然后再转成端侧的可执行模型，本文使用瑞萨的cnn工具链实现onnx模型转caffe模型。

设计经验发布时间 : 2023-08-14

【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法

RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式，总共512个输出，同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件，那我如何查看这些数据呢，本文记录数据查看方法。

设计经验发布时间 : 2023-09-23

Renesas Introduces Complete Power and Functional Safety Solution for R-Car V3H ADAS Camera Systems

March 30, 2021 - Renesas Electronics Corporation, a premier supplier of advanced semiconductor solutions, announced a new power and functional safety solution for systems based on the R-Car V3H system-on-chip (SoC) for advanced driver assistance systems (ADAS) automotive front cameras and driver monitor cameras.The new solution includes the RAA271050, a 42V synchronous buck ‘pre-regulator‘ that accepts the vehicle‘s 12V supply and steps it down to an intermediate supply voltage of 3.3V or 5.0V.

新产品发布时间 : 2021-04-20