【经验】如何优化AD/ADAS的SoC AI性能？

时间： 2023-07-18 来源：RENESAS 官网

技术问答

近年，随着深度学习（DeepLearning）人工智能（AI）技术的进步，我们的生活中出现了许多直接有益的应用场景，例如自动翻译精度的提升和根据消费者喜好的个性化推荐。截至2023年，AI在某些领域已经成为产品和服务中不可或缺的应用，其中之一就是自动驾驶（AD）和先进驾驶辅助系统（ADAS）。

以深度神经网络（DNN）为代表的最新人工智能模型的处理需要大规模的并行计算，因此在PC开发中通常使用通用的GPU进行并行计算。另一方面，用于AD和ADAS的SoC多数搭载了专用电路（以下简称加速器），实现了低功耗和高性能的DNN处理。然而，在SoC开发的早期阶段，确认搭载的加速器能否在实际所需的DNN中提供足够的性能通常并不容易。性能比较的指标常常使用加速器设计上的最大计算性能TOPS（Tera Operations Per Second）值，或者其与运行时消耗的功率相除得到的TOPS/W值。然而，由于加速器是针对特定处理的专用设计（*1），即使TOPS值足够高，在实际所需的DNN中也可能由于存在无法高效处理的计算或数据传输带宽不足等问题而无法提供足够的性能。此外，加速器的功率增加可能导致整个SoC的功耗超过可接受的范围。

(*1) 专用设计：虽然使用通用GPU作为加速器也是可能的，但处理特定任务的硬件，可以在较小的电路规模和功耗下获得更高的处理性能。例如瑞萨的车载SoC R-Car V3H、R-Car V3M和R-Car V4H搭载的加速器具有专为处理DNN中使用卷积操作进行特征提取的卷积神经网络（CNN）任务而设计的结构。

随着SoC开发的深入，由于性能不足或功耗过大等原因而进行设计变更的难度普遍增加，对SoC开发进度和开发成本的影响也随之增加。因此，在开发面向车载AI设备的SoC时，确认搭载的加速器能否在实际顾客产品中所需的DNN中提供足够的性能，并且功耗是否在可接受范围内，已成为迫切的问题。

面向AD/ADAS的一般AI开发流程

在解释如何解决上述问题之前，先简单介绍一下AD/ADAS的AI开发流程。下面的图1展示了在AD/ADAS中以软件为核心，并包括部分SoC开发的AI开发流程的示例。

图1：AD/ADAS中AI开发流程的例子

图1将整个开发工作分为六个阶段，其中第2和第3阶段为SoC电路设计，其他第1和第4-6阶段为软件开发。下面给出了每个阶段的工作概述。

第一阶段AI Application/Service Common Development，利用PC和云环境，以应对市场需求和技术趋势，开发面向AD/ADAS的AI应用程序和服务。

第二阶段AI Accelerator Detail Design，涵盖了构成加速器硬件的部件设计，如计算单元、内部存储器和数据传输单元。

在第三阶段AI Accelerator Configuration中，第二阶段中设计的组件被组合起来，以优化面积、功率和性能之间的权衡，同时确定加速器在SoC中的配置以实现各自的设计目标。

在第四阶段DNN Model Architecture Design中，在第三阶段中确定的加速器配置被用来优化每个用于客户产品的DNN网络的结构。

第五阶段DNN Inference Optimization将针对经过第四阶段结构优化的每个网络进行适用于加速器的代码生成，并进行精度和处理时间的详细评估。同时，将对代码和模型数据进行优化，以提高性能。

第六阶段Application Development将使用第五阶段中优化的代码和模型数据，将AI处理部分嵌入到实际的自动驾驶等处理中，并进行应用的实现和评估。

瑞萨的工作

在上一节所示的AD/ADAS中的AI开发流程中，判断实际使用的DNN是否能够在所配备的加速器上提供足够的性能，通常需要在决定加速器配置的第三阶段AI Accelerator Configuration中进行决策。

传统上，在这一阶段的决策是通过使用类似加速器的现有SoC进行的基准测试结果来估计的，但对于因增加或改变功能而与现有SoC规格不同的部分，无法获得基准测试结果，因此无法通过高度精确的估计来确定是否能达到设计目标。

瑞萨通过使用PPA Estimator (PPA是Performance, Power, Area的首字母)而不是现有的SoC基准测试来解决这个课题。PPA Estimator通过使用反映加速器每个组件设计的性能和功率计算模型，使性能和功耗在加速器配置最终确定之前得到估算。具体来说，列出可能的加速器配置（可改变的加速器参数的组合，如处理单元的数量和内部存储器的容量）进行评估，选择其中一个配置并与要评估的一个DNN一起输入PPA Estimator中，以获得所需的执行时间和功耗。然后，可以针对所需评估的加速器配置和DNN的数量进行重复操作，收集数据，并找到最佳的加速器配置。如此，不仅可以确定一个特定的加速器配置和DNN组合是否有足够的性能，而且还可以收集广泛的数据并从中选择最佳加速器配置。

此外，为了使第三阶段AI Accelerator Configuration更加有效，瑞萨还通过将从PPA Estimator执行结果中获得的信息反馈给目标DNN的网络模型，并行改进软件方面的工作，也就是进行硬件-软件联合设计（co-design）。AI Accelerator Configuration阶段的工作流程如下图2所示。

图2：AI Accelerator Configuration工作流程

瑞萨已开始将PPA Estimator应用于从2023年开始的一些带有AI处理加速器的AD/ADAS的SoC的开发中，并计划逐步扩大应用范围。瑞萨将利用PPA Estimator的高度精确性能寻找最佳配置以开发高性能、低功耗的车载AI加速器。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由上山打老虎转载自RENESAS 官网，原文标题为:面向AD/ADAS的SoC的AI性能优化，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南

RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类，都是可以在端侧执行的，本文记录.pb的推理输出以及benchmark过程实操及解析。

设计经验发布时间 : 2023-09-21

【经验】车规级SoC R CAR V3H2平台端工具链转换前 mobilenetv2.onnx浮点模型推理验证

RENESAS 车规级SoC R CAR V3H2平台上推理模型前，我们需要训练好自己的模型，目前通常采用迁移调优模型方式形成满足需求的浮点模型，并验证浮点模型的精度，耗时等性能，本文在ubuntu上用python推理浮点mobilenetv2.onnx模型。我们根据链接在公版的mobilenetv2模型基础上，迁移调优学习了自己采集的图片数据形成了自己要求的mobilenetv2.onnx模型。

设计经验发布时间 : 2023-09-24

【经验】SoC R CAR V3H2 CNN工具链转换restnet18 caffe模型为端侧可执行命令过程解析

RENESAS SoC R CAR V3H2 CNN工具链最主要的功能就是把caffe,onnx等模型转换为V3H2 芯片端可执行模型，命令，本文记录并分析此转换过程。

设计经验发布时间 : 2023-09-16

【产品】低功耗全高清ADAS专用低功耗SoC芯片SGKS6802

森国科SGKS6802是一款针对高级辅助驾驶(ADAS)、流媒体后视镜、夜视系统、透雾透霾及图形图像识别与处理等产品开发的ADAS专用低功耗SoC芯片，1080P@30fps+720P@30fps双路码流H.264编码及高质量的ISP处理。

新产品发布时间 : 2021-07-23

硬创峰会热点提前知：新能源、车联网、自动驾驶为汽车论坛关键词

行业资讯发布时间 : 2019-02-28

电子秤产品上用了芯海的SOC芯片，切换ADC通道后，须丢弃多少笔AD数值才稳定？

切换AD通道后，须丢弃前三笔转换的AD值，以确保转换的数值正确性。

技术问答发布时间 : 2019-10-10

【产品】瑞萨第三代汽车级SOC RCAR-M3带你走进自动驾驶时代

瑞萨电子推出第三代Rcar系列芯片，致力于高级安全（智能）驾驶系统和车载娱乐系统，建立一个完善的无人驾驶领域半导体的技术平台。其中新的Rcar-M3成员（SOC），提供ARM双核cortex-A57以及4核cortex-A53的高CPU性能、3D图像识别处理引擎，符合ISO 26262（ASIL-B）的安全等级，支持系统级封装（SiP）集成高速缓存，功能完善，完美支持先进驾驶辅助系统的开发设计。

新产品发布时间 : 2018-07-29

【产品】瑞萨新一代SOC R-Car V3H，专为自动驾驶前置摄像头应用

瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H，集成了专门针对图像处理的功能单元，它比R-Car V3M在视觉处理方面的性能提高了5倍，并只有0.3瓦的超低功耗，更好的适应自动驾驶的需求。

新产品发布时间 : 2018-03-07

How to Build Together a Safe and Efficient AD ＆ ADAS Central Computing Solution

Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.

技术探讨发布时间 : 2023-11-30

【产品】全新开放式平台，加大对ADAS及自动驾驶的支持

新型R-Car V3M SoC符合ISO26262功能安全标准，为视觉处理提供了低功耗硬件加速功能，还配有内置图像信号处理器。

新产品发布时间 : 2017-04-25

汽车成功产品组合

型号- ISL78010,RH850/F1L,R-CAR V3X,DA9214-A,RBA250N10,RL78/F23,RL78/F24,SLG46620-A,NP75N04YUK,R-CAR V4H,ZSSC417X,DA16600MOD,RXRAA279972,R-CAR E3,RH850/F1X,NP90N04VLK,5P49V60,RL78/F1X,DA7280-A,R-CAR M3N,RH850/D1M1A,ANL3,U2A16,RH850/P1X,ANL2,R-CAR D SERIES,R-CAR H SERIES,RL78 SERIES,NP20P06SLG,UPD166031A,RH850 / F1X,RH850/C,ISL78714,ISL78264,RBA160N04AHPF,RAA271005,RAA271000,R-CAR S4,RH850/U2A16,TXRAA279971,SERIES,NP100N04PUK,RH850,UPD166027,RL78/15,RL78/G23-64P,RAJ2800034,RH850/P1M,ISL78215,RH850/F1KM-S1,HS4011,5P49V60A,ΜPC842A,DA7280,DA9224-A,RAJ2800024,PR-INV06500780-FB,RTKA279971ZB0000BU,RTK7RLG230CLG000BJ,RAA278840,RAA270005KFP,RAA278842,ISL78206,ISL78208,ISL78322,RL78,ISL78444,TW8847,TW8846,RAA270005,NP109N04PUK,ISL78233,ISL1208,NP89N04PUK,R-CAR H3,RAA270000,R-CAR E SERIES,DA9213-A,R-CAR M SERIES,RAA279940,NP89N04PDK,NP50N04YUK,ISL78234,ISL78235,ISL78236,UPD166027T1J,RH850 / D1M1A,RAA270000KFT,R-CAR V3U,DA728X,RAJ2800044,RL78/F13,RL78/F14,R-CAR V3M,IPS2550,R-CAR V3H,P9261-3C,TW884X,ISL78224,UPD166033T1U,ISL78226,RH850 / F1KM-S1,RJQ7031,NP75N04YLG,ISL78714XB-EVKIT1Z,NP90N04VDK,ISL78419,RH850/C系列,RBA250N10CHPF-4UA02,RTK7F124FGS00000BJ,DA9063L,TW99XX,ISL799XX,RH850 U2X,NP90N04VUK,DA9063A,NP75N04YUKX6,XLH335006.005284K,RL78 / F1X,ISL78083,R-CAR S SERIES,DA14531,ANL3 SERIES,RAA279971,RAA279972,R-CAR M3,RV1S2752Q,RAA2788XX,TW88XX,RAA270205,ISL78310,RH850/D1M1-A,RA A271000,DA9223A,SLG46827-A,ISL81601,RH850/C1M-A2,RH850/C1M-A1,RH850-P1M,RAA2799XX,RJU7032,RH850/CM-AX,ZSSC4132,ISL78434,ISL78420,DA9224A,DA9223-A,RAA271082,RH850/F1KM,RH850/C1X,9FGV0841,ISL78307,ISL78301,ISL78424,NP180N04TUK,ISL78171,RBA250N04AHPF,RH850/C1M-AX,RH850/U2X,ZMOD4510,ISL78714BMS5XBEKIT1Z,R2A25110,IW7039-A,NP110N04PUK,ZSSC3170,RH850F1KM-S1,DA9063-A,RTK7F70169S00000BJ,R-CAR S,RAA271050,DA16200,RH850/P1M-E,RH850/U2AX,UPD166033,UPD166034,SLG46855-A,RAA2778842,ISL12022,ISL78434X3,RAA2778843,RAA2778840,UPD166031,UPD166032,R-CARS4,R-CAR V SERIES,5P35023,5P35021,ZMOD4410,NP15P04SLG,UPC842AMP,RAA271041,ANL2 SERIES,RH850/E1X,RH850/U2BX,UPD166029,ISL76683,RH850/U2A,ZSSC4165

商品及供应商介绍 - RENESAS - 2023.02 PDF 中文下载

【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法

RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式，总共512个输出，同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件，那我如何查看这些数据呢，本文记录数据查看方法。

设计经验发布时间 : 2023-09-23

【选型】Renesas（瑞萨电子）汽车电子产品选型指南

目录- RENESAS解决方案 RH850 40nm单片机安全驾驶系统的SoC(R-Car)解决方案环保汽车的模拟和功率器件技术 HEV/EV 动力传动系统底盘和安全 ADAS 车身 RL78低功耗汽车单片机驾驶舱系统解决方案驾驶舱系统专用R-Car SoC器件汽车仪表汽车音响基础技术汽车功能安全和网络安全支持计划瑞萨电子和AUTOSAR的三大优势 RH850族开发工具瑞萨电子开发工具

型号- 4H12HPF,NP60N04VDK,R-CARH3,RH850/F1H,R-CARH2,R-CARH1,R-CARW1R,RH850/F1K,RH850/F1L,ΜPD166033T1U,NP60N04VUK,R32C,NP75N04YUK,RH850/F1M,SH72544R,¦ÌPD166036GR,R2A25108KFP,V850/FX4,R-CARXX,RAJ280002,RAJ280004,RAJ280003,R-CAR E1,R-CAR E2,R-CAR GEN3,RH850/F1X,R8C/3X,SH72543R,RL78/F1X,¦ÌPD166023T1J,SH72567R,RH850/D1L1,¦ÌPD166028T1K,ΜPD166038T1J,¦ÌPD166034T1U,RNA519XX,R-CAR D1,RH850/P1X,SH72A0,V850/FX4-H,¦ÌPD166035GR,V850/FX4-L,R-CAR T2,4H11HPF,R-CARE2,R-CARE1,RAA27001X,R-CARGEN1,R-CARGEN2,R-CARGEN3,R8C/5X,V850E2/PG4-L,ΜPD166027T1J,NP100N04PUK,RH850,R2A25107KFP,V850E2/PG4-S,NP160N055TUK,V850/DX4,V850E2/PX4,RH850/D1M2(H),R-CARGEN2,R-CARGEN3,R-CARV3M,R-CAR W2R,R2A251XX,RH850/P1M,R-CAR D1,RH850/P1H-C,R-CARM3,R-CAR W2H,R-CARM2,R-CARM1,V850,RH850/D1LX,R-CARM1A,R-CAR YY,R-CARV2H,V850E/SX3-H,RAA270005KFP,ΜPD166029T1J,RH850/D1MX,RL78,R2A25416SP,V850ES/SX3,R-CAR XX,V850E2/PX4-L,NP109N04PUK,SH7766,R-CAR H1,R-CAR M1A,SH72AW/AY,NP89N04PUK,R-CAR H2,R-CAR GEN3,R-CAR H3,SH7769,R-CAR GEN2,NP180N055TUK,R-CAR GEN1,¦ÌPD166030T1K,V850E2/FX4-L,V850E2/FX4-H,NP29N06QDK,RH850/D1L1,ΜPD166028T1K,RH850/D1L2,RH850/E1M-S,NP90N055VUK,78K0/FX2&KX2,¦ÌPD166024T1K,R-CAR V2H,SH72546R,NP179N04TUK,¦ÌPD166029T1J,R-CARW2R,RAA270000KFT,RH850/D1M1(H),R-CARW2H,78K0/KX2,ΜPD166034T1U,RL78/F12,RH850/D1M1,RL78/F13,RH850/D1M2,RL78/F14,RL78/F15,R-CAR V3M,ΜPD166023T1J,SH72AW/SH72AY,F1H,ΜPD168890,NP160N04TUK,R-CARYY,V850E2/FX4,78K0/FX2-L,M32C/8X,F1L,SH7268,RH850/S1X,NP30N06QDK,F1K,RZ/A1M,SH7269,SH7266,F1M,SH7267,RH850/D1L2(H),RZ/A1LU,78K0R/KX3,SH726A,NP90N04VDK,SH726B,NP90N04VUK,SH7264,¦ÌPD166026T1K,SH7262,R-CAR,R-CAR,¦ÌPD166104,ΜPD166035GR,R-CARH,¦ÌPD166037T1J,R-CARE,RL78/F14RL78/F15,R2A251XX**,ΜPD166025T1J,R-CARM,R-CAR M1,R1EX24XXX,R-CAR M2,R-CAR M3,78K0S/KX1+,RH850/E1M-S2,RH850/C1H,RH850/C1M,RH850/P1M*,V850ES/FX3,V850E2/FK4-G,¦ÌPD166031T1U,ΜPD166024T1K,SH725X,V850E2/SX4-H,NP179N055TUK,SH72A0/SH72A2,R-CAR W1R,RH850/C1X,M16C,ΜPD166030T1K,PD166033T1U,V850E2/DX4,V850E2/FF4-M,¦ÌPD166025T1J,V850/DX4-H,NP180N04TUK,RL78/D1A,R-CARD1,R32C/100,RH850/D1L,RH850/D1M,NP89N055PUK,ΜPD166104,ΜPD166026T1K,RH850/D1M2H,RH850/P1H-CE,SH72AW,SH72AY,RZ/A1,78K0S/KX1,R1EX25XXX,SH7455,SH7456,¦ÌPD166027T1J,78K0/FX2,¦ÌPD166033T1U,R-CART2,R-CARD1,RH850/D1M1H,RH850/D1X,SH72A2,NP110N04PUK,ΜPD166032T1U,R-CAR M,SH72531,SH72533,RH850/E1L,R-CAR H,4H12HPF*2,RH850/P1M-C,RH850/V1R-M,¦ÌPD166038T1J,RH850/P1M-C*,4H11HPF*2,RH850/D1L2H,SH72A0/A2,R8C/2X,ΜPD166031T1U,NP75N04VUK,ΜPD166037T1J,ΜPD166036GR,SH745X,RH850P1X-C,RH850/E1X,78K0R/FX3,RH850/P1H-C*,¦ÌPD166032T1U,R-CAR E,V850/DR4-3D,R2A25110KSP,V850E2/DX4-H,RH850/ C1X

选型指南 - RENESAS PDF 中文下载

Renesas Introduces Complete Power and Functional Safety Solution for R-Car V3H ADAS Camera Systems

March 30, 2021 - Renesas Electronics Corporation, a premier supplier of advanced semiconductor solutions, announced a new power and functional safety solution for systems based on the R-Car V3H system-on-chip (SoC) for advanced driver assistance systems (ADAS) automotive front cameras and driver monitor cameras.The new solution includes the RAA271050, a 42V synchronous buck ‘pre-regulator‘ that accepts the vehicle‘s 12V supply and steps it down to an intermediate supply voltage of 3.3V or 5.0V.

新产品发布时间 : 2021-04-20