【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南

时间： 2023-09-21 来源：世强

技术问答

RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类，都是可以在端侧执行的，本文记录.pb的推理输出以及benchmark过程实操及解析。

以CNN_Frontend_V3H2为例，已经执行step1,step2,step3,step6转换好resnet18模型,这里直接使用瑞萨默认编译好的可执行文件,如果需要修改，就需要重新编译，step6把BUILD_FINAL_APP设置为True，然后在CNN_Frontend_V3H2目录下执行命令，并与瑞萨默认推理restnet18后的输出rcar_output.npy(为瑞萨自己修改restnet18网络模型后的，512，7，7模型输出数据)做benchmark，而我们这里的网络使用的是resnet18公版模型的网络，未做修改优化(瑞萨工具链自动执行优化)，看一下两者的benchmark结果：

将原始的CNN_Frontend_V3H2中，resnet18浮点模型的输出caffe_res5b_relu.npy拷贝到当前的benchmark比较文件目录下面，并把原始的CNN_Frontend_V3H2中转换模型后推理模型输出的rcar_output.npy拷贝到当前的benchmark比较文件目录下面，我们来比较下当前公版resnet18网络和模型通过瑞萨CNN工具链转换后的定点模型推理后输出的rcar_output.npy与以上2个.npy的benchmark结果：

运行推理并与caffe_res5b_relu1.npy做benchmark:

阈值为0.1，benchmark成功，执行后会把在R CAR V3H2板子上的运行结果copy到PC端：

板端的文件：

下面我再看一下与caffe_res5b_relu.npy的benchmark:

benchmark失败，差异超过了10.2868,而阈值设置为0.01，如果设置为11，就可以benchmark成功：

修改阈值为11：

再运行：

这里只做了单一图像的benchmark，根据瑞萨的文档说明可以做大批量的图片输入的benchmark测试:

这个benchmark的作用是比较通过CNN工具链转换后(浮点模型与定点模型)，他们推理图片输出的特征图之间的差异(定点模型输出需要通过cnn工具链转换时的数据格式转换为浮点数据格式)，也就是可以体现cnn工具链带来的精度损失，另外还有一种benchmark，是对开源数据集的测试验证是否准确，也就是模型的精度是否可靠，能否满足要求的，当然，如果按照第一种benchmark来看，如果浮点模型的精度足够高，而定点模型与浮点模型做benchmark差异又很小，也能证明定点模型的精度准确率是很高的。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由Bill提供，版权归世强硬创平台所有，非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：世强硬创平台”。

全部评论（0）

暂无评论

【经验】R-Car H3/H3N/M3 SoC芯片的AVS模块介绍及寄存器的配置

Renesas推出驾驶安全辅助系统和车载信息娱乐系统的第三代R-Car SoC芯片，内核方面使用的是Cortex-A57 CPU、Cortex-A53 CPU和Cortex-R7，主要面向无人驾驶、智能辅助驾驶、车机、仪表和ADAS等应用场景，并以其强大的算力和丰富的外设资源赢得了广大车厂和Tier 1的认可。本文将介绍瑞萨R-Car H3/H3N/M3的AVS模块介绍及寄存器的配置。

设计经验发布时间 : 2020-03-21

【经验】车规级SoC R CAR V3H2平台端工具链转换前 mobilenetv2.onnx浮点模型推理验证

RENESAS 车规级SoC R CAR V3H2平台上推理模型前，我们需要训练好自己的模型，目前通常采用迁移调优模型方式形成满足需求的浮点模型，并验证浮点模型的精度，耗时等性能，本文在ubuntu上用python推理浮点mobilenetv2.onnx模型。我们根据链接在公版的mobilenetv2模型基础上，迁移调优学习了自己采集的图片数据形成了自己要求的mobilenetv2.onnx模型。

设计经验发布时间 : 2023-09-24

【经验】SoC R CAR V3H2 CNN工具链转换restnet18 caffe模型为端侧可执行命令过程解析

RENESAS SoC R CAR V3H2 CNN工具链最主要的功能就是把caffe,onnx等模型转换为V3H2 芯片端可执行模型，命令，本文记录并分析此转换过程。

设计经验发布时间 : 2023-09-16

【产品】低功耗全高清ADAS专用低功耗SoC芯片SGKS6802

森国科SGKS6802是一款针对高级辅助驾驶(ADAS)、流媒体后视镜、夜视系统、透雾透霾及图形图像识别与处理等产品开发的ADAS专用低功耗SoC芯片，1080P@30fps+720P@30fps双路码流H.264编码及高质量的ISP处理。

新产品发布时间 : 2021-07-23

REF66012 – 参考设计 ADAS SoC用 PMIC解决方案

型号- BD96801Q09-CE2,BD9S303,BD9S303MUF-CE2,BD96801Q09,BD96801,BD9S303MUF

应用及方案 - ROHM - REV.001 - Mar.2024 PDF 中文下载

【产品】瑞萨新一代SOC R-Car V3H，专为自动驾驶前置摄像头应用

瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H，集成了专门针对图像处理的功能单元，它比R-Car V3M在视觉处理方面的性能提高了5倍，并只有0.3瓦的超低功耗，更好的适应自动驾驶的需求。

新产品发布时间 : 2018-03-07

How to Build Together a Safe and Efficient AD ＆ ADAS Central Computing Solution

Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.

技术探讨发布时间 : 2023-11-30

【产品】全新开放式平台，加大对ADAS及自动驾驶的支持

新型R-Car V3M SoC符合ISO26262功能安全标准，为视觉处理提供了低功耗硬件加速功能，还配有内置图像信号处理器。

新产品发布时间 : 2017-04-25

Renesa Introduced Its Next Generation ASIL-D SoC and New Automotive-Qualified Position Sensor

Renesas participated in this year‘s digital Embedded World, which took place from 1-5 March and had demonstrations in ADAS, EV, Vehicle Computer, SoC, MCU, Analog and Power, covering the full range of the latest in Renesas Automotive solutions.

厂牌及品类发布时间 : 2021-04-15

【选型】Renesas（瑞萨电子）汽车电子产品选型指南

目录- RENESAS解决方案 RH850 40nm单片机安全驾驶系统的SoC(R-Car)解决方案环保汽车的模拟和功率器件技术 HEV/EV 动力传动系统底盘和安全 ADAS 车身 RL78低功耗汽车单片机驾驶舱系统解决方案驾驶舱系统专用R-Car SoC器件汽车仪表汽车音响基础技术汽车功能安全和网络安全支持计划瑞萨电子和AUTOSAR的三大优势 RH850族开发工具瑞萨电子开发工具

型号- 4H12HPF,NP60N04VDK,R-CARH3,RH850/F1H,R-CARH2,R-CARH1,R-CARW1R,RH850/F1K,RH850/F1L,ΜPD166033T1U,NP60N04VUK,R32C,NP75N04YUK,RH850/F1M,SH72544R,¦ÌPD166036GR,R2A25108KFP,V850/FX4,R-CARXX,RAJ280002,RAJ280004,RAJ280003,R-CAR E1,R-CAR E2,R-CAR GEN3,RH850/F1X,R8C/3X,SH72543R,RL78/F1X,¦ÌPD166023T1J,SH72567R,RH850/D1L1,¦ÌPD166028T1K,ΜPD166038T1J,¦ÌPD166034T1U,RNA519XX,R-CAR D1,RH850/P1X,SH72A0,V850/FX4-H,¦ÌPD166035GR,V850/FX4-L,R-CAR T2,4H11HPF,R-CARE2,R-CARE1,RAA27001X,R-CARGEN1,R-CARGEN2,R-CARGEN3,R8C/5X,V850E2/PG4-L,ΜPD166027T1J,NP100N04PUK,RH850,R2A25107KFP,V850E2/PG4-S,NP160N055TUK,V850/DX4,V850E2/PX4,RH850/D1M2(H),R-CARGEN2,R-CARGEN3,R-CARV3M,R-CAR W2R,R2A251XX,RH850/P1M,R-CAR D1,RH850/P1H-C,R-CARM3,R-CAR W2H,R-CARM2,R-CARM1,V850,RH850/D1LX,R-CARM1A,R-CAR YY,R-CARV2H,V850E/SX3-H,RAA270005KFP,ΜPD166029T1J,RH850/D1MX,RL78,R2A25416SP,V850ES/SX3,R-CAR XX,V850E2/PX4-L,NP109N04PUK,SH7766,R-CAR H1,R-CAR M1A,SH72AW/AY,NP89N04PUK,R-CAR H2,R-CAR GEN3,R-CAR H3,SH7769,R-CAR GEN2,NP180N055TUK,R-CAR GEN1,¦ÌPD166030T1K,V850E2/FX4-L,V850E2/FX4-H,NP29N06QDK,RH850/D1L1,ΜPD166028T1K,RH850/D1L2,RH850/E1M-S,NP90N055VUK,78K0/FX2&KX2,¦ÌPD166024T1K,R-CAR V2H,SH72546R,NP179N04TUK,¦ÌPD166029T1J,R-CARW2R,RAA270000KFT,RH850/D1M1(H),R-CARW2H,78K0/KX2,ΜPD166034T1U,RL78/F12,RH850/D1M1,RL78/F13,RH850/D1M2,RL78/F14,RL78/F15,R-CAR V3M,ΜPD166023T1J,SH72AW/SH72AY,F1H,ΜPD168890,NP160N04TUK,R-CARYY,V850E2/FX4,78K0/FX2-L,M32C/8X,F1L,SH7268,RH850/S1X,NP30N06QDK,F1K,RZ/A1M,SH7269,SH7266,F1M,SH7267,RH850/D1L2(H),RZ/A1LU,78K0R/KX3,SH726A,NP90N04VDK,SH726B,NP90N04VUK,SH7264,¦ÌPD166026T1K,SH7262,R-CAR,R-CAR,¦ÌPD166104,ΜPD166035GR,R-CARH,¦ÌPD166037T1J,R-CARE,RL78/F14RL78/F15,R2A251XX**,ΜPD166025T1J,R-CARM,R-CAR M1,R1EX24XXX,R-CAR M2,R-CAR M3,78K0S/KX1+,RH850/E1M-S2,RH850/C1H,RH850/C1M,RH850/P1M*,V850ES/FX3,V850E2/FK4-G,¦ÌPD166031T1U,ΜPD166024T1K,SH725X,V850E2/SX4-H,NP179N055TUK,SH72A0/SH72A2,R-CAR W1R,RH850/C1X,M16C,ΜPD166030T1K,PD166033T1U,V850E2/DX4,V850E2/FF4-M,¦ÌPD166025T1J,V850/DX4-H,NP180N04TUK,RL78/D1A,R-CARD1,R32C/100,RH850/D1L,RH850/D1M,NP89N055PUK,ΜPD166104,ΜPD166026T1K,RH850/D1M2H,RH850/P1H-CE,SH72AW,SH72AY,RZ/A1,78K0S/KX1,R1EX25XXX,SH7455,SH7456,¦ÌPD166027T1J,78K0/FX2,¦ÌPD166033T1U,R-CART2,R-CARD1,RH850/D1M1H,RH850/D1X,SH72A2,NP110N04PUK,ΜPD166032T1U,R-CAR M,SH72531,SH72533,RH850/E1L,R-CAR H,4H12HPF*2,RH850/P1M-C,RH850/V1R-M,¦ÌPD166038T1J,RH850/P1M-C*,4H11HPF*2,RH850/D1L2H,SH72A0/A2,R8C/2X,ΜPD166031T1U,NP75N04VUK,ΜPD166037T1J,ΜPD166036GR,SH745X,RH850P1X-C,RH850/E1X,78K0R/FX3,RH850/P1H-C*,¦ÌPD166032T1U,R-CAR E,V850/DR4-3D,R2A25110KSP,V850E2/DX4-H,RH850/ C1X

选型指南 - RENESAS PDF 中文下载

【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法

RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式，总共512个输出，同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件，那我如何查看这些数据呢，本文记录数据查看方法。

设计经验发布时间 : 2023-09-23

Renesas Introduces Complete Power and Functional Safety Solution for R-Car V3H ADAS Camera Systems

March 30, 2021 - Renesas Electronics Corporation, a premier supplier of advanced semiconductor solutions, announced a new power and functional safety solution for systems based on the R-Car V3H system-on-chip (SoC) for advanced driver assistance systems (ADAS) automotive front cameras and driver monitor cameras.The new solution includes the RAA271050, a 42V synchronous buck ‘pre-regulator‘ that accepts the vehicle‘s 12V supply and steps it down to an intermediate supply voltage of 3.3V or 5.0V.

新产品发布时间 : 2021-04-20