【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南

时间： 2023-09-21 来源：世强

技术问答

RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类，都是可以在端侧执行的，本文记录.pb的推理输出以及benchmark过程实操及解析。

以CNN_Frontend_V3H2为例，已经执行step1,step2,step3,step6转换好resnet18模型,这里直接使用瑞萨默认编译好的可执行文件,如果需要修改，就需要重新编译，step6把BUILD_FINAL_APP设置为True，然后在CNN_Frontend_V3H2目录下执行命令，并与瑞萨默认推理restnet18后的输出rcar_output.npy(为瑞萨自己修改restnet18网络模型后的，512，7，7模型输出数据)做benchmark，而我们这里的网络使用的是resnet18公版模型的网络，未做修改优化(瑞萨工具链自动执行优化)，看一下两者的benchmark结果：

将原始的CNN_Frontend_V3H2中，resnet18浮点模型的输出caffe_res5b_relu.npy拷贝到当前的benchmark比较文件目录下面，并把原始的CNN_Frontend_V3H2中转换模型后推理模型输出的rcar_output.npy拷贝到当前的benchmark比较文件目录下面，我们来比较下当前公版resnet18网络和模型通过瑞萨CNN工具链转换后的定点模型推理后输出的rcar_output.npy与以上2个.npy的benchmark结果：

运行推理并与caffe_res5b_relu1.npy做benchmark:

阈值为0.1，benchmark成功，执行后会把在R CAR V3H2板子上的运行结果copy到PC端：

板端的文件：

下面我再看一下与caffe_res5b_relu.npy的benchmark:

benchmark失败，差异超过了10.2868,而阈值设置为0.01，如果设置为11，就可以benchmark成功：

修改阈值为11：

再运行：

这里只做了单一图像的benchmark，根据瑞萨的文档说明可以做大批量的图片输入的benchmark测试:

这个benchmark的作用是比较通过CNN工具链转换后(浮点模型与定点模型)，他们推理图片输出的特征图之间的差异(定点模型输出需要通过cnn工具链转换时的数据格式转换为浮点数据格式)，也就是可以体现cnn工具链带来的精度损失，另外还有一种benchmark，是对开源数据集的测试验证是否准确，也就是模型的精度是否可靠，能否满足要求的，当然，如果按照第一种benchmark来看，如果浮点模型的精度足够高，而定点模型与浮点模型做benchmark差异又很小，也能证明定点模型的精度准确率是很高的。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由Bill提供，版权归世强硬创平台所有，非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：世强硬创平台”。

全部评论（0）

暂无评论

【经验】R-Car H3/H3N/M3 SoC芯片的AVS模块介绍及寄存器的配置

Renesas推出驾驶安全辅助系统和车载信息娱乐系统的第三代R-Car SoC芯片，内核方面使用的是Cortex-A57 CPU、Cortex-A53 CPU和Cortex-R7，主要面向无人驾驶、智能辅助驾驶、车机、仪表和ADAS等应用场景，并以其强大的算力和丰富的外设资源赢得了广大车厂和Tier 1的认可。本文将介绍瑞萨R-Car H3/H3N/M3的AVS模块介绍及寄存器的配置。

设计经验发布时间 : 2020-03-21

【经验】使用瑞萨SoC R CAR V3H2 cnn工具链实现onnx模型转caffe模型的实操

R CAR V3H2 的cnn神经网络模块需要运行int16的定点模型，而onnx模型首先需要通过cnn工具链转成caffe模型，然后再转成端侧的可执行模型，本文使用瑞萨的cnn工具链实现onnx模型转caffe模型。

设计经验发布时间 : 2023-08-14

【经验】车规级SoC R CAR V3H2平台端工具链转换前 mobilenetv2.onnx浮点模型推理验证

RENESAS 车规级SoC R CAR V3H2平台上推理模型前，我们需要训练好自己的模型，目前通常采用迁移调优模型方式形成满足需求的浮点模型，并验证浮点模型的精度，耗时等性能，本文在ubuntu上用python推理浮点mobilenetv2.onnx模型。我们根据链接在公版的mobilenetv2模型基础上，迁移调优学习了自己采集的图片数据形成了自己要求的mobilenetv2.onnx模型。

设计经验发布时间 : 2023-09-24

【产品】低功耗全高清ADAS专用低功耗SoC芯片SGKS6802

森国科SGKS6802是一款针对高级辅助驾驶(ADAS)、流媒体后视镜、夜视系统、透雾透霾及图形图像识别与处理等产品开发的ADAS专用低功耗SoC芯片，1080P@30fps+720P@30fps双路码流H.264编码及高质量的ISP处理。

新产品发布时间 : 2021-07-23

REF66012 – 参考设计 ADAS SoC用 PMIC解决方案

型号- BD96801Q09-CE2,BD9S303,BD9S303MUF-CE2,BD96801Q09,BD96801,BD9S303MUF

应用及方案 - ROHM - REV.001 - Mar.2024 PDF 中文下载

【产品】瑞萨新一代SOC R-Car V3H，专为自动驾驶前置摄像头应用

瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H，集成了专门针对图像处理的功能单元，它比R-Car V3M在视觉处理方面的性能提高了5倍，并只有0.3瓦的超低功耗，更好的适应自动驾驶的需求。

新产品发布时间 : 2018-03-07

How to Build Together a Safe and Efficient AD ＆ ADAS Central Computing Solution

Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.

技术探讨发布时间 : 2023-11-30

【产品】全新开放式平台，加大对ADAS及自动驾驶的支持

新型R-Car V3M SoC符合ISO26262功能安全标准，为视觉处理提供了低功耗硬件加速功能，还配有内置图像信号处理器。

新产品发布时间 : 2017-04-25

【经验】R-Car H3中如何实现多摄像头的视频数据采集并同时进行H264编码

R-Car系列是瑞萨基于用户越来越高的汽车驾驶体验需求和日渐丰富的产品功能要求，以及汽车产品虚拟化、智能化的行业趋势推出的SoC。本文将以R-Car H3为例，介绍R-Car基于gstreamer实现多摄像头的视频数据采集并同时进行H264编码，该功能主要应用于自动驾驶域控制器，可实现视频数据的采集、编码和实时分发。

设计经验发布时间 : 2020-03-05

【经验】R-Car常用启动模式的特点及应用

本文主要介绍了Renesas R-Car SOC所支持的各种启动模式，以及相关启动模式下的操作说明。

设计经验发布时间 : 2019-08-09

【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法

RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式，总共512个输出，同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件，那我如何查看这些数据呢，本文记录数据查看方法。

设计经验发布时间 : 2023-09-23

Renesas Introduces Complete Power and Functional Safety Solution for R-Car V3H ADAS Camera Systems

March 30, 2021 - Renesas Electronics Corporation, a premier supplier of advanced semiconductor solutions, announced a new power and functional safety solution for systems based on the R-Car V3H system-on-chip (SoC) for advanced driver assistance systems (ADAS) automotive front cameras and driver monitor cameras.The new solution includes the RAA271050, a 42V synchronous buck ‘pre-regulator‘ that accepts the vehicle‘s 12V supply and steps it down to an intermediate supply voltage of 3.3V or 5.0V.

新产品发布时间 : 2021-04-20