【经验】SoC R CAR V3H2 CNN工具链转换restnet18 caffe模型为端侧可执行命令过程解析

时间： 2023-09-16 来源：世强

技术问答

RENESAS SoC R CAR V3H2 CNN工具链最主要的功能就是把caffe,onnx等模型转换为V3H2 芯片端可执行模型，命令，本文记录并分析此转换过程。

先看一下工具链，下图红框中的为工具链的目录，另外2个为cnn sample下的resnet18模型转换的sample：

再看一下cnn sample的目录：

cnn工具链与sample配套使用，这里我们以CNN_Frontend_V3H2为例来操作并解析，根据CNN_Frontend_V3H2中的配置脚本以及执行命令cmd_logger.sh，我们把CNN_Frontend_V3H2放置在cnn工具链的根目录下面比较方便操作：

上图红框中这条命令为运行step1,step2,step3,step6四步操作，这四步操作完成了caffe模型的framwork,cnnip_xml_reader,cnnip_atmlib_gen,以及final_app的编译等工作，完成了模型的转换，这些转换步骤中具体做了以下工作，也生成了这些目录和文件，其中step1的framwork部分主要将浮点系数转换为定点/整数-将多个层优化融合为单个CNN-IP层，自动识别给定内存限制大小下，对网络进行分片处理来达到最佳的内存优化和模型的运行，，使得模型更适合跑在R CAR V3H2上。

我们根据cmd_logger.sh中的命令修改为适合自己开发环境的命令，并运行：

需要修改的地方：

这里在步骤step3会用到对应的输入图像文件来作为输入的entry_memry/mem_entry用于生成命令列表，bcl文件中的对应的输入内存和通道资源，在做模型推理时会用到对应的通道名称和输入内存信息。

step4中的输入测试的图像文件路径也改掉，step4的作用是PC机上SIL模拟推理使用的，这个功能好像目前主要是在windows上使用，LINUX下没有用过。

这里step6中编译FINAL_APP为False，不编译的意思，这样就会使用之前瑞萨提供时默认编译好的可执行文件

step7的作用是给cnn_frontend指定运行的board的IP地址以及SSH的端口，这里运行模型的板子IP为192.168.1.10，SSH端口为22，这用于给cnn_frontend去connect板子，并且把转换后的模型，以及输入文件和可执行文件等copy传输到板子的/home/root/caffe目录下面去执行，并把执行后的文件传输到PC机的对应目录下面，比如会把dump出来的512个cvs文件传到PC端的output下，如果有做benchmark，就会把结果传到PC上的benchmark目录下。

最后修改运行命令转换模型：

从以上log也可以看出整个运行过程的大概含义。

最后看一下生成的文件，以及中间过程的目录和文件

生成了可执行的.pb文件，其实还有另外一种端侧可执行的输出bcl和.bin文件。除了使用BCL文件之外，还可以通过全局配置文件选择相应的选项来使用PB文件（“.PB”）。它们使用谷歌protobuf格式来存储与BCL文件相同的信息（但稍后更容易解析），以及命令列表、所需IP、同步ID和命令列表偏移量。这意味着在这种情况下不再需要–core、–sync id和–commandlist选项以及相应的输入文件。

我们可以看一下网络文件会加入瑞萨工具链以及芯片CNN模块对应的一些参数：

这是resnet18默认的网络文件，通过工具链运行后：

可以看到自动加入了一些平台相关的参数。

以及上图路径下的最终产出文件subn0_clbundle.pb.

本文主要介绍了前面3步的过程以及分析了原理和产出的文件的作用等，这样能更好的理解工具链的工作原理图，再配合final_app源码的执行来理解模型的结构和内存形式就能更换的了解瑞萨CNN工具链的原理以及输出文件的工作。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由Bill提供，版权归世强硬创平台所有，非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：世强硬创平台”。

全部评论（0）

暂无评论

【经验】R-Car H3/H3N/M3 SoC芯片的AVS模块介绍及寄存器的配置

Renesas推出驾驶安全辅助系统和车载信息娱乐系统的第三代R-Car SoC芯片，内核方面使用的是Cortex-A57 CPU、Cortex-A53 CPU和Cortex-R7，主要面向无人驾驶、智能辅助驾驶、车机、仪表和ADAS等应用场景，并以其强大的算力和丰富的外设资源赢得了广大车厂和Tier 1的认可。本文将介绍瑞萨R-Car H3/H3N/M3的AVS模块介绍及寄存器的配置。

设计经验发布时间 : 2020-03-21

【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南

RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类，都是可以在端侧执行的，本文记录.pb的推理输出以及benchmark过程实操及解析。

设计经验发布时间 : 2023-09-21

【经验】车规级SoC R CAR V3H2平台端工具链转换前 mobilenetv2.onnx浮点模型推理验证

RENESAS 车规级SoC R CAR V3H2平台上推理模型前，我们需要训练好自己的模型，目前通常采用迁移调优模型方式形成满足需求的浮点模型，并验证浮点模型的精度，耗时等性能，本文在ubuntu上用python推理浮点mobilenetv2.onnx模型。我们根据链接在公版的mobilenetv2模型基础上，迁移调优学习了自己采集的图片数据形成了自己要求的mobilenetv2.onnx模型。

设计经验发布时间 : 2023-09-24

【产品】低功耗全高清ADAS专用低功耗SoC芯片SGKS6802

森国科SGKS6802是一款针对高级辅助驾驶(ADAS)、流媒体后视镜、夜视系统、透雾透霾及图形图像识别与处理等产品开发的ADAS专用低功耗SoC芯片，1080P@30fps+720P@30fps双路码流H.264编码及高质量的ISP处理。

新产品发布时间 : 2021-07-23

REF66012 – 参考设计 ADAS SoC用 PMIC解决方案

型号- BD96801Q09-CE2,BD9S303,BD9S303MUF-CE2,BD96801Q09,BD96801,BD9S303MUF

应用及方案 - ROHM - REV.001 - Mar.2024 PDF 中文下载

【产品】瑞萨新一代SOC R-Car V3H，专为自动驾驶前置摄像头应用

瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H，集成了专门针对图像处理的功能单元，它比R-Car V3M在视觉处理方面的性能提高了5倍，并只有0.3瓦的超低功耗，更好的适应自动驾驶的需求。

新产品发布时间 : 2018-03-07

How to Build Together a Safe and Efficient AD ＆ ADAS Central Computing Solution

Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.

技术探讨发布时间 : 2023-11-30

【产品】全新开放式平台，加大对ADAS及自动驾驶的支持

新型R-Car V3M SoC符合ISO26262功能安全标准，为视觉处理提供了低功耗硬件加速功能，还配有内置图像信号处理器。

新产品发布时间 : 2017-04-25

【经验】使用瑞萨SoC R CAR V3H2 cnn工具链实现onnx模型转caffe模型的实操

R CAR V3H2 的cnn神经网络模块需要运行int16的定点模型，而onnx模型首先需要通过cnn工具链转成caffe模型，然后再转成端侧的可执行模型，本文使用瑞萨的cnn工具链实现onnx模型转caffe模型。

设计经验发布时间 : 2023-08-14

【经验】R-Car H3中如何实现多摄像头的视频数据采集并同时进行H264编码

R-Car系列是瑞萨基于用户越来越高的汽车驾驶体验需求和日渐丰富的产品功能要求，以及汽车产品虚拟化、智能化的行业趋势推出的SoC。本文将以R-Car H3为例，介绍R-Car基于gstreamer实现多摄像头的视频数据采集并同时进行H264编码，该功能主要应用于自动驾驶域控制器，可实现视频数据的采集、编码和实时分发。

设计经验发布时间 : 2020-03-05

【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法

RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式，总共512个输出，同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件，那我如何查看这些数据呢，本文记录数据查看方法。

设计经验发布时间 : 2023-09-23

【经验】R-Car常用启动模式的特点及应用

本文主要介绍了Renesas R-Car SOC所支持的各种启动模式，以及相关启动模式下的操作说明。

设计经验发布时间 : 2019-08-09

Renesas Introduces Complete Power and Functional Safety Solution for R-Car V3H ADAS Camera Systems

March 30, 2021 - Renesas Electronics Corporation, a premier supplier of advanced semiconductor solutions, announced a new power and functional safety solution for systems based on the R-Car V3H system-on-chip (SoC) for advanced driver assistance systems (ADAS) automotive front cameras and driver monitor cameras.The new solution includes the RAA271050, a 42V synchronous buck ‘pre-regulator‘ that accepts the vehicle‘s 12V supply and steps it down to an intermediate supply voltage of 3.3V or 5.0V.

新产品发布时间 : 2021-04-20

【应用】Renesas R-car ADAS/AD方案介绍 ∣ 视频

Renesas R-car ADAS/AD应用方案介绍。

应用方案发布时间 : 2023-08-14

Renesa Introduced Its Next Generation ASIL-D SoC and New Automotive-Qualified Position Sensor

Renesas participated in this year‘s digital Embedded World, which took place from 1-5 March and had demonstrations in ADAS, EV, Vehicle Computer, SoC, MCU, Analog and Power, covering the full range of the latest in Renesas Automotive solutions.

原厂动态发布时间 : 2021-04-15