【经验】解析三种瑞萨R-Car DNN模拟器及其使用情况和特点
本篇文章将给大家介绍瑞萨为R-Car V4H提供的三种类型的DNN开发模拟器，以及它们的使用情况和特点。
背景
用于汽车SoC实时处理的深度学习的模型转换
深度学习是使用底层软件（深度学习框架）开发的，如TensorFlow和PyTorch。
仅仅通过移植在深度学习框架中学习到的模型，不可能在R-Car这样的车载SoC上进行实时处理，因为深度学习的推断过程需要大量的计算和内存使用。因此，有必要对所学模型进行非等价的模型压缩，如量化和剪枝，以及使用深度学习编译器进行性能优化。
首先，让我们讨论一下模型压缩。在量化中，通常以浮点计算的推断过程被转换为近似的整数运算，如8位。通过将对识别结果贡献较小的权重设置为零并跳过对这些权重的计算，修剪减少了计算和内存的使用。这两种转换都是对原始推断过程的非等效的算法转换，因此很可能会降低识别的准确性。
在性能优化方面，深度学习编译器可以对训练过的模型的推断过程进行程序转换，以便在深度学习加速器上进行更快的处理，或者应用内存可以进行优化，例如将分配给一个层的输出数据的快速小型SRAM重新用于另一个层的输出数据。
应用这种转换可以在车载SoC上进行实时处理。
在R-Car中使用瑞萨工具和软件的推断流程
瑞萨的R-Car中的H/W加速器CNN-IP，出于计算效率的考虑，可以使用整数值进行推断操作。由于这个原因，用户必须使用瑞萨公司提供的R-Car CNN工具来进行量化，这是上述模型转换中的一种。
首先，在实际执行量化之前，必须进行校准，以计算量化参数（刻度和零点），用于将浮动数转换为整数。为此，一个外部工具（如TFMOT、ONNX runtime），根据网络模型的格式，从大量的输入图像中找到每一层的最大/最小输出值。从这些最大/最小值中，可以计算出比例/零点等量化参数；R-Car CNN工具使用这些量化参数来量化每一层的参数。
R-Car CNN工具然后从网络模型和每层的量化参数中创建一个命令列表。命令列表是二进制数据，用于指示CNN-IP执行哪些命令和设置哪些参数（每个量化层的参数）。通过向CNN-IP提供该命令列表并运行它，可以进行推断。
命令列表是由网络模型和量化参数唯一确定的，因此它只需要事先创建一次。上述命令列表可以对每个图像执行，以便在实际设备上进行推断。
使用瑞萨工具和软件对R-Car V4H进行推断的框图见图1。
图1 使用瑞萨工具和软件进行推断的方框图
关于每个模拟器
每个模拟器的概述和特点
瑞萨电子准备了模拟器来解决以下两个用户挑战：
（A）在开发一个应用程序之前，用户希望检查由于量化而导致的精度变化
（B）想在不使用实际设备的情况下使用命令列表检查和调试用户应用程序
瑞萨的模拟器有三种类型，每种类型解决不同的任务，具有不同的功能。各自的特点见表1。每一种都在准确性和处理速度上有所不同。对于每一种情况，都会参照框图介绍其特点和使用情况的细节。
表1 各模拟器的概述和特点
（*1）命令列表是使用R-Car CNN工具创建的，基于网络模型和量化参数，使用与上述实际机器上的推断相同的程序。
（*2）Accurate Simulator在R-Car CNN工具中运行。用户向R-Car CNN工具提供网络模型和量化参数，该工具会自动计算每一层的量化参数，然后将其输入到Accurate Simulator。
该模拟器旨在使用与实际设备尽可能相同的软件配置和输入数据（命令列表，主要是寄存器设置）来调试输出结果。它不能重现计时，也不打算用于计时验证。
结果与实际设备完全相同，速度比Accurate Simulator慢，因为它以指令为基础重现输出。
图2 使用ISS的系统方框图
精确的模拟器
该模拟器将网络模型作为输入，用于精度验证，无需使用实际设备。对于每一层，都要实现一种算法，使其输出与设备的计算算法完全匹配。由于执行速度比ISS快10倍左右，所以在只验证精度的情况下，它是很有用的。
图3 使用Accurate Simulator的系统框图
该模拟器用于检查大量图像的定量误差。
Fast Simulator扩展了深度学习框架（R-Car V4H中的Tensor Flow），在每层推断操作后都有一个伪量化功能，并带有浮点数字。伪量子化是一种重现浮点数的伪量子化误差的方法，在浮点数仍然是浮点数的情况下，加入与量子化导致的精度下降相同的误差。
可以只在Tensor Flow中添加一个伪量化功能，其运行速度与Tensor Flow相似，但速度更快。
另外，由于输入/输出接口与深度学习框架是通用的，所以用户在切换到深度学习框架时很容易检查出量化错误。
然而，由于每层的推断操作和伪量化都会产生一个小的浮点算术误差，所以结果与实际的机器结果并不完全匹配。
图4 使用快速仿真器的系统框图
- |
- +1 赞 0
- 收藏
- 评论 0
本文由ll转载自瑞萨电子公众号，原文标题为:工程师说 | R-Car DNN模拟器的介绍，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
相关推荐
【经验】如何区分瑞萨MCU片上调试仿真器与烧录器E1、E2和E2 Lite
瑞萨推出为自家MCU设计的模拟器，即片上仿真器与烧录器，以更好地适应自己的MCU产品、更好地服务客户。本文将介绍如何区分瑞萨MCU片上仿真器与烧录器E1、E2和E2 Lite。
【经验】瑞萨烧写工具MiniMonitor介绍及优缺点分析
瑞萨针对R-Car产品推出了两款软件烧写工具：MiniMonitor和flash writer，纯软件烧写，不需借助外部工具。本文将重点介绍MiniMonitor的使用，并对其优缺点进行详细的分析，需要注意的是，本文介绍的烧写工具适用平台不包括R-Car V3x。
【经验】瑞萨汽车SoC R-Car-Gen3 Linux Yocto使用make工具编译kernel方法
最近有客户开发瑞萨R-Car的时候提出了将yocto中将kernel模块的编译方法从bitbake更改为make的方式 的需求，本文主要介绍如何进行修改和验证。
CS32A01X 数据手册 集成高性能Σ-ΔADC 和ARM® M0 内核的模拟 SoC
CS32A01X是一款集成了高性能Σ-ΔADC和ARM® M0内核的模拟SoC。该产品具备24位高精度ADC、LED驱动、定时器、12位数模转换器(DAC)、2路恒流源输出(IEXC)、电压源输出(VEXC)等功能，并集成温度传感器、低失调运放(OPA)、32位ARM® Cortex®-M0内核等。此外，还提供了丰富的通信接口和多种低功耗工作模式，适用于工业、医疗及部分汽车等领域。
芯海 - 模拟 SOC,高性能模拟 SOC,CS32A010E8K7ET,CS32A010E8K7,CS32A011K8V7,CS32A010,CS32A011K8V6,CS32A011,CS32A011K8V6T,CS32A011K8V7ET,CS32A010K8V6T,CS32A010K8V7,CS32A010K8V6,CS32A010K8V7ET,CS32A01X,压力变送器,电压传感器,温度测量,医疗,工厂自动化,部分汽车,电流传感器,智能传感器,物联网,电池管理系统,工业
【IC】思瑞浦发布支持振铃抑制功能的汽车级CAN SIC收发器TPT1462xQ
聚焦高性能模拟芯片和嵌入式处理器的半导体供应商思瑞浦3PEAK推出支持振铃抑制功能、具有待机模式的CAN信号改善功能（CAN SIC）收发器TPT1462xQ；具有更严格的位时间对称性和环路延时要求，可实现高达8 Mbit/s的CAN FD通信，支持1.7V~5.5V的VIO接口电平，可无需外加额外电路直接支持1.8V SOC以及3.3V、5V的MCU通讯。
BAT32A6300基于 ARM® Cortex®-M0+的超低功耗 32 位 SoC 微控制器内置 32K 字节 Flash，集成 LDO，LIN 收发器专用 SoC数据手册
该资料是关于BAT32A6300微控制器的数据手册，详细介绍了该产品的特性、功能和应用。BAT32A6300是一款基于ARM Cortex-M0+内核的超低功耗32位SoC微控制器，内置32K字节Flash，集成LDO和LIN收发器。它具有丰富的模拟和数字外设，支持多种通信接口，适用于汽车电子、工业控制等领域。
中微半导体 - 超低功耗 32 位 SOC 微控制器,BAT32A6300,BAT32A6300KC32NA,窗,开关,门,电机,传感器,灯
【应用】车规级SOC BAT32A6703KH40NB用在汽车电子水阀中，集成LIN收发器和LDO能减少产品体积和成本
中微半导体车规级SOC BAT32A6703KH40NB用在汽车电子水阀中，内置5V/60mA LDO可以直接对芯片进行12V供电，无需外加模拟器件设计电源电路，同时可以省掉这部分的成本跟体积，对于电子水阀要求高集成，小体积的产品而言，内置方案可以很好的解决这部分的应用痛点。
CS32A01X集成高性能Σ-ΔADC 和 ARM® M0 内核的模拟 SoC数据手册
CS32A01X是一款集成了高性能Σ-ΔADC和ARM® M0内核的模拟SoC。该产品具备24位高精度ADC、LED驱动、定时器、12位数模转换器(DAC)、2路恒流源输出(IEXC)等功能，并支持多种通信接口。其应用领域广泛，包括工业、医疗、汽车等行业。
芯海 - 模拟 SOC,高性能模拟 SOC,CS32A010E8K7ET,CS32A010E8K7,CS32A011K8V7,CS32A010,CS32A011K8V6,CS32A011K8V6T,CS32A011,CS32A011K8V7ET,CS32A010K8V7T,CS32A010K8V6T,CS32A010K8V7,CS32A010K8V6,CS32A010K8V7ET,CS32A01X,压力变送器,电化学传感器,电压传感器,汽车,医疗,工厂自动化,电流传感器,电池管理系统,工业
BAT32A6300数据手册基于ARM®Cortex®-M0+的超低功耗32位SoC微控制器内置32K字节闪存，集成LDO，Lin收发器专用SoC
该资料介绍了BAT32A6300系列超低功耗32位SoC微控制器的技术规格。它基于ARM® Cortex®-M0+内核，内置32K字节闪存、集成稳压器和专用LIN收发器。产品支持多种低功耗模式，具有丰富的模拟和数字外设接口，适用于汽车电子开关、门窗、灯光、传感器、电机等应用。
中微半导体 - MICROCONTROLLER,ULTRA-LOW-POWER 32-BIT SOC MICROCONTROLLER,微控制器,超低功耗32位SOC微控制器,BAT32A6300,BAT32A6300 SERIES,BAT32A6300KC32NA,马达,SWITCHES,门,WINDOWS,MOTORS,窗户,DOORS,SENSORS,AUTOMOTIVE ELECTRONICS,灯光,开关,传感器,汽车电子,LIGHTS
CDS8702 数据手册 集成高性能Σ-ΔADC 和ARM® M0 内核的模拟 SoC
CDS8702是一款集成了高性能Σ-Δ模数转换器(ADC)、ARM® Cortex®-M0内核和多种模拟功能的模拟SoC。它具备24位高精度ADC、12位DAC、内置温度传感器、丰富的通信接口和低功耗模式，适用于工业、医疗和汽车等领域。
芯海 - 模拟 SOC,高性能模拟 SOC,CDS8702,CDS8702K8V7NT,压力变送器,电压传感器,温度测量,医疗,工厂自动化,部分汽车,电流传感器,智能传感器,物联网,工业
CS32A01x集成高性能Σ-ΔADC 和 ARM® M0 内核的模拟 SoC简易数据手册
CS32A01x是一款集成了高性能Σ-ΔADC和ARM® M0内核的模拟SoC，具备24位高精度ADC、多种通信接口、内置滤波器和可编程增益放大器等功能。它还包含SmartAnalog模块、温度传感器、基准、振荡器等，并支持USART、I2C和SPI等多种通信方式。
芯海 - 模拟 SOC,高性能模拟 SOC,CS32A010E8K7ET,CS32A010K8V6T,CS32A010K8V7ET,CS32A011K8V6T,CS32A011,CS32A011K8V7ET,CS32A01X,电化学传感器,汽车,电压传感器,温度测量,RTD 测温,电池管理系统,压力变送器,医疗,工厂自动化,电流传感器,热电偶测温,消费,工业
【产品】SoC/模拟测试系统3680，专为高吞吐量和高并行测试能力而设计
Chroma最新的SoC/模拟测试系统3680提供灵活的配置和广泛的覆盖范围，可兼容测试不同类型的设备。为IC设计公司，IDM和测试机构提供最佳解决方案。 3680具有测试功能，高精度，强大软件和出色可靠性等全部功能，是测试消费类设备，高性能微控制器，模拟器件和SoC器件的理想选择。
汽车通用MCU及应用 满足功能安全，助力国产汽车向上发展
珠海极海半导体有限公司是一家专注于工业级和车规级微控制器、模拟与混合信号IC及系统级芯片设计的集成电路企业。公司拥有20年设计经验和嵌入式系统开发能力，提供核心可靠的芯片产品，应用于智慧家居、高端消费电子、汽车电子等领域。产品包括符合ISO 26262功能安全标准的汽车通用/专用MCU和传感器，以及多种定制SoC/ASIC解决方案。公司提供多种车规级MCU，如G32A1445、APM32A407、APM32A103等，满足不同汽车电子应用需求。
极海半导体 - 电池管理IC,汽车电子芯片,超声波雷达测距芯片,工业级微控制器,电机控制专用MCU,SOC,汽车通用MCU,混合信号IC,车规级微控制器,工业级MCU,汽车专用传感器,汽车专用MCU,ASIC,车规级MCU,无线MCU,N.专用集成电路,专用集成电路；专用芯片；澳大利亚证券和投资委员会,模拟信号IC,传感器,安全SOC芯片,SOC系统,APM32F072,G32A系列,APM32F103RCT7,APM32A407VGT7,APM32A407,APM32A103,APM32A103CBT7,APM32A407ZGT7,APM32A103系列,APM32A091RCT7,APM32A091,APM32,APM32F072RBT7,APM32A091系列,APM32A407系列,G32A1445系列,APM32A103RET7,APM32A103VET7,APM32F072CBT7,APM32F103,APM32F072系列,GW,G32A1445,G32A,APM32F103系列,车载仪表,胎压监测,电机控制,汽车,交流充电桩,蓝牙通信,T-BOX,T-BOX,BMS控制板,车载导航,EDR,信息娱乐系统,显示屏,中控门锁,GPS导航,辅助泊车,域控,BMS电池管理系统,燃油防盗报警器,暖通空调系统,娱乐影音系统,倒车雷达,车窗控制,车灯控制器,汽车前照流水灯,动力系统,车窗控制器,声浪模拟器,智慧家居,智慧能源,电动尾门,车门控制器,电源管理,雨刮控制器,通信设施,负载控制器,直流充电桩,多媒体,智能座椅,中控屏,车载充电机,OBC车载充电机,BMS电池管理,OBD,行车事件记录仪,OBC,矩阵式前灯,HUD,除霜控制器,安全系统,车门控制,车载定位终端,BMS电源管理,车载诊断,车载中控,仪表盘,点火器,工业控制,车载语音,充电桩,车身控制,智能座舱,车身域控制器,高端消费电子,汽车车灯,安全,氛围灯,行车记录仪,人机交互,动力,盲区监测,汽车电子,汽车音响,升窗器
N8358 系列高精度多通道可编程电池模拟器
N8358系列是一款小功率、高精度、多通道的可编程电池模拟器，适用于新能源汽车、无人机、储能系统等领域的BMS测试。该产品具备双象限设计，支持电流充放电，单机提供8个独立通道，并配备8路高精度DVM测量。它支持多种测试功能，如电源模式、充电模式、电池模拟、内阻模拟、SOC模拟和故障模拟，同时支持LAN/RS232通讯控制。
恩智测控 - 可编程电池模拟器,高精度多通道可编程电池模拟器,N8358-06-01,N8358 系列,N8358-15-01,N8358,N8358-06-02,N8358-15-05,N8358-06-03,N8358-05-05,蓝牙耳机,手机,智能手表,小功率电源,便携式消费类电子,无人机,储能BMS,CMS,电动螺丝刀,新能源汽车,电动工具,电池供电,电池管理系统,电池保护板测试,DC-DC,直流-直流,厘米,电池维护设备测试,无线充电,超容管理系统
Renesas（瑞萨电子）——全球领先的微控制器供应商、模拟功率器件和SoC产品领导者
瑞萨电子（RENESAS）是全球十大半导体芯片供应商之一，也是高级半导体解决方案的首选供应商。自2010年，瑞萨科技与NEC电子公司合并以后，瑞萨电子开始正式运营。产品包括微控制器、SoC解决方案和广泛的模拟及电源器件。其业务覆盖了面向各种应用的研究、开发、设计和生产。瑞萨电子先后收购Intersil，IDT，dialog等品牌，进一步巩固了其作为先进嵌入式系统全球领先供应商的地位。
电子商城
现货市场
服务
使用FloTHERM和Smart CFD软件，提供前期热仿真模拟、结构设计调整建议、中期样品测试和后期生产供应的一站式服务，热仿真技术团队专业指导。
实验室地址： 深圳 提交需求>
可定制板装式压力传感器支持产品量程从5inch水柱到100 psi气压；数字输出压力传感器压力范围0.5~60inH2O，温度补偿范围-20~85ºС；模拟和数字低压传感器可以直接与微控制器通信，具备多种小型SIP和DIP封装可选择。
提交需求>
授权代理品牌：集成电路
授权代理品牌：分立元件
授权代理品牌：接插件及结构件
授权代理品牌：部件、组件及配件
授权代理品牌：电源及模块
授权代理品牌：电子材料
授权代理品牌：仪器仪表及测试配组件
授权代理品牌：电工工具及材料
授权代理品牌：机械电子元件
授权代理品牌：加工与定制
我要提问
登录 | 立即注册
提交评论