【技术】瑞萨RZ/A2M采用特有的DRP动态可重新配置处理器技术，将机器视觉提速20倍

时间： 2021-01-30 来源：Renesas

工业生产要实现自动化，必然离不开机器视觉的帮忙。

RZ/A2M集成了瑞萨特有的DRP（动态可重新配置处理器）技术，拥有超高性能的图形图像处理能力。DRP在拥有硬件级别运算能力的同时，也能够从软件层面对运算逻辑进行实时修改，保证了灵活性的同时也拥有不俗的图像处理能力。本文中，我们将重点介绍RZ/A2M在工业自动化领域应用的优势，包括更高的图像处理能力以及超低的功耗。

机械臂之所以能够如此灵活的识别并抓取目标物体，是因为有RZ/A2M独有的DRP模块对机器视觉的图像处理过程进行加速。外接的显示器上可以看到，整个图像处理流程（包括bayer转RGB、阴影校正&白平衡、RGB转二值化图像、寻找轮廓、图像降噪、Bayer转灰阶送显示等）只用了不到3ms，最终达到VGA（640x480）分辨率下60fps的优良性能。

什么是DRP？

DRP全称是Dynamically Reconfigurable Processer，即动态可重配置处理器。是瑞萨独创的体系结构，能够动态的调整硬件运算单元的逻辑电路，实现各式各样的运算功能。

DRP有6个独立的单元称为“Tile”，它们可以加载多个配置数据（即算法库）并且并行的执行，这些算法库存放在系统内存中，在需要的时候由CPU下发指令将其加载到各个Tile中。

任何时候都可以修改各个Tile中的算法库，并且在修改过程中不会影响其它Tile的运行。

DRP采用动态加载的方法可以在极小的硬件资源上实现应用对不同图像处理算法高速处理的需求。

DRP凭什么这么优秀？

DRP是一个硬件资源，所有的运算逻辑都在硬件层面实现，每个Tile都是一个独立的运算单元，Tile拥有的硬件资源是一定的，所以当有算法库用到的硬件资源较多的时候，就需要两个甚至更多的Tile来协同配合，以下是DRP所拥有的硬件资源。

DRP在运行的过程中，会自动的根据算法库的复杂程度，灵活的对硬件资源进行一些整合，比如在一个Tile内，将两个16bit的乘法器合并成一个32bit的乘法器使用；或者将一个16bit的乘法器与一个计数器组合使用等。进一步扩大了DRP的运算能力。

硬件的运算能力我们都非常清楚，比如目前应用非常广泛的FPGA的算力就和CPU完全不在一个量级，然而FPGA的缺陷也很明显，就是运算规模直接和门电路数量挂钩，需要实现复杂的算法就必须用更多的门数，而且一旦算法要求的门数超出了项目初期的FPGA选型，则不得不更换更大规模的FPGA，非常的不方便。

这个时候，DRP的灵活性就体现出来了，它不仅可以在库与库之间灵活切换，在同一个库的内部，也能在不同的时钟周期内，动态调整运算电路之间的逻辑，来实现各种各样的运算方式。通过这种分时复用的方式，最大限度的提升了运算性能，给小体积发挥大能力提供了无限可能。

动态可重配置的性能可以在1个时钟周期内内修改运算电路的组合方式，动态加载可以在1ms内重新装载整个新的算法库。

DRP甚至可以通过多个Tile运行同一个算法库来提高处理速度。比如将一张图片等分为6份，交给6个Tile进行图像处理，性能直接在原有的基础上提升6倍！

一般来说，性能提升往往会伴随着功耗的增加。但是用DRP来提升图像处理能力是一种另辟蹊径的优化方式，而且这种方式的能耗要远远低于CPU的能耗。

如何使用DRP？

前边介绍了诸多DRP的优势，大家可能对于DRP的使用方法有诸多猜测，可能会担心难以上手。但是！不用担心！瑞萨电子为大家提供了完整的服务，目前我们开发了大约50个算法库供大家使用，大部分算法库与opencv库的功能和接口相似，非常方便即可在一个普通的工程中使用DRP。

图为cv库和DRP库的切换

下面我们以Bayer转RGB的库为例，看看在使用DRP的时候需要做哪些事情。

首先是函数接口，需要提供的参数包括输入地址、输出地址、图像宽高以及是否使用tinning（在转换过程中可以同时对图像尺寸进行压缩）。

在函数内部，需要先将DRP的库load到DRP硬件中去，g_drp_lib_bayer_binning2rgb这个数组中存放的就是编译好的二进制格式DRP库。我们使用6个Tile并行处理一张图片的方式，因此给6个Tile都load此库。

最后等待6个Tile全部运算完毕即可。

下面我们来具体看看，机械臂是如何借助DRP的强大功能，实现了如此快速的物体检测与跟踪的。
在机械臂上电初始化以后，暂时没有找到目标，所以工作在物体检测的模式。这个模式的工作流程如下：

可以看到camera采集到一帧图像后，由DRP做了一次Bayer到RGB的转换，这个转换同时将图像的宽高压缩到了原来的1/4，可以在不丢失准确率的前提下加快后续流程的速度；这个库只占用1个tile，所以可以将图片拆分成6份同时进行，耗时0.4ms。

给DRP中load阴影校正&白平衡的库，对上一步的结果做矫正，这个库由于使用的资源较多，占用两个tile，所以需要把图像拆分成3份操作，耗时0.8ms。

由RGB图转换为HSV图并提取其中V的值。方便后续的移动物体检测以及轮廓提取，耗时0.2ms。

使用“加权移动平均法”提取运动的物体，此算法耗时0.6ms。

根据上一步得出的物体信息，寻找轮廓和中心点。（由CPU完成）

如果找到目标，则转入物体跟踪的流程，否则重复这个过程。

其它一些显示相关的处理流程。

假如上述流程中找到了目标，那么就会进入物体跟踪的流程，物体跟踪模式的工作流程如下：

可以看到前两步处理方式都是一样的，Bayer转RGB + 阴影校正&白平衡共消耗1.2ms。

由于这个模式中已经确定画面中存在物体，所以直接对图像进行二值化处理，调用DRP中RGB转Binary的库进行转换操作，耗时0.8ms。

由CPU寻找轮廓并计算中心点坐标和角度。 CPU分别计算坐标、角度与画面中心的偏差值，并根据此值调整各个电机的控制量，耗时0.7ms。

由于前序对图像尺寸做了压缩，所以上一步计算的坐标并不是实际坐标，还需要进行一次坐标换算。

用于显示的Bayer转灰阶图的库，以及其他显示相关的流程，耗时0.3ms。

目前我们可以提供的约50个库都能实现2~80倍不等的性能提升，这些性能提升是相对于RZ/A2M 528MHz Cortex A9 CPU做的对比。DRP库对性能的提升普遍在10~20倍之间，10倍以下的库提升效果不明显的原因是这些算法本身过于简单，优化空间太小。以下列举了部分现有的库以及运算能力对比供大家参考。

发送到邮箱 |
+1 赞 0
收藏
评论 1
| 转发至：

本文由青莲居士转载自Renesas，原文标题为:将机器视觉提速20倍！瑞萨DRP是怎么做到的？，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（1）

Truman Lv4. 资深工程师 2021-03-23

学习

没有更多评论了

【技术】瑞萨电子的DRP和SOTB两大技术令嵌入式系统实现边缘智能和摆脱电池束缚

瑞萨电子正在开发中的DRP以及SOTB技术将为嵌入式系统领域提供新的附加价值。DRP技术可灵活地随机重写电路，对于无法随时自由连接到云或对实时性有高要求的嵌入式系统应用，DRP技术能够大显身手。SOTB的独特性在于其在运行和待机模式下都能保持低功耗，这项功能使得构建不需要电池的系统成为可能，从而可以扩展物联网连接设备及其所在场所的范围。

2019-06-13 - 新技术

【技术】瑞萨RZ/A2M采用DRP技术实现二维码编码类型检测以及二维码解码，在8ms时间内完成5种编码格式的快速识别

RZ/A2M集成了瑞萨特有的DRP技术，实现了1280x720（1百万）摄像头输入时，在8ms时间内完成QR ,Micro QR, DataMatrix, AZTec 和汉信码5种编码格式的快速识别，对二维码编码解码带来无与伦比的加速体验。

2021-01-31 - 新技术

瑞萨嵌入式人工智能(e-AI)、动态可配置处理器(DRP)技术用于家居、工业的解决方案，帮助便捷、快速开发智能物联网产品

瑞萨电子嵌入式人工智能（e-AI）技术、动态可配置处理器（DRP）技术在家居、工业等领域嵌入式系统设计中的应用方案，在提升性能的同时降低功耗，帮助客户便捷、快速开发智能物联网产品。本次展会，瑞萨电子还演示在感知、控制、云端设备，与IDT产品组合的参考设计方案。嵌入式人工智能（e-AI）技术、动态可配置处理器（DRP）技术在家居、工业等领域嵌入式系统设计中的应用方案，在提升性能的同时降低功耗。

2019-06-21 - 新技术

Renesas（瑞萨电子）RZ系列64位/32位基于Arm的微处理器(MPU)选型指南

目录- RZ Series MPU RZ/A Series MPU RZ/G Series MPU RZ/T Series MPU RZ/N Series MPU RZ Family MPU Package overview

型号- RZ/A1M,RZ/A1L,RZ/N1D,RZ/G1M,RZ/G1N,RZ/A1H,R8A774BX,RZ/A1LU,RZ/G1C,RZ/G1E,RZ/G1H,RZ/A1,RZ/A,RZ/G2,RZ/N,RZ/A2M,RZ/G2M,RZ/G2N,RZ/G2M 96,R8A774EX,RZ/G,RZ/N1,RZ/G2E 96,RZ/A1LC,RZ/T1,RZ/G2E,RZ/T,RZ/G2H,R8A774C0,RZ/N1S,RZ FAMILY,R8A774AX,RZ/G2M-96CE,RZ/N1L

2020.02 - RENESAS - 选型指南

获胜的组合解决方案建议

型号- 6P41505BNBGI,ISL9001A,F2914,ISL91302BI,PD720115,PS2911,OB1203SD-C4,ISL26132,ISL68201,HXR8201 SR,HXT8201,HXT8201 SR,RX600,RTL8189EM,ISL83386EIVZ,PS9301,RX/23T,ISL97901,HXR44100,RX/23W,UPD720202,ZL9024M,ISL91127,ISL8205M,NR5195AH,PS2711-1,R5F5651EDDFM,RZ/N1D,D2-7XX83,ISL85009,HXT42100 LR,IDT1339,IDT1338,R1EX24512BT,ISL80505A,ISL29501,ΜPD720201,9FGV0441,ISL85003,HXR45400,ISL68227,ISL6146,ISL85005,ISL68223,R5F104BD,RAJ240100,RZ/T1-M,ISL28417,ISL95810,HXT14150,RX72M,RZ/G2M,ISL85005A,HXT44100,ΜPD720210,RZ/G2E,ZMOD4450,ISL80103,ISL9301,ISL80101,P9821-1,RMLV0408,READ2302,RL78/L12,RL78/L13,ISL15102,RX72T,ISL55210,RX23T,ISL28230,ISL99390,FT-2000,RL78/H1D,RA4M1,RZ/G1C,HXT45400,ISL9021A,ISL60002,ISL80410,R5H30313XB08,9BDL411B,ISL88011,HXR45100,NR5200,BCR16RM,RX23W,R1EX25512ATA00I,RV2X6387,ISL97656,ISL85415,RX113,HXC42100,HXC44400,RX231,RX111,HXT45411,HXT45410,ISL85410,HXR42400,ISL85413,ISLA112P50,OB1203,HXT14100,RAA229001,RL78/G11,RL78/G12,RL78/G13,RL78/G14,HXR14150,TW8844,ISL8225M,RL78,SAIC101,RL78/G1A,RL78/G1D,RL78/G1H,P2802-1,ISL81401,ISL68301,ISL8272M,RX/651,FS1012,SGAS711,UPD720115,ISL6146B,ISL95338,ISL97634,RX24T,ISL99380,HXC42200,ZMID520X,RZ/A2M,RX130,R7F0C009,ZIOL2401,ISL80019A,RS780E,PS9821-1,PS9124,RAA229022,ISL8203M,ISL2101A,RX/65N,5P49V6965,ISL80030A,ISL8022,ISL8023,RAA235100,RAA228006,NX6360,RA6M1,R7FS3A6,R5F100PL,RA6M3,ISL29125,ISL9113,ISL8024,ISL69259,RAA228000,R1EX24512BTAS0I,ISL3179E,RX/62T,RAA228004,ISL3034E,F1420,PS9031,HXR14400,ISL99360,R7F0C908,R2A20114B,R7F0C905,P9242,ISL91212B,R7F0C001G,RZ/T1,HS3004,ISL89410,ISL32704E,HXT42100,NX6370,HS3002,HS3003,NX6375,ISL69269,RL78/G13A,HS3001,ISL28023,FS2012,ISL9238,RAA226054,GX36420,HXR8201,HXT44400,RAA228113,ZMID5202,ISL28130,ISL85403,ISL80020A,RL78/I1A,ISL91211B,HXC14400,ISL8212M,RAA462113FYL,ISL81601,ISL28134,ISL80510,ISL95338B,ISL6420,ISL9007,RX/72M,ISL9008,ISL80505,SB710,RAA223011,ISL91302BIKZ-TR5852,READ2302GSP,ISL91302BIKZ-TR5850,F2977,ISL91302BIKZ-TR5851,ΜPC4742,HXC42400,8P34,ISL80031A,ISL9008A,R9A02G011,ISL28006,ISL9021,8A34043,ISL8723,ZAMC4100,KSZ9031RNX,HXC45480,ISL99227,LS3000,NJL5310R,ISL9005A,ISL97519A,RL78/L1A,ISL80019,ISL80138,ISL295035,5L1503L,ISL68127,ISL61851,ISL80015,SSD1306,ISL68124,RA2A1,RAJ240045,ISL3232E,DMG7430LFG,RAA212422,RAA212421,HA1630D,HIP2211,HIP2103,ISL29033,ISL85003A,HIP2104,P9242-R,GX76474,ZMOD4510,ISL6294,ISL85010,ISL8277M,ISL85012,R7FS1JA,ISL69227,ISL85014,ISL69228,PS2802-1,RJH60D5,ISL29035,ISL3331,BCR8LM-12LA,ISL69224,NR5159,ISL6721,ISL69222,ISL9003A,ISL80031,ISL80030,ISL28291,RX65N,R1EX24512ATA00I,R7FS7G2,ISL6186,NR5195,ISL81487,ISL8118,FT-2000+,ISL6730,RX/24T,ISL8117,BCR30FR-8LB,LS4000,HXR42100 LR,ISL91134,HXR14100,RX/130,RX651,R7FS5D9,ISL80020,5P49V5908,5P35021,5P49V5907,ISL8490,ZMOD4410,ISL85033,RAA228217,HXT45111,HXR44400,P9221,ISL8130,HXR42100,ISL8014,HXT42400,HXT14400,RAA211220,ISL4221E,ISL76683,HXC45200,PS2561DL2-1

17/Feb, 2020 - RENESAS - 应用及方案

RZ系列微处理器64位和32位高性能MPU

型号- RZ/A1M,RZ/A1L,RZ/G2UL,RZ/A1H,RZ/A1LU,R9A07G043UXX,RZ/N1 SERIES,RZ/V2L,RZ/V2M,RZ/V2M GROUP,RZ/A1LU GROUP,RZ/N2L,R9A07G075M22GBA,RZ/A,R9A07G075M22GBG,R9A07G084M08GBG,RZ/A1L GROUP,R9A07G075M28GBA,RZ/T1,R9A07G084M08GBA,R8A774C0,RZ/N1S,RZ/G SERIES,RZ FAMILY,R7S910035,R7S910036,R8A774AX,RZ/N1L,R9A07G075M27GBA,RZ/N1D,R8A774BX,RZ/A3UL GROUP,RZ,RZ/N1L GROUP,R7S910028,RZ/N1S GROUP,R7S910026,R9A07G075M01GFP,R7S910027,RZ/A1LC GROUP,R7S910025,R9A07G075M24GBG,R9A07G044CXX,RZ/N,RZ/G2L,R9A07G075M01GFA,RZ/G2M,RZ/G2N,R9A07G044LXX,R9A07G074M08GBG,RZ/G,RZ/N1,RZ/V,RZ/T,RZ/G2E,RZ/G2H,R7S910017,R7S910018,R7S910015,R7S910016,R7S910013,R7S910011,R9A07G043FXX,R9A07G074M05GBG,RZ/T SERIES,RZ/G1M,RZ/G1N,RZ/V2MA,RZ/A2M GROUP,RZ/A1M GROUP,RZ/G1C,RZ/G1E,RZ/G1H,RZ/T2M,R7S910006,RZ/T1 GROUP,R7S910007,R7S910002,RZ/A3UL,R9A07G075M05GFA,R9A07G074M04GBG,R7S910001,R9A07G084M04GBG,R9A07G075M26GBG,RZ/T2L,R9A07G084M04GBA,R9A07G075M24GBA,R8A774EX,R9A07G075M05GFP,RZ/A1 GROUP,R9A07G075M21GBA,RZ/V2L GROUP,RZ/A SERIES,RZ/V2MA GROUP,RZ/A1H GROUP,RZ/N2L GROUP,R9A07G075M28GBG,R9A07G075M26GBA,RZ/A2M,RZ/G2LC,RZ/N1D GROUP,RZ/A1LC,RZ/N SERIES,R9A07G074M01GBG,RZ/V SERIES

2023.04 - RENESAS - 商品及供应商介绍 - Rev.5.0-1 查看更多版本

【产品】实现高速图像处理和嵌入式人工智能应用的全新RZ/A2M微处理器

2018年10月4日，瑞萨电子推出全新的RZ/A2M 微处理器（MPU），把 e-AI 解决方案的使用扩展到高端应用。新款MPU提供的图像处理性能是其前一代产品RZ/A1的10倍，通过采用瑞萨电子独有的动态可配置处理器，能够以低功耗实现实时的图像处理。

2018-10-12 - 新产品

“嵌入式AI MPU ” RZ/V介绍

型号- RZ/G3YYY,RZ/A1M,RZ/A1L,RZ/A SERIES,RZ/G2UL,R9A09G055MA3G,RZ/G1M,RZ/G1N,RZ/A1H,RZ/V2MA,R9A09G011G,RZ/A1LU,RZ/G1C,RZ/V SERIES,RZ/G1E,RZ/V2XXX,RZ/V3X,RZ/G1H,RZ/FIVEX,RZ/V2L,RZ/V2M,RZ/V2XX,RZ/A3UL,RZ/G3YY,RZ/A,RZ/G3X,RZ/G3Y,RZ/A2M,RZ/G2L,RZ/G2M,RZ/G2LC,RZ/G3XXX,RZ/G2N,RZ/G,RZ/A3X,RZ/V,RZ/A1LC,RZ/G2E,RZ/G2H,RZ/G SERIES,RZ/FIVE,RZ/G3XX

JUNE 2023 - RENESAS - 技术文档查看更多版本

RZ/A2M组RZ/A2M二维条码包V1.01发行说明

描述- 本资料为RZ/A2M 2D Barcode Package V1.01的发布说明，包含RZ/A2M的2D条码样例程序，用于检测和解码2D条码。该程序利用RZ/A2M中的DRP（动态可重构处理器）执行操作。该包是RZ/A2M软件包的一部分，支持DRP、摄像头输入、LCD输出和图像调整等功能。包含设备驱动程序、中间件和样例应用程序。

型号- RZ / A2M,RZ/A2M,RTK7921053C00000BE,RTK79210XXB00010BE,R7S921051VCBG,RTK79210XXB00000BE,MX25L51245G,R7S921053VCBG,R7S921052VCBG,RTK7921053S00000BE

Dec 28, 2018 - RENESAS - 开发环境(软件/固件) - Rev.1.01

有二维码识别的一些芯片推荐吗？

瑞萨全新RZ/A2M系列微处理器（MPU）能实现。详情请参考以下链接内容：https://www.sekorm.com/news/50249512.html

2018-10-29 - 技术问答

RZ/A2M Wi-Fi解决方案

型号- RZ/A2M

SEPTEMBER.2020 - RENESAS - 应用及方案

2020年全国大学生电子设计竞赛“瑞萨杯”信息科技前沿专题邀请赛，公布获奖名单，一览基于RZ/A2M单片机设计的优秀作品

由教育部高等教育司、工业和信息化部人事教育司主办、全国大学生电子设计竞赛组织委员会承办，瑞萨电子冠名赞助的第二届“瑞萨杯”信息科技前沿专题邀请赛于2020年9月在杭州完成评审，获奖名单也已公布。

2020-11-10 - 行业资讯

RZ/A2M二维条码演示

型号- RZ/A2M

2019.10.08 - RENESAS - 应用及方案

RZ系列RZ/A2M SDIO Wi-Fi套装V1.00

描述- Renesas发布RZ/A2M SDIO Wi-Fi Package V1.00，支持Wi-Fi通信，适用于云连接系统中的高速图像流传输。该包包含设备驱动和示例应用，支持Silex Technology的SX-SDMAC模块，与RZ/A2M Software Package兼容。提供系统配置示例和软件结构图，支持RZ/A2M Evaluation Board Kit、SX-SDCAC-2830-SP模块等。

型号- RZ/A2M,SX-SDCAC-2830-SP

Feb.16.20 - RENESAS - 商品及供应商介绍 - Rev.1.00

【产品】瑞萨电子推出RZ/V系列微处理器（MPU），搭载了图像处理AI加速器，可实现低功耗和实时AI处理

2020年6月9日-全球领先的半导体解决方案供应商瑞萨电子集团今日宣布推出RZ/V系列微处理器（MPU），搭载了瑞萨独有的图像处理AI加速器——DRP-AI（DRP：动态可配置处理器）。该系列首款产品RZ/V2M可在嵌入式设备中以业界领先低能耗实现实时AI推理。RZ/V2M还集成了图像信号处理器（ISP），能够以每秒30帧的速度处理4K像素图像。

2020-06-09 - 新产品