【技术】瑞萨RZ/A2M采用DRP技术实现二维码编码类型检测以及二维码解码，在8ms时间内完成5种编码格式的快速识别

时间： 2021-01-31 来源：Renesas

在当今的工业应用中，快速准确的数据搜集对于生产线的高效运转是必不可少的，因此高速和可靠的读取二维码已经成为大多数精益制造企业不可或缺的环节。RZ/A2M集成了瑞萨特有的DRP（动态可重新配置处理器）技术，它将对二维码编码类型检测以及二维码解码带来无与伦比的加速体验。

现在让我们看一下RZ/A2M的DRP如何实现在8ms时间内检测5中不同编码格式的二维码。

二维码又称二维条码，常见的二维码为QR Code，QR全称Quick Response，是一个近几年来移动设备上非常流行的一种编码方式，它比传统的Bar Code条形码能存更多的信息，也能表示更多的数据类型。除了这种常见的QR Code之外，还有一些其它编码格式的二维码，例如Micro QR Code, DataMatrix, AZTec和汉信码等等，因此要求扫码枪能够识别多种不同编码的二维码。常规的操作是循环调用不同解码器，逐一用不同的解码器进行检测和解码，但导致的问题是解码时间不稳定性与解码时间偏长，如果能够在解码之前快速识别出二维码的编码格式，然后有针对性的调用对应的解码器，则会大大提高解码效率。

瑞萨的RZ/A2M微处理器可以利用其独特的动态可配置处理器（DRP）完美解决这一问题，实现了1280x720（1百万）摄像头输入时，在8ms时间内完成QR ,Micro QR, DataMatrix, AZTec 和汉信码5种编码格式的快速识别，下面让我们看一下DRP是如何实现的。

以下是示例中用到的5种二维码的图例，我们将利用DRP的图像处理加速功能识别每种编码格式的特征。

我们将通过9个步骤的数据处理，逐步从MIPI接口输入的图像数据中提取出我们希望得到的特征标识。

在这9个数据处理环节中，大部分由DRP硬件加速模块处理（蓝色），少量过程由CPU进行处理（绿色），在此期间我们可以看到硬件DRP处理和软件CPU处理之间的灵活搭配与无缝对接。

步骤1
为了加快图像的处理速度，我们会先载入一个Bayer2GrayThinning的DRP加速库将图像的分辨率降采样为原始大小的1/4，同时完成图像格式从Bayer到灰度图的转换并统计每帧图像的亮度值，我们会将这个亮度的统计结果反馈给CMOS传感器用于调整自动曝光参数。

由于Bayer2GrayThinning库只占用1个Tile的DRP硬件资源，在此步骤中利用DRP的多Tile并行处理特性将每一帧1280x768的图像分成6个1280x128的区域，由6个DRP处理单元进行并行化处理，这样处理速度可增加为原来的6倍，而且每个处理单元内部的像素级处理也是并行化的。

利用DRP的这两个并行化特性，我们可以在0.6ms的时间内完成1帧1280x768分辨率图像的处理，包含0.2ms的DRP库载入时间和0.4ms的图像数据处理时间。经过步骤1的处理我们得到一个320x192的灰度图。

步骤2
得到灰度图后我们加载一个binarization_adaptive的DRP库，将图像转换为只有0x00和0xFF两种颜色的黑白图像。这个DRP库可以根据每个8x8像素区域的灰度值平均值动态计算二值化的阈值，这样可以有效解决不同亮度的场景中二值化阈值该如何选择的问题。

我们可以设置二值化转换的参数，控制输出图像以反转方式输出，即二维码图像中黑色部分输出为白色，这样方便下一步对白色部分提取轮廓信息。步骤2的总处理时间是0.9ms左右，包含0.6ms的DRP库载入时间和0.3ms的图像数据处理时间。

步骤3
得到二值化图像后我们再载入一个Dialte的DRP库实现膨胀功能，其基本实现原理如下:

●用3x3区块以步长为1像素扫描输入图像

●扫描窗口中心点的新数据输出值为3x3范围内的最大值

●实现效果：将白色扩展，吞并被包围的黑色区域

●可配置迭代次数，次数越多，白色扩展范围越大

经过膨胀处理后的图像中，包含二维码数据的区域基本被联通，形成一个包含整个二维码的大区域。总处理时间是0.4ms左右，包含0.2ms的DRP库载入时间和0.2ms的图像数据处理时间。

步骤4
此时我们对膨胀之后的图像调用openCV的FindContour方法，它将得到这一帧图像中所有高亮部分的外轮廓以及每个轮廓的最小外接矩形。我们会逐一判断轮廓的宽高比，面积，位置等信息，筛选出最有可能包含二维码的轮廓。如果条件不匹配则采集下一帧图像。此步骤由CPU实现，时间约为4ms。

图中带有旋转角度的矩形为二维码区域的轮廓，后面我们会将这个旋转的矩形调整为倾角为0度的图形，用于更精细的特征检测。而最小外接矩形的四个顶点坐标将被换算成原始输入图像的坐标，用于从原始图像中裁剪包含二维码的区域。

步骤5

为了保证二维码标识特征提取的精度，我们会从MIPI输入buffer中裁剪Bayer格式的原始二维码图像。此时我们载入一个bayer2gray_cropping的DRP库从MIPI buffer进行图像裁剪，裁剪的位置就是步骤4中最小外接矩形4个顶点在MIPI buffer中对应的坐标。

这个bayer2gray_cropping只占用1个Tile的硬件资源，它具备6个tile并行运行的能力，因此我们会用6个Tile的DRP并行处理。

此步骤的执行时间约为0.6ms，DRP的载入时间为0.25ms，执行时间约为0.35ms。

步骤6

下图左侧为裁剪出的带有旋转角度的灰度图，其中4个绿色顶点可以从步骤4的轮廓信息得到。在此步骤中我们由CPU实现一个简易的Keystone和缩放功能，将4个绿色顶点中的有效图像映射到右侧的buffer中，这里的梯形校正只是简单抽取或重复原有像素点，不生成新的点，因此属于有损但快速的算法。更精确的算法可用使用DRP的仿射变换（affine）功能，但会消耗更多的时间。

步骤7

得到一个无旋转的图像后，我们重复步骤2中的binarization_adaptive处理，得到一个无旋转角度的二值化图像。这一步耗时约0.5ms。

步骤8

此时载入FindContour DRP库，检测二值化后的二维码图像中所有高亮部分的轮廓，检测结果为图像中蓝色的矩形区域。

FindContour DRP库会输出每个轮廓的位置，大小信息。所有的轮廓信息将被保存起来用于下一步的二维码标识检测。此过程总耗时约1.4ms，包含0.4ms的DRP库载入时间及1.0ms的处理时间。

步骤9

此时我们已经得到二维码图像中所有轮廓的坐标信息，我们可以很容易的通过轮廓相对于二维码的对应位置，是否是正方形轮廓，是否包含对称的子轮廓，是否包含偏心的子轮廓等信息来判断出QR code, Micro QR code, 汉信码，Aztec code。

对于DataMatrix的检测，我们可以利用DRP运行时不消耗CPU负载的特性，在步骤8的DRP处理过程中（1ms的DRP执行期间）同时由CPU计算图像每行和每列的求和统计，这样可以让DRP和CPU的处理也并行起来。

让我们回顾一下以上9个步骤的处理：

我们可以在8ms的时间内完成5种不同编码的二维码类型的检测主要得益于：

●加载具有并行化处理能力的DRP库

●同时加载多个DRP库对一帧图像的多个区域同时进行处理

●DRP处理期间，并行运行CPU运算

●硬件DRP加速处理与openCV软件处理无缝对接

此时如果将裁剪出来的二维码图像交给后续对应的解码器进行解码，将极大的缩短多类型二维码解码的处理时间。

发送到邮箱 |
+1 赞 0
收藏
评论 1
| 转发至：

本文由一号演员转载自Renesas，原文标题为:RZ/A2M DRP实现二维码编码格式的快速检测，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

提交评论

全部评论（1）

好运常伴吾 Lv8. 研究员 2021-01-31

学习

没有更多评论了

【技术】瑞萨电子的DRP和SOTB两大技术令嵌入式系统实现边缘智能和摆脱电池束缚

瑞萨电子正在开发中的DRP以及SOTB技术将为嵌入式系统领域提供新的附加价值。DRP技术可灵活地随机重写电路，对于无法随时自由连接到云或对实时性有高要求的嵌入式系统应用，DRP技术能够大显身手。SOTB的独特性在于其在运行和待机模式下都能保持低功耗，这项功能使得构建不需要电池的系统成为可能，从而可以扩展物联网连接设备及其所在场所的范围。

2019-06-13 - 新技术

【技术】瑞萨RZ/A2M采用特有的DRP动态可重新配置处理器技术，将机器视觉提速20倍

RZ/A2M集成了瑞萨特有的DRP（动态可重新配置处理器）技术，拥有超高性能的图形图像处理能力。DRP在拥有硬件级别运算能力的同时，也能够从软件层面对运算逻辑进行实时修改，保证了灵活性的同时也拥有不俗的图像处理能力。本文中，我们将重点介绍RZ/A2M在工业自动化领域应用的优势，包括更高的图像处理能力以及超低的功耗。

2021-01-30 - 新技术

瑞萨嵌入式人工智能(e-AI)、动态可配置处理器(DRP)技术用于家居、工业的解决方案，帮助便捷、快速开发智能物联网产品

瑞萨电子嵌入式人工智能（e-AI）技术、动态可配置处理器（DRP）技术在家居、工业等领域嵌入式系统设计中的应用方案，在提升性能的同时降低功耗，帮助客户便捷、快速开发智能物联网产品。本次展会，瑞萨电子还演示在感知、控制、云端设备，与IDT产品组合的参考设计方案。嵌入式人工智能（e-AI）技术、动态可配置处理器（DRP）技术在家居、工业等领域嵌入式系统设计中的应用方案，在提升性能的同时降低功耗。

2019-06-21 - 新技术

Renesas（瑞萨电子）RZ系列64位/32位基于Arm的微处理器(MPU)选型指南

目录- RZ Series MPU RZ/A Series MPU RZ/G Series MPU RZ/T Series MPU RZ/N Series MPU RZ Family MPU Package overview

型号- RZ/A1M,RZ/A1L,RZ/N1D,RZ/G1M,RZ/G1N,RZ/A1H,R8A774BX,RZ/A1LU,RZ/G1C,RZ/G1E,RZ/G1H,RZ/A1,RZ/A,RZ/G2,RZ/N,RZ/A2M,RZ/G2M,RZ/G2N,RZ/G2M 96,R8A774EX,RZ/G,RZ/N1,RZ/G2E 96,RZ/A1LC,RZ/T1,RZ/G2E,RZ/T,RZ/G2H,R8A774C0,RZ/N1S,RZ FAMILY,R8A774AX,RZ/G2M-96CE,RZ/N1L

2020.02 - RENESAS - 选型指南

获胜的组合解决方案建议

型号- 6P41505BNBGI,ISL9001A,F2914,ISL91302BI,PD720115,PS2911,OB1203SD-C4,ISL26132,ISL68201,HXR8201 SR,HXT8201,HXT8201 SR,RX600,RTL8189EM,ISL83386EIVZ,PS9301,RX/23T,ISL97901,HXR44100,RX/23W,UPD720202,ZL9024M,ISL91127,ISL8205M,NR5195AH,PS2711-1,R5F5651EDDFM,RZ/N1D,D2-7XX83,ISL85009,HXT42100 LR,IDT1339,IDT1338,R1EX24512BT,ISL80505A,ISL29501,ΜPD720201,9FGV0441,ISL85003,HXR45400,ISL68227,ISL6146,ISL85005,ISL68223,R5F104BD,RAJ240100,RZ/T1-M,ISL28417,ISL95810,HXT14150,RX72M,RZ/G2M,ISL85005A,HXT44100,ΜPD720210,RZ/G2E,ZMOD4450,ISL80103,ISL9301,ISL80101,P9821-1,RMLV0408,READ2302,RL78/L12,RL78/L13,ISL15102,RX72T,ISL55210,RX23T,ISL28230,ISL99390,FT-2000,RL78/H1D,RA4M1,RZ/G1C,HXT45400,ISL9021A,ISL60002,ISL80410,R5H30313XB08,9BDL411B,ISL88011,HXR45100,NR5200,BCR16RM,RX23W,R1EX25512ATA00I,RV2X6387,ISL97656,ISL85415,RX113,HXC42100,HXC44400,RX231,RX111,HXT45411,HXT45410,ISL85410,HXR42400,ISL85413,ISLA112P50,OB1203,HXT14100,RAA229001,RL78/G11,RL78/G12,RL78/G13,RL78/G14,HXR14150,TW8844,ISL8225M,RL78,SAIC101,RL78/G1A,RL78/G1D,RL78/G1H,P2802-1,ISL81401,ISL68301,ISL8272M,RX/651,FS1012,SGAS711,UPD720115,ISL6146B,ISL95338,ISL97634,RX24T,ISL99380,HXC42200,ZMID520X,RZ/A2M,RX130,R7F0C009,ZIOL2401,ISL80019A,RS780E,PS9821-1,PS9124,RAA229022,ISL8203M,ISL2101A,RX/65N,5P49V6965,ISL80030A,ISL8022,ISL8023,RAA235100,RAA228006,NX6360,RA6M1,R7FS3A6,R5F100PL,RA6M3,ISL29125,ISL9113,ISL8024,ISL69259,RAA228000,R1EX24512BTAS0I,ISL3179E,RX/62T,RAA228004,ISL3034E,F1420,PS9031,HXR14400,ISL99360,R7F0C908,R2A20114B,R7F0C905,P9242,ISL91212B,R7F0C001G,RZ/T1,HS3004,ISL89410,ISL32704E,HXT42100,NX6370,HS3002,HS3003,NX6375,ISL69269,RL78/G13A,HS3001,ISL28023,FS2012,ISL9238,RAA226054,GX36420,HXR8201,HXT44400,RAA228113,ZMID5202,ISL28130,ISL85403,ISL80020A,RL78/I1A,ISL91211B,HXC14400,ISL8212M,RAA462113FYL,ISL81601,ISL28134,ISL80510,ISL95338B,ISL6420,ISL9007,RX/72M,ISL9008,ISL80505,SB710,RAA223011,ISL91302BIKZ-TR5852,READ2302GSP,ISL91302BIKZ-TR5850,F2977,ISL91302BIKZ-TR5851,ΜPC4742,HXC42400,8P34,ISL80031A,ISL9008A,R9A02G011,ISL28006,ISL9021,8A34043,ISL8723,ZAMC4100,KSZ9031RNX,HXC45480,ISL99227,LS3000,NJL5310R,ISL9005A,ISL97519A,RL78/L1A,ISL80019,ISL80138,ISL295035,5L1503L,ISL68127,ISL61851,ISL80015,SSD1306,ISL68124,RA2A1,RAJ240045,ISL3232E,DMG7430LFG,RAA212422,RAA212421,HA1630D,HIP2211,HIP2103,ISL29033,ISL85003A,HIP2104,P9242-R,GX76474,ZMOD4510,ISL6294,ISL85010,ISL8277M,ISL85012,R7FS1JA,ISL69227,ISL85014,ISL69228,PS2802-1,RJH60D5,ISL29035,ISL3331,BCR8LM-12LA,ISL69224,NR5159,ISL6721,ISL69222,ISL9003A,ISL80031,ISL80030,ISL28291,RX65N,R1EX24512ATA00I,R7FS7G2,ISL6186,NR5195,ISL81487,ISL8118,FT-2000+,ISL6730,RX/24T,ISL8117,BCR30FR-8LB,LS4000,HXR42100 LR,ISL91134,HXR14100,RX/130,RX651,R7FS5D9,ISL80020,5P49V5908,5P35021,5P49V5907,ISL8490,ZMOD4410,ISL85033,RAA228217,HXT45111,HXR44400,P9221,ISL8130,HXR42100,ISL8014,HXT42400,HXT14400,RAA211220,ISL4221E,ISL76683,HXC45200,PS2561DL2-1

17/Feb, 2020 - RENESAS - 应用及方案

RZ系列微处理器64位和32位高性能MPU

型号- RZ/A1M,RZ/A1L,RZ/G2UL,RZ/A1H,RZ/A1LU,R9A07G043UXX,RZ/N1 SERIES,RZ/V2L,RZ/V2M,RZ/V2M GROUP,RZ/A1LU GROUP,RZ/N2L,R9A07G075M22GBA,RZ/A,R9A07G075M22GBG,R9A07G084M08GBG,RZ/A1L GROUP,R9A07G075M28GBA,RZ/T1,R9A07G084M08GBA,R8A774C0,RZ/N1S,RZ/G SERIES,RZ FAMILY,R7S910035,R7S910036,R8A774AX,RZ/N1L,R9A07G075M27GBA,RZ/N1D,R8A774BX,RZ/A3UL GROUP,RZ,RZ/N1L GROUP,R7S910028,RZ/N1S GROUP,R7S910026,R9A07G075M01GFP,R7S910027,RZ/A1LC GROUP,R7S910025,R9A07G075M24GBG,R9A07G044CXX,RZ/N,RZ/G2L,R9A07G075M01GFA,RZ/G2M,RZ/G2N,R9A07G044LXX,R9A07G074M08GBG,RZ/G,RZ/N1,RZ/V,RZ/T,RZ/G2E,RZ/G2H,R7S910017,R7S910018,R7S910015,R7S910016,R7S910013,R7S910011,R9A07G043FXX,R9A07G074M05GBG,RZ/T SERIES,RZ/G1M,RZ/G1N,RZ/V2MA,RZ/A2M GROUP,RZ/A1M GROUP,RZ/G1C,RZ/G1E,RZ/G1H,RZ/T2M,R7S910006,RZ/T1 GROUP,R7S910007,R7S910002,RZ/A3UL,R9A07G075M05GFA,R9A07G074M04GBG,R7S910001,R9A07G084M04GBG,R9A07G075M26GBG,RZ/T2L,R9A07G084M04GBA,R9A07G075M24GBA,R8A774EX,R9A07G075M05GFP,RZ/A1 GROUP,R9A07G075M21GBA,RZ/V2L GROUP,RZ/A SERIES,RZ/V2MA GROUP,RZ/A1H GROUP,RZ/N2L GROUP,R9A07G075M28GBG,R9A07G075M26GBA,RZ/A2M,RZ/G2LC,RZ/N1D GROUP,RZ/A1LC,RZ/N SERIES,R9A07G074M01GBG,RZ/V SERIES

2023.04 - RENESAS - 商品及供应商介绍 - Rev.5.0-1 查看更多版本

【产品】实现高速图像处理和嵌入式人工智能应用的全新RZ/A2M微处理器

2018年10月4日，瑞萨电子推出全新的RZ/A2M 微处理器（MPU），把 e-AI 解决方案的使用扩展到高端应用。新款MPU提供的图像处理性能是其前一代产品RZ/A1的10倍，通过采用瑞萨电子独有的动态可配置处理器，能够以低功耗实现实时的图像处理。

2018-10-12 - 新产品

“嵌入式AI MPU ” RZ/V介绍

型号- RZ/G3YYY,RZ/A1M,RZ/A1L,RZ/A SERIES,RZ/G2UL,R9A09G055MA3G,RZ/G1M,RZ/G1N,RZ/A1H,RZ/V2MA,R9A09G011G,RZ/A1LU,RZ/G1C,RZ/V SERIES,RZ/G1E,RZ/V2XXX,RZ/V3X,RZ/G1H,RZ/FIVEX,RZ/V2L,RZ/V2M,RZ/V2XX,RZ/A3UL,RZ/G3YY,RZ/A,RZ/G3X,RZ/G3Y,RZ/A2M,RZ/G2L,RZ/G2M,RZ/G2LC,RZ/G3XXX,RZ/G2N,RZ/G,RZ/A3X,RZ/V,RZ/A1LC,RZ/G2E,RZ/G2H,RZ/G SERIES,RZ/FIVE,RZ/G3XX

JUNE 2023 - RENESAS - 技术文档查看更多版本

RZ/A2M组RZ/A2M二维条码包V1.01发行说明

描述- 本资料为RZ/A2M 2D Barcode Package V1.01的发布说明，包含RZ/A2M的2D条码样例程序，用于检测和解码2D条码。该程序利用RZ/A2M中的DRP（动态可重构处理器）执行操作。该包是RZ/A2M软件包的一部分，支持DRP、摄像头输入、LCD输出和图像调整等功能。包含设备驱动程序、中间件和样例应用程序。

型号- RZ / A2M,RZ/A2M,RTK7921053C00000BE,RTK79210XXB00010BE,R7S921051VCBG,RTK79210XXB00000BE,MX25L51245G,R7S921053VCBG,R7S921052VCBG,RTK7921053S00000BE

Dec 28, 2018 - RENESAS - 开发环境(软件/固件) - Rev.1.01

有二维码识别的一些芯片推荐吗？

瑞萨全新RZ/A2M系列微处理器（MPU）能实现。详情请参考以下链接内容：https://www.sekorm.com/news/50249512.html

2018-10-29 - 技术问答

RZ/A2M Wi-Fi解决方案

型号- RZ/A2M

SEPTEMBER.2020 - RENESAS - 应用及方案

2020年全国大学生电子设计竞赛“瑞萨杯”信息科技前沿专题邀请赛，公布获奖名单，一览基于RZ/A2M单片机设计的优秀作品

由教育部高等教育司、工业和信息化部人事教育司主办、全国大学生电子设计竞赛组织委员会承办，瑞萨电子冠名赞助的第二届“瑞萨杯”信息科技前沿专题邀请赛于2020年9月在杭州完成评审，获奖名单也已公布。

2020-11-10 - 行业资讯

RZ系列RZ/A2M SDIO Wi-Fi套装V1.00

描述- Renesas发布RZ/A2M SDIO Wi-Fi Package V1.00，支持Wi-Fi通信，适用于云连接系统中的高速图像流传输。该包包含设备驱动和示例应用，支持Silex Technology的SX-SDMAC模块，与RZ/A2M Software Package兼容。提供系统配置示例和软件结构图，支持RZ/A2M Evaluation Board Kit、SX-SDCAC-2830-SP模块等。

型号- RZ/A2M,SX-SDCAC-2830-SP

Feb.16.20 - RENESAS - 商品及供应商介绍 - Rev.1.00

RZ/A2M二维条码演示

型号- RZ/A2M

2019.10.08 - RENESAS - 应用及方案

【产品】瑞萨电子推出RZ/V系列微处理器（MPU），搭载了图像处理AI加速器，可实现低功耗和实时AI处理

2020年6月9日-全球领先的半导体解决方案供应商瑞萨电子集团今日宣布推出RZ/V系列微处理器（MPU），搭载了瑞萨独有的图像处理AI加速器——DRP-AI（DRP：动态可配置处理器）。该系列首款产品RZ/V2M可在嵌入式设备中以业界领先低能耗实现实时AI推理。RZ/V2M还集成了图像信号处理器（ISP），能够以每秒30帧的速度处理4K像素图像。

2020-06-09 - 新产品