Can Your Vision AI Solution Keep Up with Cortex-M85?
In this blog, We will discuss a vision AI application built on the new RA8D1 graphics-enabled MCUs featuring the same Cortex-M85 core and the use of Helium to accelerate the neural network. RA8D1 MCUs provide a unique combination of advanced graphics capabilities, sensor interfaces, large memory, and the powerful Cortex-M85 core with Helium for the acceleration of the vision AI neural networks, making them ideally suited for these vision AI applications.
Graphics and Vision AI Applications with RA8D1 MCUs
RENESAS has successfully demonstrated the performance uplift with Helium, in various AI / ML use cases showing significant improvement over a Cortex-M7 MCU – more than 3.6x in some cases.
One such use case is a people detection application developed in collaboration with Plumerai, a leading provider of vision AI solutions. This camera-based AI solution has been ported and optimized for the Helium-enabled Arm Cortex-M85 core, successfully demonstrating both the performance as well as the graphics capabilities of the RA8D1 devices.
Accelerated with Helium, the application achieves a 3.6x performance uplift vs. Cortex-M7 core and 13.6 fps frame rate, a strong performance for an MCU without hardware acceleration. The demo platform captures live images from an OV7740 image-sensor-based camera at 640x480 resolution and presents detection results on an attached 800x480 LCD. The software detects and tracks each person within the camera frame, even if partially occluded, and shows bounding boxes drawn around each detected person overlaid on the live camera display.
Figure 1: Renesas People Detection AI Demo Platform, showcased at Embedded World 2023
Plumerai people detection software uses a convolution neural network with multiple layers, trained with over 32 million labeled images. The layers that account for the majority of the total latency, are Helium accelerated, such as the Conv2D and fully connected layers, as well as depthwise convolution and transpose convolution layers.
The camera module provides images in YUV422 format which is converted to RGB565 format for display on the LCD screen. The 2D graphics engine integrated on the RA8D1 resizes and converts the RGB565 to ABGR8888 at resolution 256x192 for input to the neural network. The software then converts the ARBG8888 format to the neural network model input format and runs the people detection inference function. The graphics LCD controller and 2D drawing engine on the RA8D1 are used to render the camera input to the LCD screen as well as draw bounding boxes around detected people and present the frame rate. The people detection software uses roughly 1.2MB of flash and 320KB of SRAM, including the memory for the 256x192 ABGR8888 input image.
Figure 2: People Detection AI application on the RA8D1 MCU
Benchmarking was done to compare the latency of Plumerai’s people detection solution as well as the same neural network running with TFMicro using Arm’s CMSIS-NN kernels. Additionally, for the Cortex-M85, the performance of both solutions with Helium (MVE) disabled was also benchmarked. This benchmark data shows pure inference performance and does not include latency for the graphics functions, such as image format conversions.
Figure 3: The Renesas people detection demo based on the RA8D1 demonstrates a performance uplift of 3.6x over the Cortex-M7 core
Figure 4: Inference performance of 13.6fps @ 480MHz using RA8D1 with Helium enabled
This application makes optimal use of all the resources available on the RA8D1:
High-performance 480MHz processor
Helium for neural network acceleration
Large flash and SRAM for storage of model weights and input activations
Camera interface for capture of input images/video
Display interface to show the people detection results
Renesas has also demonstrated multi-modal voice and vision AI solutions based on the RA8D1 devices that integrate visual wake words and face detection and recognition with speaker identification. RA8D1 MCUs with Helium can significantly improve neural network performance without the need for any additional hardware acceleration, thus providing a low-cost, low-power option for implementing AI and machine learning use cases.
- |
- +1 赞 0
- 收藏
- 评论 0
本文由翊翊所思转载自RENESAS Blogs，原文标题为:Can Your Vision AI Solution Keep Up with Cortex-M85?，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
相关研发服务和供应服务
相关推荐
32位MCU APM32F407IG测评：移植轻量级AI推理框架TinyMaix如何实现手写数字识别
本文将介绍如何为APM32F407IG芯片移植轻量级AI推理框架——TinyMaix，并在开发板上运行TinyMaix的手写数字识别示例。
设计经验 发布时间 : 2023-10-31
【经验】一文让你了解DSP与MCU区别
世强代理有Silicon Labs EFM8/EFM32系列8位MCU/32位MCU，Renesas 汽车级MCU RL78 系列，RH850、V850系列，工业级MCU RX系列等。世强有代理进芯电子32位浮点DSP，32位定点DSP，16位DSP，国内唯一可批量供货的32位工业控制DSP供应商。
设计经验 发布时间 : 2018-08-02
如何使用Chat-GPT为RL78 MCU（Arduino）编写AI代码？
本文介绍如何使用Chat-GPT和与Arduino兼容的RL78板进行AI编程，以及其实际应用示例。截止到2023年9月，使用Arduino IDE，可以为以下板开发RL78产品的软件：RL78/G24快速原型开发板、RL78/G23-64p快速原型开发板、RL78/G22快速原型开发板、RL78/G16快速原型开发板、RL78/G15快速原型开发板。
设计经验 发布时间 : 2023-12-30
AI加速边缘计算，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等
世强硬创联合地平线，阿普奇，启英泰伦，美格智能，普林芯驰，唯创知音，九芯电子，芯闻，VINKO，MERRY带来AI新产品，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等，加速边缘计算。
活动 发布时间 : 2023-06-08
招聘高算力MCU/SOC工程师，负责智能驾驶、AI、机器人等热门项目
参与汽车电子、人工智能、工业等热门项目的研发。技术大牛带队、接触全品类器件，快速拓宽市场应用领域和技术的广度、深度；服务中国TOP2000+知名硬科技企业，丰厚项目奖、年终奖。
招聘信息 发布时间 : 2024-08-08
他山（TASHAN）AI触觉传感芯片选型指南
描述- TS3F605 是一款集成了一个 30通道 24 位 电容-数字转换（CDC）、内置 R-SpiNNaker 四核类脑芯片架构的 32位SOC 芯片。内置的 24 位 CDC 可配置成电容测量模式或电压测量模式，这两种模式都可配置成单端模式及差分模式。其中电容测量模式即可实现互电容的测量，又可实现自电容的测量。30 个通道通过内置的模拟路由可配置每个通道不同的功能，可实现 CDC 的片间路由。内置 R-SpiNNaker 四核类脑芯片架构，可实现分布式计算。
型号- TS4M系列,TS3系列,TS3A,TS4M41X,TS4M21X,TS4M43X,TS3M0,TS3F505,TS3F605,TS3F,TS3,TS3F600,TS3M04X,TS3000,TS3M02X,TS3F500,TS3005,TS3A0,TS3A805,TS4M42X,TS4M22X,TS3A700,TS3A800,TS4M23X,TS3A0系列,TS3A705,TS3A系列,TS3M0系列,TS3M03X,TS3F系列,TS3M01X,TS4M
启英泰伦（Chipintelli）AI语音芯片选型指南
描述- 启英泰伦成立于2015年，是集语音芯片、语音算法、方案、平台于一体的行业领导型智能语音解决方案供应商，公司产品已广泛应用于智能家居家电、照明、玩具、IoT、车载、音响、机器人等领域，是端侧人工智能芯片及解决方案的行业开拓者和领导者。
型号- CI130X,CI130X系列,CI131系列,CI13,CI1311,CI11,CI1312,CI2305,CI231系列,CI2306,CI230系列,CI132X,CI1122,CI1002,CI2311,CI231,CI1102,CI2312,CI1103,CI1301,CI1302,CI1006,CI13系列,CI230,CI1303,CI131,CI11系列,CI1306
合纵连横，航顺HK32 MCU预测AI大潮下的MCU发展新趋势
在6月15日召开的“赋能创芯，共筑生态”2024年度航顺HK32MCU新品发布会暨第二次代理商培训大会上，航顺芯片联合创始人、首席科学家＆CTO王翔分享了AI大潮下的MCU发展趋势，概括起来就是---合纵连横！
厂牌及品类 发布时间 : 2024-06-22
芯科科技PG28 32位微控制器配备AI/ML硬件加速器，可在较低能耗的情况下将机器学习推理的性能加倍
本文重点介绍了Silicon Labs（亦称“芯科科技”）的PG28 32位微控制器（MCU）的特性和优势，其领先集成了人工智能和机器学习（AI/ML）硬件加速器，可在边缘位置以更低功耗进行更快推理；同时还兼容EFR32xG28 无线SoC 平台（ZG28、FG28 和 SG28），为开发人员提供实现各种低功耗、高性能嵌入式物联网应用的理想选择。
厂牌及品类 发布时间 : 2024-06-22
PG26荣获中国电子报评选为“2024边缘AI MCU优秀案例”
Silicon Labs（亦称“芯科科技”）最新发布的EFM32PG26（PG26） 32位微控制器（MCU）近期荣获中国电子报评选并推荐为“2024边缘AI MCU优秀案例”。PG26通过提升了两倍的闪存和RAM容量以及GPIO的数量，同时还嵌入人工智能和机器学习（AI/ML）硬件加速器来满足各种低功耗和高性能嵌入式物联网应用需求，因而获得行业的认可及青睐。
厂牌及品类 发布时间 : 2024-06-11
世强目前有代理riscv的mcu吗？
世强代理的RISC-V内核MCU厂家越来越多，还在不断增长。 国外厂家有瑞萨 【产品】瑞萨推出全新RISC-V MCU R9A02G020，优化先进电机控制系统设计和降低用户开发成本 国内厂家介绍如下： 广芯微内置32位RISC-V内核的PD SoC芯片UM3506，最高主频33MHz 全球首家全栈自研RISC-V内核的通讯接口芯片/全栈MCU供应商沁恒（WCH） RISC-V内核低功耗32位MCU，中移芯昇授权世强先进全线代理 芯昇科技携多款芯片产品亮相ICDIA，助力RISC-V生态发展 先楫半导体提供多系列通用MCU，以开源的RISC-V架构为核心，综合性能达世界领先水平 航顺芯片首次进入胡润全球独角兽榜，已量产中国第一颗M3+RISC-V多核MCU 中微半导体积极推动RISC-V架构安全化、智能化，共筑国产安全芯片生态 博流业界第一款基于RISC-V CPU的WI-FI+BLE双模SoC芯片，打造智慧家居AIoT芯片平台 璇玑CLE系列是核芯互联基于32位RISC-V内核推出的通用嵌入式MCU处理器 方寸微电子加入RISC-V产业联盟，推动安全芯片国产化，打破国外芯片技术垄断
技术问答 发布时间 : 2019-12-09
Zbit Participated SCGC 2023 and Began to Market the Best Cost-effective AI Products and Solutions
Zhao xinlin, vice president of marketing of Zbit, attended the annual meeting as an invited guest. In the future, the company will combine its own technology accumulation in the field of NOR Flash and MCU, to develop integrated memory and Computing AI chip development and application.
厂牌及品类 发布时间 : 2023-09-12
IoT和AI需求升温，2022年MCU市场迎来新商机
Silicon Labs公司MCU产品经理Eric Bauereis先生近期获邀参加中国电子报（CENA）的MCU专题采访，在2022年开年之际通过问答形式的访谈为行业人士带来MCU行业的市场发展及技术趋势的最新解析。
行业资讯 发布时间 : 2022-01-11
瑞纳捷水上AI机器人项目获IAIC中国芯应用创新设计大赛奖项，搭载低功耗安全MCU支持各种常见通信接口
瑞纳捷半导体的水上AI机器人项目荣获第三届IAIC中国芯应用创新设计大赛二等奖，该项目中使用的是瑞纳捷半导体研发生产的低功耗安全MCU RJM8L151，负责航行动力系统的电机控制、投料系统的电机控制、以及电源管理系统的充电和输电管理。
厂牌及品类 发布时间 : 2021-11-29
电子商城
现货市场
服务
可定制显示屏的尺寸0.96”~15.6”，分辨率80*160~3840*2160，TN/IPS视角，支持RGB、MCU、SPI、MIPI、LVDS、HDMI接口，配套定制玻璃、背光、FPCA/PCBA。
最小起订量： 1000 提交需求>
可烧录IC封装SOP/MSOP/SSOP/TSOP/TSSOP/PLCC/QFP/QFN/MLP/MLF/BGA/CSP/SOT/DFN；IC包装Tray/Tube/Tape；IC厂商不限，交期1-3天。支持IC测试（FT/SLT），管装、托盘装、卷带装包装转换，IC打印标记加工。
最小起订量： 1pcs 提交需求>
授权代理品牌：集成电路
授权代理品牌：分立元件
授权代理品牌：接插件及结构件
授权代理品牌：部件、组件及配件
授权代理品牌：电源及模块
授权代理品牌：电子材料
授权代理品牌：仪器仪表及测试配组件
授权代理品牌：电工工具及材料
授权代理品牌：机械电子元件
授权代理品牌：加工与定制
我要提问
登录 | 立即注册
提交评论