解析如何在雅特力AT32 MCU上实现关键词语音识别(KWS)

2024-03-14 AT32 MCU 雅特力科技公众号
MCU,微控制器,AT32,AT32F403A MCU,微控制器,AT32,AT32F403A MCU,微控制器,AT32,AT32F403A MCU,微控制器,AT32,AT32F403A

关键字定位(Keyword Spotting,KWS)技术,已成为可穿戴设备、物联网设备和其他智能终端的关键。诸如“Alexa”,“Hey Siri”或“Ok Google”等短语唤醒智能手机和家用电器上的语音激活功能,已经是语音交互设计产品的广泛需求。


对于KWS,实时响应和高精度才能获得良好的用户体验。最近,神经网络已成为KWS架构的一个有吸引力的选择,因为与传统的语音处理算法相比,它们具有更高的准确性。


由于需要实时在线识别的要求,导致KWS应用在内存和计算能力有限的微型微控制器上运行会受到一定限制。KWS的神经网络架构设计必须考虑这些限制。


于是,研究人员设计出由于传统CNN的深度可分离卷积神经网络(DS-CNN)架构技术。为了进一步介绍了DS-CNN架构,并展示了开发人员如何在MCU上实现DS-CNN KWS。2018年ARM和斯坦福大学进行了合作,并开源了预训练TensorFlow模型及其语音关键词识别代码,并将结果发表在论文Hello Edge: Keyword Spotting on Microcontrollers中。


本文基于此开源模型和代码,在AT32 MCU上对KWS效果进行展示。


KWS实现原理


关键词识别KWS

一个典型的KWS系统由一个特征提取器和一个基于神经网络的分类器组成,如下图所示。首先,长度为L的输入语音信号被分成长度为l且步幅为s的重叠帧,总共有帧T帧。

T=(L−l)/S+1

从每一帧中提取F个语音特征,则长度为L的整个输入语音信号总共生成T×F个特征。Logmel filter bank energies (LFBE)和Mel-frequency cepstral coefficients(MFCC)常用于基于深度学习的语音识别,特别适用于传统语音处理技术。使用LFBE或MFCC进行特征提取涉及将时域语音信号转换为一组频域频谱信号,从而实现输入信号的维度压缩。提取的语音特征矩阵服务于输入分类器模块,该模块导出所输出分类的概率。在需要从连续音频流中识别关键字的实际场景中,利用后端处理模块可以在一段时间内平均每个输出类的输出概率,从而提高预测的整体置信度。

图1. KWS数据管道

卷积神经网络CNN

基于DNN的KWS的一个主要缺点是它无法有效地对语音特征中的局部时间和频谱相关性进行建模。CNN是通过将输入时域和谱域特征视作图像,并对其进行二维卷积处理。卷积层之后通常是批量归一化、基于ReLU的激活函数和可选的最大/平均池化层,这些处理可以降低特征的维数。在推理过程中,批量归一化的参数可以折叠到卷积层的权重中。在某些情况下,为了减少参数和加速训练,在卷积层和密集层之间添加了一个线性低秩层,这是一个没有非线性激活的全连接层。


深度可分离卷积神经网络DS-CNN

深度可分离卷积神经网络(DS-CNN)。最近,深度可分离卷积已被提出作为标准3-D卷积操作的有效替代方案,并已用于在计算机视觉领域实现紧凑的网络架构。DS-CNN首先将输入特征图中的每个通道与一个单独的2-D滤波器进行卷积,然后使用逐点卷积(即1x1)在深度维度上组合输出。通过将标准的3-D卷积分解为2-D卷积,然后是1-D卷积,深度可分离卷积在参数数量和操作方面都更加高效,这使得即使在资源受限的微控制器设备中也可以实现更深、更宽的架构。


例KWS实作


KWS测试平台

KWS系统需要使用到两个平台,即PC端和AT32 MCU端。


PC端:

利用TensorFlow与Python撰写完整的深度学习程序代码并训练模型,因本文件使用的学习模式为监督式的学习,需给系统大量的训练数据和Labels,接着将提取到的特征用以训练CNN模型,并反复修正训练的模型,直到模型为此系统优化的状态。


AT32 MCU端:

利用ARM提供的CMSIS-NN的函式库、DSP函数库和CNN函数库,结合PC端训练好的模型(该模型已下载待MCU)。对输入到MCU端的音频数据进行识别,实现对该语音数据可能的标签进行分类和预测。


因此,对于既定模型的KWS识别,AT32 MCU端可实现完全离线识别,无需实时与PC通信或联网通信。本示例,AT32 MCU端智能识别的关键词列表如下"yes","no","up","down","left","right","on","off","stop","go";没有输入信号时,输出标签为"Silence";输入信号不在关键词列表时,输出标签为"Unknown"。


注意:由于篇幅限制,本文只介绍AT32 MCU的实现流程,如下图阴影部分。

图2. KWS实现流程

资源准备

1) 硬件环境:

AT-START-F403A BOARD V1.x

AT32-Audio-EV V2.x

图3. KWS测试的硬件环境

2) 软件环境

MDK V5.31或更新版本,使用ARM Compiler V6进行编译

…\PACK\ArteryTek.AT32F403A_407_DFP.2.1.2.pack或更新版本

…\PACK\ARM.CMSIS-DSP.1.11.0.pack或更新版本

ML-KWS-for-MCU-master\Project\mdk_v5


软件设计


实验结果

在AT32-Audio-EV V2.x端LINE_IN输入语音信号后,AT Link虚拟串口会打印输出KWS识别的标签和概率。

图4. 串口打印识别信息

识别效果视频可点击查看

授权代理商:世强先进(深圳)科技股份有限公司
技术资料,数据手册,3D模型库,原理图,PCB封装文件,选型指南来源平台:世强硬创平台www.sekorm.com
现货商城,价格查询,交期查询,订货,现货采购,在线购买,样品申请渠道:世强硬创平台电子商城www.sekorm.com/supply/
概念,方案,设计,选型,BOM优化,FAE技术支持,样品,加工定制,测试,量产供应服务提供:世强硬创平台www.sekorm.com
集成电路,电子元件,电子材料,电气自动化,电机,仪器全品类供应:世强硬创平台www.sekorm.com
  • +1 赞 0
  • 收藏
  • 评论 0

本文由犀牛先生转载自AT32 MCU 雅特力科技公众号,原文标题为:AT32讲堂071 | 如何在雅特力AT32 MCU上实现关键词语音识别(KWS),本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关研发服务和供应服务

评论

   |   

提交评论

全部评论(0

暂无评论

相关推荐

雅特力(Artery)AT32全系列32位微控制器(MCU)选型指南(中文)

目录- 公司介绍    AT32家族MCU产品总览    AT32全系列微控制器    开发工具   

型号- AT-SURF-F437,AT32F413CCU7,AT32F437ZCT7,AT32A403ACGU7,AT32F405CCU7,AT32L021K6U7-4,AT32F421K6T7,AT32F437VMT7,AT32F425R8T7,AT32F437RGT7,AT32F423VBT7,AT32A403ACGT7,AT32F423RBT7-7,AT32F423系列,AT32F413CBT7,AT32F435CMT7,AT32F403ARCT7,AT32L021C4T7,AT32F435RCT7,AT32F435ZGT7,AT32F405CCT7,AT32F403ACET7,AT32L021K8T7,AT32F435系列,AT32L021F8P7,AT32F435CMU7,AT32F413CBU7,AT32F415KBU7-4,AT32F402CBT7,AT32F405KCU7-4,AT32F407RCT7,AT32F403ACGU7,AT32L021G4U7,AT32F425K8U7-4,AT32F402KBU7-4,AT32F415RCT7,AT32F425R8T7-7,AT32F423VCT7,AT32F402CBU7,AT32F423T8U7,AT32F425K6T7,AT32F405RBT7,AT32A403ARCT7,AT32F421K6U7,AT32F415RBT7-7,AT32F421G8U7,AT32F421F4P7,AT32F413系列,AT32WB415系列,AT32F413KCU7-4,AT32F423C8T7,AT32F425F6P7,AT32A403ACEU7,AT32F437VGT7,AT32F437ZMT7,AT32F423RCT7-7,AT32F421K8T7,AT32A403A系列,AT32F4212C8T7,AT32F413C8T7,AT32F415RBT7,AT32F421系列,AT32F407系列,AT32F403ARET7,AT32F435CGT7,AT32A403ACET7,AT32F435VCT7,AT32F403ACGT7,AT32F421C4T7,AT32L021K6T7,AT32F403AVCT7,AT32L021F6P7,AT32F415RCT7-7,AT32F435CGU7,AT32F405KBU7-4,AT32F407VCT7,AT32F415CCT7,AT32F405CBU7,AT32F415KCU7-4,AT32F407RET7,AT32F435RMT7,AT32L021K8U7,AT32L021,AT32L021系列,AT32F423C8U7,AT32L021F8U7,AT32F425K8T7,AT32F405CBT7,AT32A403AVCT7,AT32F421K8U7,AT32A403ARET7,AT32F423TBU7,AT32F421K6U7-4,AT32F421F6P7,AT32F403A,AT32A403ACCU7,AT32F415CBT7,AT32F415R8T7,AT32F425F8P7,AT32A403A,AT32F437ZGT7,AT32F423R8T7,AT32F425C6U7,AT-START,AT32F421K4U7-4,AT32F437RCT7,AT32F423CCU7,AT32F402RCT7,AT32F403ARGT7,AT32L021C8T7,AT32WB415CCU7-7,AT32F405系列,AT32F415CCU7,AT32A403ACCT7,AT32F403AVET7,AT32F435VMT7,AT32F435RGT7,AT32F421C6T7,AT32L021K4U7-4,AT32F423TCU7,AT32L021K4T7,AT32F405RBT7-7,AT32F413KBU7-4,AT32F435ZCT7,AT32F423CCT7,AT32WB415,AT32L021F4P7,AT32L021G8U7,AT32F407VET7,AT32F407RGT7,AT32F403ACCU7,AT32L021K6U7,AT32F423CBU7,AT32F415CBU7,AT32L021K8U7-4,AT32A403AVET7,AT32L021F6U7,AT32F425C6T7,AT32F425K6U7-4,AT32F421G4U7,AT32A403ARGT7,AT32F421F8P7,AT32F423CBT7,AT32F413RCT7,AT32F425R6T7-7,AT32F413,AT32F423V8T7,AT32F415,AT32F437VCT7,AT32F437系列,AT32F402CCT7,AT32F423KCU7-4,AT32F421K4T7,AT32F425C8U7,AT32F425R6T7,AT32F423RBT7,AT32F425系列,AT32F402系列,AT32F423K8U7-4,AT32F421,AT32F402,AT32F435VGT7,AT32F405,AT32L021C6T7,AT32F407,AT32F402CCU7,AT32F421C8T7,AT32F435CCT7,AT32F403AVGT7,AT32F405RCT7,AT32F403ACCT7,AT32F423R8T7-7,AT32F435ZMT7,AT32F4212,AT32F413RBT7,AT32F405RCT7-7,AT32F415C8T7,AT32F402RBT7-7,AT32F435,AT32F437,AT32F415系列,AT32F407VGT7,AT32F435CCU7,AT32L021G6U7,AT32,AT32F402RCT7-7,AT32F403ACEU7,AT32F415K8U7-4,AT32L021K4U7,AT-START系列,AT32F415R8T7-7,AT32F4212系列,AT32F423RCT7,AT32F402KCU7-4,AT32F403A系列,AT32F402RBT7,AT32F423,AT32F425,AT32F413CCT7,AT32F421K4U7,AT32F421K8U7-4,AT32L021F4U7,AT32F425C8T7,AT32F437RMT7,AT32A403AVGT7,AT32F421G6U7,AT32F423KBU7-4

2023/10/13  - 雅特力  - 选型指南 代理服务 技术支持 现货查询 批量订货 查看更多版本

【经验】雅特力MCU在Keil和IAR中开启和关闭浮点运算单元(FPU)的配置方法及注意事项

雅特力MCU的AT32F403A、AT32F407、AT32F413系列采用基于ARM 32位的Cortex M4内核微控制器,内建浮点运算单元(FPU)和存储器保护单元(MPU),内建单周期乘法和硬件除法,具有DSP指令集。本文介绍在Keil和IAR中开启和关闭浮点运算单元(FPU)的配置方法和注意事项。

2021-10-04 -  设计经验 代理服务 技术支持 现货查询 批量订货

AT32讲堂 | 解析雅特力AT32 MCU HICK时钟校准

AT32系列MCU内部都有提供适合运行的内部高速时钟(HICK),在25℃下,其典型值频率8MHz的精度由工厂校准到±1%,在-40到105℃,该内部高速时钟的精度达到±2.5%,可见精度会受到温度的影响。为了降低环境温度对精度造成的影响,用户可在运行时间隙调用校准程序来进行校准。

2024-09-29 -  设计经验 代理服务 技术支持 现货查询 批量订货

【经验】雅特力AT32 MCU CAN入门指南

CAN是Controller Area Network的缩写(以下称为CAN),它的设计目标是以最小的CPU负荷来高效处理大量的报文。本文介绍雅特力AT32 MCU CAN入门指南

2023-02-08 -  设计经验 代理服务 技术支持 现货查询 批量订货

AT32讲堂 | 雅特力AT32 MCU的随机数生成

本章介绍了使用软件触发方式触发ADC,配置普通信道和DMA。本篇应用笔记适用于AT32各系列MCU,只要有ADC外设皆可适用。

2024-09-29 -  设计经验 代理服务 技术支持 现货查询 批量订货

【经验】雅特力AT32 MCU如何使用OTA通过USART实现对固件的在线升级更新

雅特力AT32 MCU如何使用OTA通过USART对固体在线升级更新?OTA(空中下载技术)是用户自己的程序在运行过程中对User Flash的部分区域进行烧写,目的是为了在产品发布后便于通过预留的通信口,对产品中的固件程序进行更新升级。

2022-04-28 -  设计经验 代理服务 技术支持 现货查询 批量订货

【经验】雅特力MCU如何在Keil中将函数或变量编译到指定地址

在使用雅特力MCU AT32F403A,AT32F421,AT32F413,AT32F415做软件编程中,有时会有将函数或者变量加载到固定的Flash地址,本文介绍2种将变量或函数编译到指定地址的方法。

2021-06-03 -  设计经验 代理服务 技术支持 现货查询 批量订货

如何在雅特力AT32 MCU上创建IAP应用程序

如何在雅特力AT32 MCU上创建IAP应用程序,文章概述了AT32 CAN IAP快速使用方法即使用CAN进行IAP升级,此示例使用PC上位软件(IAP_Programmer.exe)通过一个USB转CAN的桥接设备和目标板进行通信,IAP Demo和桥接设备默认CAN波特率使用500K。

2024-07-08 -  设计经验 代理服务 技术支持 现货查询 批量订货

【经验】 雅特力AT32 MCU Printf的功能使用方法

内容概述本文档主要介绍雅特力AT32 MCU在Keil和IAR两种工程环境下的printf功能使用方法。其共包含6种方法,各方法的具体用法在具体内容中描述。

2022-05-26 -  设计经验 代理服务 技术支持 现货查询 批量订货

【经验】雅特力MCU AT32F421的时钟配置教程

时钟是芯片正确高效运行的基础,正确的时钟配置是芯片能正确运行的必要条件,其重要性不言而喻。AT32各系列产品的时钟配置部分可能存在细微的差异和需要注意的事项,本文就着重针对各系列的情况来详细介绍如何结合雅特力提供的V2.x.x的板级支持包(BSP)来配置时钟。

2023-06-10 -  设计经验 代理服务 技术支持 现货查询 批量订货

雅特力AT32F423系列MCU时钟配置指南

时钟是芯片正确高效运行的基础,正确的时钟配置是芯片能正确运行的必要条件,其重要性不言而喻。AT32各系列产品的时钟配置部分可能存在细微的差异和需要注意的事项,本文档就着重针对各系列的情况来详细介绍如何结合雅特力提供的V2.x.x的板级支持包(BSP)来配置时钟。

2024-04-16 -  设计经验 代理服务 技术支持 现货查询 批量订货

【经验】解析雅特力AT32系列MCU RTC入门指南

RTC计数逻辑位于电池供电域,内部为一个32位递增计数器,只要电池供电域有电,RTC便会一直运行,不受系统复位以及VDD掉电影响。本文雅特力将为大家介绍AT32系列MCU的RTC入门指南。

2023-04-25 -  设计经验 代理服务 技术支持 现货查询 批量订货

【经验】如何使用雅特力MCU AT32F407的以太网通信接口实现在应用中编程?

在应用中编程(IAP)是一种在现场通过MCU通信接口(例如USART、USB、CAN和以太网)进行固件升级的方式。本文将介绍两种使用以太网通信外设在雅特力MCU AT32F407上实现IAP的解决方案。

2022-10-15 -  设计经验 代理服务 技术支持 现货查询 批量订货

AT32系列微控制器低压电机控制开发板用户手册

型号- AT32F4XX,AT32L0XX,AT32系列,AT32

2021.12.1  - 雅特力  - 评估板使用说明  - 版本 2.0.2 代理服务 技术支持 现货查询 批量订货 查看更多版本
展开更多

电子商城

查看更多

品牌:雅特力

品类:32位通用MCU

价格:¥4.2360

现货: 23,058

品牌:雅特力

品类:32位MCU

价格:¥17.3130

现货: 11,929

品牌:雅特力

品类:32位MCU

价格:¥14.6240

现货: 8,734

品牌:雅特力

品类:32位MCU

价格:¥13.3420

现货: 8,628

品牌:雅特力

品类:32位MCU

价格:¥10.8480

现货: 6,906

品牌:雅特力

品类:32位MCU

价格:¥16.2950

现货: 5,771

品牌:雅特力

品类:32位MCU

价格:¥12.1770

现货: 4,875

品牌:雅特力

品类:32位MCU

价格:¥19.0120

现货: 2,536

品牌:雅特力

品类:32位MCU

价格:¥6.8360

现货: 2,523

品牌:雅特力

品类:32位MCU

价格:¥7.0480

现货: 1,760

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

现货市场

查看更多

品牌:RENESAS

品类:16-BIT MCU

价格:¥5.5190

现货:910,635

品牌:RENESAS

品类:MCU

价格:¥5.1500

现货:200,000

品牌:RENESAS

品类:microcontroller

价格:¥2.8532

现货:188,410

品牌:恒烁

品类:MCU

价格:¥1.0800

现货:154,600

品牌:Advanced Digital Chips

品类:MCU

价格:¥6.6000

现货:100,000

品牌:RENESAS

品类:MCU

价格:¥5.8041

现货:86,925

品牌:RENESAS

品类:32-BIT GENERAL MCU

价格:¥7.3800

现货:76,715

品牌:RENESAS

品类:32-BIT GENERAL MCU

价格:¥15.3000

现货:75,000

品牌:Advanced Digital Chips

品类:MCU

价格:¥9.0000

现货:64,841

品牌:ST

品类:MCU

价格:¥15.5600

现货:58,800

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

品牌:

品类:

价格:

现货:

服务

查看更多

工控触摸一体机定制

提供7~27寸工控机定制,支持嵌⼊式/ 壁挂式 /桌⾯式/悬挂式等安装方式,采用纯平⾯板IP65防尘防⽔等级,莫⽒7级硬度触摸屏,兼容多种操作系统:组态软件/安卓/XP/win7/8/10/Linux等,支持主板、接⼝、外观、⽀架、刷卡器、⾝份证阅读器、LOGO、⻨克⻛、系统、电池、蓝⽛、4G/5G、摄像头、GPS系统、⼆维码扫描器、指纹等特殊应⽤场景定制

最小起订量: 1台 提交需求>

散热风扇定制

可定制风扇尺寸覆盖18x18x04mm~165x165x25mm,随散热器大小而定制;风扇转速范围:1000 RPM~16500 RPM。支持DC风扇,直流风扇轴流风机,鼓风机以及电脑笔记本风扇等产品定制。

最小起订量: 500pcs 提交需求>

查看更多

授权代理品牌:接插件及结构件

查看更多

授权代理品牌:部件、组件及配件

查看更多

授权代理品牌:电源及模块

查看更多

授权代理品牌:电子材料

查看更多

授权代理品牌:仪器仪表及测试配组件

查看更多

授权代理品牌:电工工具及材料

查看更多

授权代理品牌:机械电子元件

查看更多

授权代理品牌:加工与定制

世强和原厂的技术专家将在一个工作日内解答,帮助您快速完成研发及采购。
我要提问

954668/400-830-1766(工作日 9:00-18:00)

service@sekorm.com

研发客服
商务客服
服务热线

联系我们

954668/400-830-1766(工作日 9:00-18:00)

service@sekorm.com

投诉与建议

E-mail:claim@sekorm.com

商务合作

E-mail:contact@sekorm.com

收藏
收藏当前页面