解析如何在雅特力AT32 MCU上实现关键词语音识别（KWS）
关键字定位（Keyword Spotting，KWS）技术，已成为可穿戴设备、物联网设备和其他智能终端的关键。诸如“Alexa”，“Hey Siri”或“Ok Google”等短语唤醒智能手机和家用电器上的语音激活功能，已经是语音交互设计产品的广泛需求。
对于KWS，实时响应和高精度才能获得良好的用户体验。最近，神经网络已成为KWS架构的一个有吸引力的选择，因为与传统的语音处理算法相比，它们具有更高的准确性。
由于需要实时在线识别的要求，导致KWS应用在内存和计算能力有限的微型微控制器上运行会受到一定限制。KWS的神经网络架构设计必须考虑这些限制。
于是，研究人员设计出由于传统CNN的深度可分离卷积神经网络（DS-CNN）架构技术。为了进一步介绍了DS-CNN架构，并展示了开发人员如何在MCU上实现DS-CNN KWS。2018年ARM和斯坦福大学进行了合作，并开源了预训练TensorFlow模型及其语音关键词识别代码，并将结果发表在论文Hello Edge: Keyword Spotting on Microcontrollers中。
本文基于此开源模型和代码，在AT32 MCU上对KWS效果进行展示。
KWS实现原理
关键词识别KWS
一个典型的KWS系统由一个特征提取器和一个基于神经网络的分类器组成，如下图所示。首先，长度为L的输入语音信号被分成长度为l且步幅为s的重叠帧，总共有帧T帧。
T=(L−l)/S+1
从每一帧中提取F个语音特征，则长度为L的整个输入语音信号总共生成T×F个特征。Logmel filter bank energies (LFBE)和Mel-frequency cepstral coefficients（MFCC）常用于基于深度学习的语音识别，特别适用于传统语音处理技术。使用LFBE或MFCC进行特征提取涉及将时域语音信号转换为一组频域频谱信号，从而实现输入信号的维度压缩。提取的语音特征矩阵服务于输入分类器模块，该模块导出所输出分类的概率。在需要从连续音频流中识别关键字的实际场景中，利用后端处理模块可以在一段时间内平均每个输出类的输出概率，从而提高预测的整体置信度。
图1. KWS数据管道
卷积神经网络CNN
基于DNN的KWS的一个主要缺点是它无法有效地对语音特征中的局部时间和频谱相关性进行建模。CNN是通过将输入时域和谱域特征视作图像，并对其进行二维卷积处理。卷积层之后通常是批量归一化、基于ReLU的激活函数和可选的最大/平均池化层，这些处理可以降低特征的维数。在推理过程中，批量归一化的参数可以折叠到卷积层的权重中。在某些情况下，为了减少参数和加速训练，在卷积层和密集层之间添加了一个线性低秩层，这是一个没有非线性激活的全连接层。
深度可分离卷积神经网络DS-CNN
深度可分离卷积神经网络（DS-CNN）。最近，深度可分离卷积已被提出作为标准3-D卷积操作的有效替代方案，并已用于在计算机视觉领域实现紧凑的网络架构。DS-CNN首先将输入特征图中的每个通道与一个单独的2-D滤波器进行卷积，然后使用逐点卷积（即1x1）在深度维度上组合输出。通过将标准的3-D卷积分解为2-D卷积，然后是1-D卷积，深度可分离卷积在参数数量和操作方面都更加高效，这使得即使在资源受限的微控制器设备中也可以实现更深、更宽的架构。
例KWS实作
KWS测试平台
KWS系统需要使用到两个平台，即PC端和AT32 MCU端。
PC端：
利用TensorFlow与Python撰写完整的深度学习程序代码并训练模型，因本文件使用的学习模式为监督式的学习，需给系统大量的训练数据和Labels，接着将提取到的特征用以训练CNN模型，并反复修正训练的模型，直到模型为此系统优化的状态。
AT32 MCU端：
利用ARM提供的CMSIS-NN的函式库、DSP函数库和CNN函数库，结合PC端训练好的模型（该模型已下载待MCU）。对输入到MCU端的音频数据进行识别，实现对该语音数据可能的标签进行分类和预测。
因此，对于既定模型的KWS识别，AT32 MCU端可实现完全离线识别，无需实时与PC通信或联网通信。本示例，AT32 MCU端智能识别的关键词列表如下"yes","no","up","down","left","right","on","off","stop","go";没有输入信号时，输出标签为"Silence";输入信号不在关键词列表时，输出标签为"Unknown"。
注意：由于篇幅限制，本文只介绍AT32 MCU的实现流程，如下图阴影部分。
图2. KWS实现流程
资源准备
1) 硬件环境：
AT-START-F403A BOARD V1.x
AT32-Audio-EV V2.x
图3. KWS测试的硬件环境
2) 软件环境
MDK V5.31或更新版本，使用ARM Compiler V6进行编译
…\PACK\ArteryTek.AT32F403A_407_DFP.2.1.2.pack或更新版本
…\PACK\ARM.CMSIS-DSP.1.11.0.pack或更新版本
ML-KWS-for-MCU-master\Project\mdk_v5
软件设计
实验结果
在AT32-Audio-EV V2.x端LINE_IN输入语音信号后，AT Link虚拟串口会打印输出KWS识别的标签和概率。
图4. 串口打印识别信息
- |
- +1 赞 0
- 收藏
- 评论 0
本文由犀牛先生转载自AT32 MCU 雅特力科技公众号，原文标题为:AT32讲堂071 | 如何在雅特力AT32 MCU上实现关键词语音识别（KWS），本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
相关研发服务和供应服务
相关推荐
雅特力（Artery）AT32全系列32位微控制器（MCU）选型指南（中文）
目录- 公司简介 AT32家族MCU 低功耗MCU 超值型MCU 主流型MCU 车载型MCU 高性能型MCU 无线蓝牙型MCU 开发工具 应用方案
型号- AT32F413CCU7,AT32F437ZCT7,AT32A403ACGU7,AT32F405CCU7,AT32L021K6U7-4,AT32F421K6T7,AT32F437VMT7,AT32F425R8T7,AT32F437RGT7,AT32F423VBT7,AT32F423RBT7-7,AT32A403A 系列,AT32A403ACGT7,AT32A423RBT7-7,AT32A423CCU7,AT32F413CBT7,AT32F435CMT7,AT32F403ARCT7,AT32L021C4T7,AT32F435RCT7,AT32F435ZGT7,AT32F405CCT7,AT32F403ACET7,AT32F405 系列,AT32A423R8T7,AT32L021K8T7,AT32 WB SERIES,AT32A423CBT7,AT32L021F8P7,AT32F435CMU7,AT32F437VDT7,AT32F415KBU7-4,AT32F413CBU7,AT32F402CBT7,AT32F405KCU7-4,AT32F407RCT7,AT32L021G4U7,AT32F403ACGU7,AT32F425K8U7-4,AT32F402KBU7-4,AT32F425R8T7-7,AT32F415RCT7,AT32F423VCT7,AT32F402CBU7,AT32F423T8U7,AT32F425K6T7,AT32F435CDT7,AT32F405RBT7,AT32A403ARCT7,AT32F421K6U7,AT32F421G8U7,AT32F415RBT7-7,AT32F421F4P7,AT32A423CCT7,AT32 F SERIES,AT32WB415系列,AT32F413KCU7-4,AT32F425F6P7,AT32F423C8T7,AT32A403ACEU7,AT32F437VGT7,AT32F437ZMT7,AT32F423RCT7-7,AT32A423TBU7,AT32A423C8T7,AT32F421K8T7,AT32F435 系列,AT32F413C8T7,AT32F415RBT7,AT32F403ARET7,AT32F435CGT7,AT32A423K8U7-4,AT32A403ACET7,AT32F435VCT7,AT32A423C8U7,AT32F403ACGT7,AT32F421C4T7,AT32L021K6T7,AT32A423R8T7-7,AT32F403AVCT7,AT32L021F6P7,AT32F437ZDT7,AT32F415RCT7-7,AT32F435CGU7,AT32F415CCT7,AT32F405KBU7-4,AT32F407VCT7,AT32F405CBU7,AT32F415KCU7-4,AT32A423TCU7,AT32F407RET7,AT32 A,AT32A423CBU7,AT32F435RMT7,AT32L021K8U7,AT32L021,AT32 F,AT32 L,AT32A423KBU7-4,AT32F423C8U7,AT32F423 系列,AT32F435RDT7,AT32L021F8U7,AT32F425K8T7,AT32F405CBT7,AT32A403AVCT7,AT32F421K8U7,AT32A403ARET7,AT32F423TBU7,AT32F421K6U7-4,AT32F421F6P7,AT32F403A,AT32 L SERIES,AT32A403ACCU7,AT32F415CBT7,AT32F415R8T7,AT32F425F8P7,AT32A403A,AT32F437ZGT7,AT32F423R8T7,AT32F425C6U7,AT32A423T8U7,AT32F421K4U7-4,AT32A,AT32F437RCT7,AT32F423CCU7,AT32F402 系列,AT32F425 系列,AT32F402RCT7,AT32L021C8T7,AT32F403ARGT7,AT32WB415CCU7-7,AT32F415CCU7,AT32A403ACCT7,AT32F403AVET7,AT32F435RGT7,AT32F435VMT7,AT32F421C6T7,AT32A423VBT7,AT32L021K4U7-4,AT32L021K4T7,AT32F423TCU7,AT32F405RBT7-7,AT32F413KBU7-4,AT32F435ZCT7,AT32 A SERIES,AT32F423CCT7,AT32WB415,AT32L021F4P7,AT32L021G8U7,AT32F407VET7,AT32F407RGT7,AT32F403ACCU7,AT32L021K6U7,AT32F423CBU7,AT32F403A 系列,AT32A423RCT7-7,AT32F435VDT7,AT32F415CBU7,AT32L021K8U7-4,AT32A423VCT7,AT32L021F6U7,AT32A403AVET7,AT32 WB,AT32F413 系列,AT32F425K6U7-4,AT32F425C6T7,AT32F421G4U7,AT32F407 系列,AT32A403ARGT7,AT32A423KCU7-4,AT32F421F8P7,AT32F423CBT7,AT32F413RCT7,AT32F425R6T7-7,AT32F413,AT32F423V8T7,AT32F415,AT32家族,AT32F437VCT7,AT32F423KCU7-4,AT32F402CCT7,AT32F421K4T7,AT32F435CDU7,AT32F425C8U7,AT32F425R6T7,AT32F423RBT7,AT32A423 系列,AT32F423K8U7-4,AT32F421,AT32F402,AT32F421 系列,AT32F435VGT7,AT32F405,AT32A423RBT7,AT32L021C6T7,AT32F407,AT32F402CCU7,AT32F421C8T7,AT32F435CCT7,AT32F415 系列,AT32F403AVGT7,AT32F405RCT7,AT32F423R8T7-7,AT32F403ACCT7,AT32F435ZMT7,AT32A423V8T7,AT32F413RBT7,AT32F405RCT7-7,AT32F415C8T7,AT32F402RBT7-7,AT32F435,AT32F437,AT32F407VGT7,AT32F435CCU7,AT32L021G6U7,AT32,AT32F402RCT7-7,AT32F403ACEU7,AT32F415K8U7-4,AT32L021K4U7,AT32F415R8T7-7,AT32F437RDT7,AT32F423RCT7,AT32F437 系列,AT32F402KCU7-4,AT32F402RBT7,AT32F423,AT32F425,AT32F413CCT7,AT32A423RCT7,AT32F421K4U7,AT32F421K8U7-4,AT32L021F4U7,AT32F425C8T7,AT32F437RMT7,AT32A403AVGT7,AT32F421G6U7,AT32L021 系列,AT32F423KBU7-4,AT32F435ZDT7,AT32A423
【经验】雅特力MCU在Keil和IAR中开启和关闭浮点运算单元（FPU）的配置方法及注意事项
雅特力MCU的AT32F403A、AT32F407、AT32F413系列采用基于ARM 32位的Cortex M4内核微控制器，内建浮点运算单元（FPU）和存储器保护单元（MPU），内建单周期乘法和硬件除法，具有DSP指令集。本文介绍在Keil和IAR中开启和关闭浮点运算单元（FPU）的配置方法和注意事项。
AT32讲堂 | 解析雅特力AT32 MCU HICK时钟校准
AT32系列MCU内部都有提供适合运行的内部高速时钟（HICK），在25℃下，其典型值频率8MHz的精度由工厂校准到±1％，在-40到105℃，该内部高速时钟的精度达到±2.5％，可见精度会受到温度的影响。为了降低环境温度对精度造成的影响，用户可在运行时间隙调用校准程序来进行校准。
雅特力32位MCU选型表
雅特力AT32 MCU的选型的相关技术参数如下，32位MCU，多种封装：TSSOP20，QFN28，QFN32，QFN48，LQFP48，LQFP64，LQFP100，LQFP144，稳定的工作温度：-40°C~85°C，-40°C~105°C，频率范围在96MHz~288MHz之间
|
产品型号
|
品类
|
Core
|
FPU
|
Speed(MHz)
|
Flash(KB)
|
SRAM(KB)
|
I/O
|
Advanced TM(16-bit)
|
GPTM(32-bit)
|
GPTM(16-bit)
|
Basic TM(16-bit)
|
Systick(24-bit)
|
WDT
|
WWDT
|
RTC
|
I2C
|
SPI
|
(F/H)I2S(1)(2)
|
USART/UART
|
SDIO
|
USB Device
|
CAN
|
ADC Engine
|
12-bit ADC ch
|
DAC Engine
|
12-bit DAC ch
|
PKG
|
Size(mm)
|
Temp(℃)
|
|
AT32F403ZCT6
|
32位MCU
|
M4
|
FPU
|
200MHz
|
256KB
|
96KB/224KB
|
112
|
3
|
2
|
8
|
2
|
1
|
1
|
1
|
1
|
3
|
4
|
0/4
|
3/2
|
2
|
1
|
1
|
3
|
21
|
2
|
2
|
LQFP144
|
20mmx20mm
|
-40℃~85°C
|
选型表 - 雅特力 立即选型
【经验】雅特力AT32 MCU CAN入门指南
CAN是Controller Area Network的缩写（以下称为CAN），它的设计目标是以最小的CPU负荷来高效处理大量的报文。本文介绍雅特力AT32 MCU CAN入门指南
AT32讲堂 | 雅特力AT32 MCU的随机数生成
本章介绍了使用软件触发方式触发ADC，配置普通信道和DMA。本篇应用笔记适用于AT32各系列MCU，只要有ADC外设皆可适用。
【经验】雅特力AT32 MCU如何使用OTA通过USART实现对固件的在线升级更新
雅特力AT32 MCU如何使用OTA通过USART对固体在线升级更新？OTA（空中下载技术）是用户自己的程序在运行过程中对User Flash的部分区域进行烧写，目的是为了在产品发布后便于通过预留的通信口，对产品中的固件程序进行更新升级。
【经验】雅特力MCU如何在Keil中将函数或变量编译到指定地址
在使用雅特力MCU AT32F403A，AT32F421，AT32F413，AT32F415做软件编程中，有时会有将函数或者变量加载到固定的Flash地址，本文介绍2种将变量或函数编译到指定地址的方法。
如何在雅特力AT32 MCU上创建IAP应用程序
如何在雅特力AT32 MCU上创建IAP应用程序，文章概述了AT32 CAN IAP快速使用方法即使用CAN进行IAP升级，此示例使用PC上位软件（IAP_Programmer.exe）通过一个USB转CAN的桥接设备和目标板进行通信，IAP Demo和桥接设备默认CAN波特率使用500K。
【经验】 雅特力AT32 MCU Printf的功能使用方法
内容概述本文档主要介绍雅特力AT32 MCU在Keil和IAR两种工程环境下的printf功能使用方法。其共包含6种方法,各方法的具体用法在具体内容中描述。
【经验】解析雅特力AT32系列MCU RTC入门指南
RTC计数逻辑位于电池供电域，内部为一个32位递增计数器，只要电池供电域有电，RTC便会一直运行，不受系统复位以及VDD掉电影响。本文雅特力将为大家介绍AT32系列MCU的RTC入门指南。
雅特力AT32F423系列MCU时钟配置指南
时钟是芯片正确高效运行的基础，正确的时钟配置是芯片能正确运行的必要条件，其重要性不言而喻。AT32各系列产品的时钟配置部分可能存在细微的差异和需要注意的事项，本文档就着重针对各系列的情况来详细介绍如何结合雅特力提供的V2.x.x的板级支持包（BSP）来配置时钟。
【经验】如何使用雅特力MCU AT32F407的以太网通信接口实现在应用中编程？
在应用中编程(IAP)是一种在现场通过MCU通信接口（例如USART、USB、CAN和以太网）进行固件升级的方式。本文将介绍两种使用以太网通信外设在雅特力MCU AT32F407上实现IAP的解决方案。
电子商城
现货市场
服务
可定制板装式压力传感器支持产品量程从5inch水柱到100 psi气压；数字输出压力传感器压力范围0.5~60inH2O，温度补偿范围-20~85ºС；模拟和数字低压传感器可以直接与微控制器通信，具备多种小型SIP和DIP封装可选择。
提交需求>
可来图定制均温板VC尺寸50*50mm~600*600 mm，厚度1mm~10mm，最薄0.3mm。当量导热系数可达10000W/M·K，散热量可达10KW, 功率密度可达50W/cm²。项目单次采购额需满足1万元以上，或年需求5万元以上。
提交需求>
授权代理品牌：集成电路
授权代理品牌：分立元件
授权代理品牌：接插件及结构件
授权代理品牌：部件、组件及配件
授权代理品牌：电源及模块
授权代理品牌：电子材料
授权代理品牌：仪器仪表及测试配组件
授权代理品牌：电工工具及材料
授权代理品牌：机械电子元件
授权代理品牌：加工与定制
我要提问
登录 | 立即注册
提交评论