RDK X3设置语音识别算法应用案例，助力智能家居实现语音控制功能

时间： 2024-11-23 来源：D-Robotics官网

技术问答

功能介绍

地平线智能语音算法采用本地离线模式，订阅音频数据后送给BPU处理，然后发布唤醒、命令词识别、声源定位DOA角度信息以及语音ASR识别结果等消息。智能语音功能的实现对应于TogetheROS.Bot的hobot_audio package，适用于地平线RDK配套的麦克风阵列。

应用场景：智能语音算法能够识别音频中的唤醒词以及自定义的命令词，并将语音内容解读为对应指令或转化为文字，可实现语音控制以及语音翻译等功能，主要应用于智能家居、智能座舱、智能穿戴设备等领域。

物料清单

使用方法

准备工作

1. 在体验之前，需要具备以下基本条件：

2. 地平线RDK已烧录好地平线提供的Ubuntu 20.04系统镜像

音频板正确连接到RDK X3

连接步骤：

将麦克风板连接到地平线RDK X3 40PIN GPIO 接口上，连接后实物如下图：

4mic麦克风板

2mic麦克风板

配置麦克风板，参考RDK用户手册音频转接板章节。

安装功能包

启动RDK X3后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。

tros foxy版本

tros humble版本

运行智能语音程序

智能语音功能支持对原始音频降噪处理之后进行ASR识别，默认的唤醒词和命令词定义在智能语音功能模块目录下 config/hrsc/cmd_word.json 文件，默认为：

cmd_word第一个词为唤醒词，后续为命令词，这些词用户都可以根据需要配置，若更改唤醒词效果可能会与默认的唤醒词命令词效果有差异。推荐唤醒词以及命令词使用中文，最好是朗朗上口的词语，且词语长度推荐使用3~5个字。

另外，智能语音功能支持输出声源定位DOA角度信息，单位为角度，环形麦克风阵列取值范围：0度~360度，目前仅4mic麦克风板支持输出DOA信息，2mic麦克风板不支持。

角度的相对位置关系与麦克风的安装位置强相关，4麦环形麦克风阵列DOA角度示意图如下：

地平线RDK板端运行hobot_audio package：

1. 拷贝配置文件

tros foxy版本

tros humble版本

2. 确认配置文件 config/audio_config.json

需要确认的字段有：

micphone_name ，配置音频设备号，默认为"hw:0,0"。若加载音频驱动时无其他音频设备连接，则无需修改该字段，若加载音频驱动时有其他音频设备连接，例如USB麦克风或带麦克风功能的USB摄像头，则需要修改该字段为对应的设备号，以"hw:0,0"为例，表示音频设备Card0 Device0。

micphone_chn ，配置音频板支持的通道数，4mic麦克风板该字段设置为8，2mic麦克风该字段设置为2。

asr_mode ，配置是否发布ASR结果，默认值为0，表示不发布ASR结果。若要发布ASR结果，需要将该字段改为1或2，1表示唤醒后进行一次ASR识别并发布结果，2表示一直进行ASR识别并发布结果。

asr_channel ，ASR识别使用的通道号，4mic麦克风板设置为3，2mic麦克风设置为1。

3. 配置tros.b环境和启动应用

tros foxy版本

tros humble版本

4. 结果分析

地平线RDK板端运行终端输出如下信息：

以上log显示，音频设备初始化成功，并且打开了音频设备，可正常采集音频。

当人依次在麦克风旁边说出“地平线你好”、“向前走”、“向左转”、“向右转”、“向后退”命令词，语音算法sdk经过智能处理后输出识别结果，log显示如下：

log显示，识别到语音命令词“向前走”、“向左转”、“向右转”、“向后退”，并且输出DOA的角度信息，如“recv hrsc sdk doa data: 110”字段表示DOA角度为110度。

hobot_audio默认发布的智能语音消息话题名为：*/audio_smart*，在另一个终端执行使用ros2 topic list命令可以查询到此topic信息：

若开启发布ASR结果，发布消息话题为：*/audio_asr*，ros2 topic list结果为：

接口说明

话题

参数

audio_config.json配置文件参数说明：

cmd_word.json

此配置文件配置语音智能分析部分的唤醒词以及命令词，配置文件的第一项为唤醒词，后面的是命令词。默认配置文件配置如下：

原理简介

智能语音hobot_audio package开始运行之后，会从麦克风阵列采集音频，并且将采集到的音频数据送入语音智能算法SDK模块做智能处理，输出唤醒事件、命令词、ASR结果等智能信息，其中唤醒事件、命令词通过audio_msg::msg::SmartAudioData类型消息发布，ASR结果通过std_msgs::msg::String类型消息发布。

具体流程如下图：