搭配地平线机器人操作系统的智能语音控制机器人应用实例

时间： 2024-11-25 来源：D-Robotics官网

代理服务

技术支持

现货查询

批量订货

功能介绍

语音控制小车运动功能通过语音控制机器人向前、向后、向左、向右运动，需要搭配地平线机器人操作系统的智能语音模块一起使用。当用户说出控制机器人运动的指令后，智能语音模块识别到指定，然后下发运动指令给机器人运动。

流程如下图：

该应用可以使用PC端Gazebo仿真环境下的虚拟小车运行，也可以直接用于控制实物小车。

机器人实物

物料清单

以下机器人均已适配RDK X3

使用方法

准备工作

1. 机器人具备运动底盘、相机、环形麦克风板及RDK套件，硬件已经连接并测试完毕；

2. 已有ROS底层驱动，机器人可接收“/cmd_vel”指令运动，并根据指令正确运动。

机器人组装

以下操作过程以OriginBot为例，满足条件的其他机器人使用方法类似。参考机器人官网的使用指引，完成机器人的硬件组装、镜像烧写及示例运行，确认机器人的基础功能可以顺利运行。

安装功能包

1. 参考OriginBot说明，完成Originbot基础功能安装

2. 安装功能包

启动机器人后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。

tros foxy版本

tros humble版本

运行语音控制小车运动功能

1. 启动机器人底盘

启动机器人，如OriginBot的启动命令如下：

tros foxy版本

tros humble版本

2. 启动语音控制

启动一个新的终端，通过如下指令启动功能：

tros foxy版本

tros humble版本

启动成功后，当用户说出 "向前走" "向后退" "向左转" "向右转" "停止运动" 等指令后，机器人按照指令开始运动。

3. 结果分析

地平线RDK运行终端输出如下信息：

以上log截取了一段音频控制pkg启动后的输出。log内容显示，此语音控制模块配置的设备唤醒词是“地平线你好”，控制小车运动的命令词有：“向前走”、“向后退”、“向左转”，“向右转”。

Gazebo仿真

Gazebo仿真适用于持有RDK X3但没有机器人实物的开发者体验功能。

物料清单

使用方法

准备工作

1. 开发者有RDK套件实物，及配套的麦克风板;

2. PC电脑端已经完成ROS Gazebo及Turtlebot机器人相关功能包安装;

3. 和地平线RDK在同一网段（有线或者连接同一无线网，IP地址前三段需保持一致）的PC，PC端需要安装的环境包括：

tros foxy版本

Ubuntu 20.04系统

ROS2 Foxy桌面版

Gazebo和Turtlebot3相关的功能包，安装方法：

tros humble版本

Ubuntu 22.04系统

ROS2 Humble桌面版

Gazebo和Turtlebot3相关的功能包，安装方法：

安装功能包

启动RDK X3后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。

tros foxy版本

tros humble版本

运行功能

1. 启动仿真环境及机器人

在PC端Ubuntu的终端中使用如下命令启动Gazebo，并加载机器人模型：

tros foxy版本

tros humble版本

启动成功后，仿真环境中小车效果如下：

2.启动语音控制

启动一个新的终端，通过如下指令启动功能：

tros foxy版本

tros humble版本

启动成功后，当用户说出 "向前走" "向后退" "向左转" "向右转" "停止运动" 等指令后，小车按照指令开始运动。

PC端仿真环境中语音控制小车运动，效果如下：

接口说明

话题

参数

参考资料

语音控制参考：开发者说 | AI 操控机器人系列第三期 —— 语音控制

常见问题

1. Ubuntu下运行启动命令报错-bash: ros2: command not found

当前终端未设置ROS2环境，执行命令配置环境：

tros foxy版本

tros humble版本

在当前终端执行ros2命令确认当前终端环境是否生效：

如果输出以上信息，说明ros2环境配置成功。

注意：对于每个新打开的终端，都需要重新设置ROS2环境。

2. 无法打开音频设备

确认音频设备连接是否正常。

确认是否正确配置音频设备。

确认加载音频驱动前是否已有音频设备连接。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由雪飘梦飞转载自D-Robotics官网，原文标题为:智能语音控制机器人，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

基于RDK X3 ＆ Module的性能检测软件使用示例

Performance Node该应用基于Web网页打造，无论是什么品牌的电脑和手机，只需要在浏览器访问即可。

2024-11-30 - 设计经验代理服务技术支持现货查询批量订货

基于RDK X3的机械臂物体拾取操作实例

本文介绍RDK X3该功能包接收用户选择方块数字的请求，通过yolov5检测目标，在Z轴距离确定的情况下解算出物体的三维坐标，并请求仿真机械臂控制节点夹取物体的应用实例。

2024-10-28 - 设计经验代理服务技术支持现货查询批量订货

智能语音聊天机器人功能及使用指南

智能语音聊天机器人通过识别用户语音，调用ChatGPT API获取答复并播放，实现语音聊天。需地平线RDK、ChatGPT API Key及音频板等物料。准备、组装后，安装功能包并运行，配置音频和ChatGPT API Key。常见问题包括设备连接、音频驱动、配置文件及网络访问等。

2024-10-18 - 设计经验代理服务技术支持现货查询批量订货

【IC】D-Robotics RDK X5机器人开发者套件，可提供高达10 Tops算力，加速智能化应用快速落地

D-Robotics RDK X5搭载Sunrise 5智能计算芯片，可提供高达10 Tops的算力，是一款面向智能计算与机器人应用的全能开发套件，接口丰富，极致易用，支持Transfomer、RWKV、Occupancy、Stereo Perception等多种复杂模型和最新算法，加速智能化应用快速落地。

2024-09-20 - 产品代理服务技术支持现货查询批量订货

地⽠RDK X5机器⼈开发者套件产品资料包

型号- X5MC00ICSTMA,RDK X5 4GB,RDK X5,RDK X5 8GB

2024/9/10 - D-ROBOTICS - 商品及供应商介绍 - V1.0 代理服务技术支持现货查询批量订货

D-Robotics RDK™ X5 Product Brief

型号- RDK X5 4GB,RDK™ X5,RDK X5 8GB

2024/9/5 - D-ROBOTICS - 数据手册 - V1.0 代理服务技术支持现货查询批量订货

RDK X5 3D

型号- RDK X5 4GB,RDK X5 8GB

2024-8-26 - D-ROBOTICS - CAD模型库代理服务技术支持现货查询批量订货

YDLIADAR激光雷达驱动应用实例

介绍YDLIADAR激光雷达驱动的方案与技术要求，YDLIDAR ROS2驱动，以ROS2标准消息格式发送激光雷达数据。

2024-11-30 - 应用方案代理服务技术支持现货查询批量订货

2D垃圾检测应用示例

本Node是基于hobot_dnn开发的2D垃圾目标检测算法，采用PaddlePaddle开源框架，利用PPYOLO模型进行垃圾检测任务设计和训练。为了达到快速部署的目的，本Node支持配置文件更换垃圾检测模型，开发者可以将更多精力投入在算法模型能力的迭代，减少部署工作量，识别输出的AI信息不仅可以通过话题发布，还可以在Web页面渲染显示。