搭配地平线机器人操作系统的智能语音控制机器人应用实例

时间： 2024-11-25 来源：D-Robotics官网

代理服务

技术支持

采购服务

功能介绍

语音控制小车运动功能通过语音控制机器人向前、向后、向左、向右运动，需要搭配地平线机器人操作系统的智能语音模块一起使用。当用户说出控制机器人运动的指令后，智能语音模块识别到指定，然后下发运动指令给机器人运动。

流程如下图：

该应用可以使用PC端Gazebo仿真环境下的虚拟小车运行，也可以直接用于控制实物小车。

机器人实物

物料清单

以下机器人均已适配RDK X3

使用方法

准备工作

1. 机器人具备运动底盘、相机、环形麦克风板及RDK套件，硬件已经连接并测试完毕；

2. 已有ROS底层驱动，机器人可接收“/cmd_vel”指令运动，并根据指令正确运动。

机器人组装

以下操作过程以OriginBot为例，满足条件的其他机器人使用方法类似。参考机器人官网的使用指引，完成机器人的硬件组装、镜像烧写及示例运行，确认机器人的基础功能可以顺利运行。

安装功能包

1. 参考OriginBot说明，完成Originbot基础功能安装

2. 安装功能包

启动机器人后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。

tros foxy版本

tros humble版本

运行语音控制小车运动功能

1. 启动机器人底盘

启动机器人，如OriginBot的启动命令如下：

tros foxy版本

tros humble版本

2. 启动语音控制

启动一个新的终端，通过如下指令启动功能：

tros foxy版本

tros humble版本

启动成功后，当用户说出 "向前走" "向后退" "向左转" "向右转" "停止运动" 等指令后，机器人按照指令开始运动。

3. 结果分析

地平线RDK运行终端输出如下信息：

以上log截取了一段音频控制pkg启动后的输出。log内容显示，此语音控制模块配置的设备唤醒词是“地平线你好”，控制小车运动的命令词有：“向前走”、“向后退”、“向左转”，“向右转”。

Gazebo仿真

Gazebo仿真适用于持有RDK X3但没有机器人实物的开发者体验功能。

物料清单

使用方法

准备工作

1. 开发者有RDK套件实物，及配套的麦克风板;

2. PC电脑端已经完成ROS Gazebo及Turtlebot机器人相关功能包安装;

3. 和地平线RDK在同一网段（有线或者连接同一无线网，IP地址前三段需保持一致）的PC，PC端需要安装的环境包括：

tros foxy版本

Ubuntu 20.04系统

ROS2 Foxy桌面版

Gazebo和Turtlebot3相关的功能包，安装方法：

tros humble版本

Ubuntu 22.04系统

ROS2 Humble桌面版

Gazebo和Turtlebot3相关的功能包，安装方法：

安装功能包

启动RDK X3后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。

tros foxy版本

tros humble版本

运行功能

1. 启动仿真环境及机器人

在PC端Ubuntu的终端中使用如下命令启动Gazebo，并加载机器人模型：

tros foxy版本

tros humble版本

启动成功后，仿真环境中小车效果如下：

2.启动语音控制

启动一个新的终端，通过如下指令启动功能：

tros foxy版本

tros humble版本

启动成功后，当用户说出 "向前走" "向后退" "向左转" "向右转" "停止运动" 等指令后，小车按照指令开始运动。

PC端仿真环境中语音控制小车运动，效果如下：

接口说明

话题

参数

参考资料

语音控制参考：开发者说 | AI 操控机器人系列第三期 —— 语音控制

常见问题

1. Ubuntu下运行启动命令报错-bash: ros2: command not found

当前终端未设置ROS2环境，执行命令配置环境：

tros foxy版本

tros humble版本

在当前终端执行ros2命令确认当前终端环境是否生效：

如果输出以上信息，说明ros2环境配置成功。

注意：对于每个新打开的终端，都需要重新设置ROS2环境。

2. 无法打开音频设备

确认音频设备连接是否正常。

确认是否正确配置音频设备。

确认加载音频驱动前是否已有音频设备连接。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由雪飘梦飞转载自D-Robotics官网，原文标题为:智能语音控制机器人，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

平台合作

提交评论

全部评论（0）

暂无评论

RDK X3基于RDK X3的手势识别算法示例

手势识别算法示例订阅包含人手框、人手关键点信息的算法msg，利用BPU进行推理，发布包含手势信息的智能结果msg。手势识别算法集成了人手关键点检测，手势分析等技术，使得计算机能够将人的手势解读为对应指令，可实现手势控制以及手语翻译等功能，主要应用于智能家居，智能座舱、智能穿戴设备等领域。

2024-11-24 - 设计经验代理服务技术支持采购服务

地平线深度学习双目深度估计算法使用示例

双目深度估计算法是使用地平线OpenExplorer在SceneFlow数据集上训练出来的StereoNet模型。算法输入为双目图像数据，分别是左右视图。算法输出为左视图的视差。此示例使用ZED 2i双目相机作为图像数据输入源，利用BPU进行算法推理，发布包含双目图像左图和感知结果的话题消息，在PC端浏览器上渲染显示算法结果。

2024-11-10 - 设计经验代理服务技术支持采购服务

RDK平台实现MIPI相机驱动的操作实例

本项目案例为对已适配的MIPI接口摄像头进行配置，并将采集的图像数据以ROS标准图像消息或者零拷贝（hbmem）图像消息进行发布，供需要使用图像数据的其他模块订阅。

2024-11-05 - 设计经验代理服务技术支持采购服务

地瓜机器人与火山引擎联手打造基于大模型的“云-边-端”一体化机器人开发底座

地瓜机器人与字节跳动旗下云服务平台火山引擎达成合作，双方将在“机器人+大模型”领域强强联合，实现地瓜机器人软硬件通用底座与火山引擎边缘智能大模型网关“云-边-端”的全面打通，加速大模型在机器人场景的落地，拓展机器人的无限智能化潜能。作为拥有极致算力性价比与极简开发体验的地瓜机器人开发者套件，RDK X5可提供高达10 TOPS的端侧算力，接口丰富，极致易用。

2024-10-29 - 原厂动态代理服务技术支持采购服务

RDK用户免费畅享地瓜大模型网关，多种主流大模型任意切换，前所未有的资源支持！

地瓜机器人已与字节跳动旗下云服务平台火山引擎达成合作，双方将在“机器人+大模型”领域强强联合。地瓜大模型网关免费申请现已开启，现为所有购买RDK开发板的用户免费开放大模型网关接口能力，允许用户轻松访问和利用强大的云边大模型资源。无论是进行复杂的数据分析、自然语言处理还是机器学习任务，都能得到高效且稳定的支持。用户可以通过NodeHub应用和RDK Studio两种方式进行使用和尝试。

2024-11-08 - 原厂动态代理服务技术支持采购服务

喜讯 | 地瓜机器人助力RoboTwin获得2024 ECCV协同具身智能WORKSHOP Best Paper

作为具身智能行业生态圈的一员，地瓜机器人云平台团队在RoboTwin在线仿真与评估部分提供了全面的技术支持，包括仿真环境搭建、环境迁移、稳定性运维、GPU调度等，并计划在未来将文中的工作全面接入地瓜机器人Data-Copilot平台，为人形机器人公司提供从数据生成，强化学习，模型部署的完整解决方案，力图加速人形机器人与具身智能相关的产业发展。

2025-01-08 - 原厂动态代理服务技术支持采购服务

【IC】D-Robotics RDK X5机器人开发者套件，可提供高达10 Tops算力，加速智能化应用快速落地

D-Robotics RDK X5搭载Sunrise 5智能计算芯片，可提供高达10 Tops的算力，是一款面向智能计算与机器人应用的全能开发套件，接口丰富，极致易用，支持Transfomer、RWKV、Occupancy、Stereo Perception等多种复杂模型和最新算法，加速智能化应用快速落地。

2024-09-20 - 产品代理服务技术支持采购服务

地瓜机器人生态新品 | 轮趣科技发布基于RDK X5的ROS2教育机器人V550

V550 R0S2教育机器人是轮趣科技联合地瓜机器人推出的面向ROS教育场景的入门产品，基于地瓜机器人RDKX5机器人开发者套件，并依托于TogetheROS.B机器人操作系统，机器人的软硬件性能大幅度提升，结合全面升级的TOF激光雷达与深度相机，可以满足ROS和AI等进阶学习。并搭载轮趣科技多项专利技术，通过轮趣成熟的工业设计实现了简约外观和开发方便的平衡。

2024-12-25 - 产品代理服务技术支持采购服务