搭配地平线机器人操作系统的智能语音控制机器人应用实例
功能介绍
语音控制小车运动功能通过语音控制机器人向前、向后、向左、向右运动，需要搭配地平线机器人操作系统的智能语音模块一起使用。当用户说出控制机器人运动的指令后，智能语音模块识别到指定，然后下发运动指令给机器人运动。
流程如下图：
该应用可以使用PC端Gazebo仿真环境下的虚拟小车运行，也可以直接用于控制实物小车。
机器人实物
物料清单
以下机器人均已适配RDK X3
使用方法
准备工作
1. 机器人具备运动底盘、相机、环形麦克风板及RDK套件，硬件已经连接并测试完毕；
2. 已有ROS底层驱动，机器人可接收“/cmd_vel”指令运动，并根据指令正确运动。
机器人组装
以下操作过程以OriginBot为例，满足条件的其他机器人使用方法类似。参考机器人官网的使用指引，完成机器人的硬件组装、镜像烧写及示例运行，确认机器人的基础功能可以顺利运行。
安装功能包
1. 参考OriginBot说明，完成Originbot基础功能安装
2. 安装功能包
启动机器人后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。
tros foxy版本
tros humble版本
运行语音控制小车运动功能
1. 启动机器人底盘
启动机器人，如OriginBot的启动命令如下：
tros foxy版本
tros humble版本
2. 启动语音控制
启动一个新的终端，通过如下指令启动功能：
tros foxy版本
tros humble版本
启动成功后，当用户说出 "向前走" "向后退" "向左转" "向右转" "停止运动" 等指令后，机器人按照指令开始运动。
3. 结果分析
地平线RDK运行终端输出如下信息：
以上log截取了一段音频控制pkg启动后的输出。log内容显示，此语音控制模块配置的设备唤醒词是“地平线你好”，控制小车运动的命令词有：“向前走”、“向后退”、“向左转”，“向右转”。
Gazebo仿真
Gazebo仿真适用于持有RDK X3但没有机器人实物的开发者体验功能。
物料清单
使用方法
准备工作
1. 开发者有RDK套件实物，及配套的麦克风板;
2. PC电脑端已经完成ROS Gazebo及Turtlebot机器人相关功能包安装;
3. 和地平线RDK在同一网段（有线或者连接同一无线网，IP地址前三段需保持一致）的PC，PC端需要安装的环境包括：
tros foxy版本
Ubuntu 20.04系统
ROS2 Foxy桌面版
Gazebo和Turtlebot3相关的功能包，安装方法：
tros humble版本
Ubuntu 22.04系统
ROS2 Humble桌面版
Gazebo和Turtlebot3相关的功能包，安装方法：
安装功能包
启动RDK X3后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。
tros foxy版本
tros humble版本
运行功能
1. 启动仿真环境及机器人
在PC端Ubuntu的终端中使用如下命令启动Gazebo，并加载机器人模型：
tros foxy版本
tros humble版本
启动成功后，仿真环境中小车效果如下：
2.启动语音控制
启动一个新的终端，通过如下指令启动功能：
tros foxy版本
tros humble版本
启动成功后，当用户说出 "向前走" "向后退" "向左转" "向右转" "停止运动" 等指令后，小车按照指令开始运动。
PC端仿真环境中语音控制小车运动，效果如下：
接口说明
话题
参数
参考资料
语音控制参考：开发者说 | AI 操控机器人系列第三期 —— 语音控制
常见问题
1. Ubuntu下运行启动命令报错-bash: ros2: command not found
当前终端未设置ROS2环境，执行命令配置环境：
tros foxy版本
tros humble版本
在当前终端执行ros2命令确认当前终端环境是否生效：
如果输出以上信息，说明ros2环境配置成功。
注意：对于每个新打开的终端，都需要重新设置ROS2环境。
2. 无法打开音频设备
确认音频设备连接是否正常。
确认是否正确配置音频设备。
确认加载音频驱动前是否已有音频设备连接。
- |
- +1 赞 0
- 收藏
- 评论 0
本文由雪飘梦飞转载自D-Robotics官网，原文标题为:智能语音控制机器人，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
相关推荐
在RDK系统上运行实现的小车巡线控制功能
该功能包通过同时接收赛道识别节点与障碍物识别节点的消息，控制小车巡线与避障。
设计经验 发布时间 : 2024-11-25
基于RDK X3的机械臂物体拾取操作实例
本文介绍RDK X3该功能包接收用户选择方块数字的请求，通过yolov5检测目标，在Z轴距离确定的情况下解算出物体的三维坐标，并请求仿真机械臂控制节点夹取物体的应用实例。
设计经验 发布时间 : 2024-10-28
智能语音聊天机器人功能及使用指南
智能语音聊天机器人通过识别用户语音，调用ChatGPT API获取答复并播放，实现语音聊天。需地平线RDK、ChatGPT API Key及音频板等物料。准备、组装后，安装功能包并运行，配置音频和ChatGPT API Key。常见问题包括设备连接、音频驱动、配置文件及网络访问等。
设计经验 发布时间 : 2024-10-18
【IC】D-Robotics RDK X5机器人开发者套件，可提供高达10 Tops算力，加速智能化应用快速落地
D-Robotics RDK X5搭载Sunrise 5智能计算芯片，可提供高达10 Tops的算力，是一款面向智能计算与机器人应用的全能开发套件，接口丰富，极致易用，支持Transfomer、RWKV、Occupancy、Stereo Perception等多种复杂模型和最新算法，加速智能化应用快速落地。
产品 发布时间 : 2024-09-20
地平线RDK X3作为上层控制器的白蛋一号家庭巡检安防机器人应用介绍
为了适应老龄化社会的发展，加速家用小型服务型机器人的落地应用，开发了一款小型的适用于家庭环境下的家庭巡检安防机器人。这里使用了地平线的X3派作为上层控制器，其主频高达1.2GHz，有4个A53的核，板载了wifi模块，更为重要的是其上搭载来一个算力高达5Tops的NPU计算单元。
应用方案 发布时间 : 2024-11-25
RDK X3基于RDK X3的手势识别算法示例
手势识别算法示例订阅包含人手框、人手关键点信息的算法msg，利用BPU进行推理，发布包含手势信息的智能结果msg。手势识别算法集成了人手关键点检测，手势分析等技术，使得计算机能够将人的手势解读为对应指令，可实现手势控制以及手语翻译等功能，主要应用于智能家居，智能座舱、智能穿戴设备等领域。
设计经验 发布时间 : 2024-11-24
在RDK系列开发板上使用火山引擎大模型网关实例
介绍在RDK系列开发板上使用火山引擎大模型网关的技术要求。
设计经验 发布时间 : 2024-10-31
镭神激光雷达驱动
镭神激光雷达驱动设计方案及应用介绍， LSLIDAR ROS2驱动链接RDK X3，以ROS2标准消息格式发送激光雷达数据。
设计经验 发布时间 : 2024-11-09
RDK X3设置语音识别算法应用案例，助力智能家居实现语音控制功能
地平线智能语音算法采用本地离线模式，订阅音频数据后送给BPU处理，然后发布唤醒、命令词识别、声源定位DOA角度信息以及语音ASR识别结果等消息。智能语音功能的实现对应于TogetheROS.Bot的hobot_audio package，适用于地平线RDK配套的麦克风阵列。
设计经验 发布时间 : 2024-11-23
连接RDK X3操作奥比中光Astro Pro相机驱动示例
基于RDK X3的奥比中光Astro Pro相机驱动操作方案介绍。
设计经验 发布时间 : 2024-11-08
基于RDK X3实现的语言大模型操作实例
hobot_llm是地平线RDK平台集成的端侧Large Language Model (LLM) Node，用户可在端侧体验LLM。目前提供两种体验方式，一种直接终端输入文本聊天体验，一种订阅文本消息，然后将结果以文本方式发布出去。
设计经验 发布时间 : 2024-11-16
在RDK的系统运行实现视觉惯性里程计应用案例，实现机器人定位
视觉惯性里程计（Visual Inertial Odometry，VIO）是融合相机与惯性测量单元（Inertial Measurement Unit，IMU）数据实现机器人定位的算法。VIO定位算法具有成本低、适用环境广等优点，在室外环境下能够有效弥补卫星定位中遮挡、多路径干扰等失效场景。优秀、鲁棒的VIO算法是实现室外高精度导航定位的关键。
设计经验 发布时间 : 2024-11-23
电子商城
授权代理品牌：集成电路
授权代理品牌：分立元件
授权代理品牌：接插件及结构件
授权代理品牌：部件、组件及配件
授权代理品牌：电源及模块
授权代理品牌：电子材料
授权代理品牌：仪器仪表及测试配组件
授权代理品牌：电工工具及材料
授权代理品牌：机械电子元件
授权代理品牌：加工与定制
我要提问
登录 | 立即注册
提交评论