基于RDK X3的chat robot应用示例，实现用户和机器人语音聊天功能

时间： 2024-11-18 来源：D-Robotics官网

技术问答

功能介绍

智能语音聊天机器人识别用户语音内容，然后调用OpenAI API获取答复，最后将该答复播放出来，实现用户和机器人语音聊天功能。

物料清单

使用方法

准备工作

在体验之前，需要具备以下基本条件：

地平线RDK已烧录好地平线提供的Ubuntu 20.04系统镜像

已拥有OpenAI API key，并可正常访问OpenAI API

音频板正确连接到RDK X3，耳机接口接上耳机或音响

机器人组装

1、将麦克风板连接到地平线RDK X3 40PIN GPIO 接口上，连接后实物如下图：

2、耳机接口接上耳机或音响

安装功能包

启动RDK X3后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。

sudo apt update

sudo apt install -y tros-chat-robot复制

运行智能聊天机器人

拷贝配置文件和加载音频驱动

# 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略

cp -r /opt/tros/lib/hobot_audio/config/ .

cp -r /opt/tros/lib/hobot_gpt/config ./

# 加载音频驱动，设备启动之后只需要加载一次

bash config/audio.sh

注意：加载音频驱动时确保无其他音频设备连接，例如USB麦克风或带麦克风功能的USB摄像头，否则会导致应用打开音频设备失败，报错退出。

2、修改配置文件，只需修改一次

2.1 修改 config/audio_config.json，将asr_mode字段为1。

2.2 修改 config/gpt_config.json，将api_key字段设置为可用的OpenAI API key。

3、下载TTS模型首次运行需要下载TTS模型文件并解压，详细命令如下：

wget http://sunrise.horizon.cc//tts-model/tts_model.tar.gz

sudo tar -xf tts_model.tar.gz -C /opt/tros/lib/hobot_tts/复制

4、配置tros.b环境和启动应用

# 配置tros.b环境

source /opt/tros/setup.bash

# 屏蔽调式打印信息

export GLOG_minloglevel=3

#启动launch文件，运行前确认网络可访问OpenAI API

ros2 launch chat_robot chat_robot.launch.py

启动成功后，用户使用唤醒词“地平线你好”唤醒机器人，然后紧接着和机器人聊天，片刻之后机器人语音应答。每次和机器人聊天，都要先使用唤醒词“地平线你好”唤醒机器人。

接口说明

话题

常见问题

机器人无应答？

确认音频设备连接是否正常，并连接耳机或音响

确认是否加载音频驱动

确认加载音频驱动前是否已有音频设备连接

确认 config/audio_config.json asr_mode字段为1

确认 config/gpt_config.json api_key字段设置正确

确认网络可访问OpenAI API

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由雪飘梦飞转载自D-Robotics官网，原文标题为:chat robot，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

智能语音聊天机器人功能及使用指南

智能语音聊天机器人通过识别用户语音，调用ChatGPT API获取答复并播放，实现语音聊天。需地平线RDK、ChatGPT API Key及音频板等物料。准备、组装后，安装功能包并运行，配置音频和ChatGPT API Key。常见问题包括设备连接、音频驱动、配置文件及网络访问等。

设计经验发布时间 : 2024-10-18

基于RDK X3的机械臂物体拾取操作实例

本文介绍RDK X3该功能包接收用户选择方块数字的请求，通过yolov5检测目标，在Z轴距离确定的情况下解算出物体的三维坐标，并请求仿真机械臂控制节点夹取物体的应用实例。

设计经验发布时间 : 2024-10-28

在RDK X3体验Cartographer激光雷达SLAM技术，实时获取较高精度的地图

本功能所使用的Cartographer是google推出的一套基于图优化的SLAM算法，可以实现机器人在二维或三维条件下的定位及建图功能，这套算法的主要设计目的是满足机器人在计算资源有限的情况下，依然可以实时获取较高精度的地图。该功能支持机器人实物和Gazebo仿真两种体验方式。

设计经验发布时间 : 2024-11-19

双机械臂四转四驱机器人设计与实现

该研究设计了一种创新的双机械臂四转四驱机器人，旨在突破传统轮式机器人的限制。该机器人底盘采用四转四驱设计，显著提升了灵活性和负载能力，使其能够在复杂环境中精确移动和执行任务。双机械臂系统使机器人能够高效与现实生活互动，完成复杂任务。

应用方案发布时间 : 2024-10-29

多模态感知仿生机械手项目案例

本项目提供了一款五指仿生机器手，其仿照人手的外观与自由度，使其能够作为人形机器人的末端执行器，完成人手所能完成的任务。

应用方案发布时间 : 2024-10-29

亚博智能RDK X3 ROBOT机器人项目实例，实现RKD X3 ROBOT的基本运动控制和位姿反馈

亚博智能RKD X3 ROBOT是一款面向机器人开发者和教育生态的智能机器人开发套件。该套件以旭日X3派为核心运算单元，以TogetherROS.Bot为核心机器人操作系统，集成成了建图、导航、人体跟随、手势识别等功能。本项目为亚博智能RKD X3 ROBOT机器人最小功能系统，该系统能够实现RKD X3 ROBOT的基本运动控制和位姿反馈。

设计经验发布时间 : 2024-11-16