基于RDK X3实现的语言大模型操作实例
1. 功能介绍
hobot_llm是地平线RDK平台集成的端侧Large Language Model (LLM) Node，用户可在端侧体验LLM。目前提供两种体验方式，一种直接终端输入文本聊天体验，一种订阅文本消息，然后将结果以文本方式发布出去。
2. 物料清单
3. 使用方法
3.1 准备工作
在体验之前，需要具备以下基本条件：
1. 确认地平线RDK为4GB内存版本。
2. 地平线RDK已烧录好地平线提供的Ubuntu 20.04系统镜像。
3. 安装transformers，命令为pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple。
4. 更新hobot-dnn，命令为sudo apt update; sudo apt install hobot-dnn。
3.2 安装功能包
启动RDK X3后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。
tros foxy版本
tros humble版本
3.3 运行程序
运行程序前，需要下载模型文件并解压，命令如下：
tros foxy版本
tros humble版本
同时需要修改BPU保留内存大小为1.7GB，设置方法参考TODO。
重启后调整CPU最高频率为1.5GHz，以及设置调度模式为performance，命令如下：
目前提供两个运行程序hobot_llm_chat和hobot_llm，其中hobot_llm_chat提供终端交互体验，用户可直接输入文本体验大模型，hobot_llm程序订阅std_msgs/msg/String类型文本消息，送给大模型处理，最后再将结果以std_msgs/msg/String类型发布出去，该程序可串联其他Node，例如将输出文本语音播放出去。
3.3.1 运行 hobot_llm_chat
tros foxy版本
tros humble版本
程序启动后，可直接在当前终端和机器人聊天。
3.3.2 运行hobot_llm
1. 启动hobot_llm
tros foxy版本
tros humble版本
2. 新开一个终端订阅输出结果topic
tros foxy版本
tros humble版本
3. 新开一个终端发布消息
tros foxy版本
tros humble版本
4. 接口说明
hobot_llm程序接口说明如下：
4.1 话题
4.2 参数
5. 常见问题
1. 模型加载失败
确认开发板内存为4GB，同时修改BPU保留内存大小为1.7GB。
2. 输出结果乱码
确认已使用命令sudo apt update; sudo apt install hobot-dnn更新hobot-dnn。
3. 如何手动修改BPU保留内存为1.7GB？
修改方法参考在设备树中设置ion_cam size，修改alloc-ranges和size属性中的0x2a000000为0x6a400000。
- |
- +1 赞 0
- 收藏
- 评论 0
本文由雪飘梦飞转载自D-Robotics官网，原文标题为:语言大模型，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
相关推荐
BEV感知算法示例
BEV感知算法是使用地平线OpenExplorer在nuscenes数据集上训练出来的BEV多任务模型。此示例使用本地图像数据作为输入，利用BPU进行算法推理，发布算法感知结果渲染的图片消息，在PC端浏览器上渲染显示算法结果。
设计经验 发布时间 : 2024-11-20
在RDK X3体验Cartographer激光雷达SLAM技术，实时获取较高精度的地图
本功能所使用的Cartographer是google推出的一套基于图优化的SLAM算法，可以实现机器人在二维或三维条件下的定位及建图功能，这套算法的主要设计目的是满足机器人在计算资源有限的情况下，依然可以实时获取较高精度的地图。该功能支持机器人实物和Gazebo仿真两种体验方式。
设计经验 发布时间 : 2024-11-19
基于RDK X3的机械臂物体拾取操作实例
本文介绍RDK X3该功能包接收用户选择方块数字的请求，通过yolov5检测目标，在Z轴距离确定的情况下解算出物体的三维坐标，并请求仿真机械臂控制节点夹取物体的应用实例。
设计经验 发布时间 : 2024-10-28
【IC】D-Robotics RDK X5机器人开发者套件，可提供高达10 Tops算力，加速智能化应用快速落地
D-Robotics RDK X5搭载Sunrise 5智能计算芯片，可提供高达10 Tops的算力，是一款面向智能计算与机器人应用的全能开发套件，接口丰富，极致易用，支持Transfomer、RWKV、Occupancy、Stereo Perception等多种复杂模型和最新算法，加速智能化应用快速落地。
产品 发布时间 : 2024-09-20
智能语音聊天机器人功能及使用指南
智能语音聊天机器人通过识别用户语音，调用ChatGPT API获取答复并播放，实现语音聊天。需地平线RDK、ChatGPT API Key及音频板等物料。准备、组装后，安装功能包并运行，配置音频和ChatGPT API Key。常见问题包括设备连接、音频驱动、配置文件及网络访问等。
设计经验 发布时间 : 2024-10-18
基于RDK X3的chat robot应用示例，实现用户和机器人语音聊天功能
智能语音聊天机器人识别用户语音内容，然后调用OpenAI API获取答复，最后将该答复播放出来，实现用户和机器人语音聊天功能。
设计经验 发布时间 : 2024-11-18
在RDK系列开发板上使用火山引擎大模型网关实例
介绍在RDK系列开发板上使用火山引擎大模型网关的技术要求。
设计经验 发布时间 : 2024-10-31
镭神激光雷达驱动
镭神激光雷达驱动设计方案及应用介绍， LSLIDAR ROS2驱动链接RDK X3，以ROS2标准消息格式发送激光雷达数据。
设计经验 发布时间 : 2024-11-09
RDK的系统上运行实现的红绿灯检测功能案例
本案例功能具有使用opencv解析HSV色彩空间实现红绿灯的检测和输出图片中指定像素的HSV三通道的值。
设计经验 发布时间 : 2024-11-18
连接RDK X3操作奥比中光Astro Pro相机驱动示例
基于RDK X3的奥比中光Astro Pro相机驱动操作方案介绍。
设计经验 发布时间 : 2024-11-08
基于地平线RDK模型YOLOv5s深度学习的方法进行赛道障碍物检测应用实例
该功能为基于深度学习的方法识别赛道中的障碍物，使用模型为YOLOv5s。地平线RDK通过摄像头获取小车前方环境数据，图像数据通过训练好的YOLO模型进行推理得到障碍物的图像坐标值并发布。
设计经验 发布时间 : 2024-11-08
亚博智能RDK X3 ROBOT机器人项目实例，实现RKD X3 ROBOT的基本运动控制和位姿反馈
亚博智能RKD X3 ROBOT是一款面向机器人开发者和教育生态的智能机器人开发套件。该套件以旭日X3派为核心运算单元，以TogetherROS.Bot为核心机器人操作系统，集成成了建图、导航、人体跟随、手势识别等功能。本项目为亚博智能RKD X3 ROBOT机器人最小功能系统，该系统能够实现RKD X3 ROBOT的基本运动控制和位姿反馈。
设计经验 发布时间 : 2024-11-16
电子商城
授权代理品牌：集成电路
授权代理品牌：分立元件
授权代理品牌：接插件及结构件
授权代理品牌：部件、组件及配件
授权代理品牌：电源及模块
授权代理品牌：电子材料
授权代理品牌：仪器仪表及测试配组件
授权代理品牌：电工工具及材料
授权代理品牌：机械电子元件
授权代理品牌：加工与定制
我要提问
登录 | 立即注册
提交评论