基于RDK X3实现的语言大模型操作实例

时间： 2024-11-16 来源：D-Robotics官网

代理服务

技术支持

采购服务

1. 功能介绍

hobot_llm是地平线RDK平台集成的端侧Large Language Model (LLM) Node，用户可在端侧体验LLM。目前提供两种体验方式，一种直接终端输入文本聊天体验，一种订阅文本消息，然后将结果以文本方式发布出去。

2. 物料清单

3. 使用方法

3.1 准备工作

在体验之前，需要具备以下基本条件：

1. 确认地平线RDK为4GB内存版本。

2. 地平线RDK已烧录好地平线提供的Ubuntu 20.04系统镜像。

3. 安装transformers，命令为pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple。

4. 更新hobot-dnn，命令为sudo apt update; sudo apt install hobot-dnn。

3.2 安装功能包

启动RDK X3后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。

tros foxy版本

tros humble版本

3.3 运行程序

运行程序前，需要下载模型文件并解压，命令如下：

tros foxy版本

tros humble版本

同时需要修改BPU保留内存大小为1.7GB，设置方法参考TODO。

重启后调整CPU最高频率为1.5GHz，以及设置调度模式为performance，命令如下：

目前提供两个运行程序hobot_llm_chat和hobot_llm，其中hobot_llm_chat提供终端交互体验，用户可直接输入文本体验大模型，hobot_llm程序订阅std_msgs/msg/String类型文本消息，送给大模型处理，最后再将结果以std_msgs/msg/String类型发布出去，该程序可串联其他Node，例如将输出文本语音播放出去。

3.3.1 运行 hobot_llm_chat

tros foxy版本

tros humble版本

程序启动后，可直接在当前终端和机器人聊天。

3.3.2 运行hobot_llm

1. 启动hobot_llm

tros foxy版本

tros humble版本

2. 新开一个终端订阅输出结果topic

tros foxy版本

tros humble版本

3. 新开一个终端发布消息

tros foxy版本

tros humble版本

4. 接口说明

hobot_llm程序接口说明如下：

4.1 话题

4.2 参数

5. 常见问题

1. 模型加载失败

确认开发板内存为4GB，同时修改BPU保留内存大小为1.7GB。

2. 输出结果乱码

确认已使用命令sudo apt update; sudo apt install hobot-dnn更新hobot-dnn。

3. 如何手动修改BPU保留内存为1.7GB？

修改方法参考在设备树中设置ion_cam size，修改alloc-ranges和size属性中的0x2a000000为0x6a400000。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由雪飘梦飞转载自D-Robotics官网，原文标题为:语言大模型，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

基于RDK X3 ＆ Module的性能检测软件使用示例

Performance Node该应用基于Web网页打造，无论是什么品牌的电脑和手机，只需要在浏览器访问即可。

2024-11-30 - 设计经验代理服务技术支持采购服务

地平线深度学习双目深度估计算法使用示例

双目深度估计算法是使用地平线OpenExplorer在SceneFlow数据集上训练出来的StereoNet模型。算法输入为双目图像数据，分别是左右视图。算法输出为左视图的视差。此示例使用ZED 2i双目相机作为图像数据输入源，利用BPU进行算法推理，发布包含双目图像左图和感知结果的话题消息，在PC端浏览器上渲染显示算法结果。

2024-11-10 - 设计经验代理服务技术支持采购服务

2D垃圾检测应用示例

本Node是基于hobot_dnn开发的2D垃圾目标检测算法，采用PaddlePaddle开源框架，利用PPYOLO模型进行垃圾检测任务设计和训练。为了达到快速部署的目的，本Node支持配置文件更换垃圾检测模型，开发者可以将更多精力投入在算法模型能力的迭代，减少部署工作量，识别输出的AI信息不仅可以通过话题发布，还可以在Web页面渲染显示。

2024-11-29 - 设计经验代理服务技术支持采购服务

地瓜机器人与火山引擎联手打造基于大模型的“云-边-端”一体化机器人开发底座

地瓜机器人与字节跳动旗下云服务平台火山引擎达成合作，双方将在“机器人+大模型”领域强强联合，实现地瓜机器人软硬件通用底座与火山引擎边缘智能大模型网关“云-边-端”的全面打通，加速大模型在机器人场景的落地，拓展机器人的无限智能化潜能。作为拥有极致算力性价比与极简开发体验的地瓜机器人开发者套件，RDK X5可提供高达10 TOPS的端侧算力，接口丰富，极致易用。

2024-10-29 - 原厂动态代理服务技术支持采购服务

RDK用户免费畅享地瓜大模型网关，多种主流大模型任意切换，前所未有的资源支持！

地瓜机器人已与字节跳动旗下云服务平台火山引擎达成合作，双方将在“机器人+大模型”领域强强联合。地瓜大模型网关免费申请现已开启，现为所有购买RDK开发板的用户免费开放大模型网关接口能力，允许用户轻松访问和利用强大的云边大模型资源。无论是进行复杂的数据分析、自然语言处理还是机器学习任务，都能得到高效且稳定的支持。用户可以通过NodeHub应用和RDK Studio两种方式进行使用和尝试。

2024-11-08 - 原厂动态代理服务技术支持采购服务

基于RDK X3操作思岚激光雷达驱动示例

SLLIDAR ROS2驱动，以ROS2标准消息格式发送激光雷达数据。

2024-12-02 - 应用方案代理服务技术支持采购服务

【IC】D-Robotics RDK X5机器人开发者套件，可提供高达10 Tops算力，加速智能化应用快速落地

D-Robotics RDK X5搭载Sunrise 5智能计算芯片，可提供高达10 Tops的算力，是一款面向智能计算与机器人应用的全能开发套件，接口丰富，极致易用，支持Transfomer、RWKV、Occupancy、Stereo Perception等多种复杂模型和最新算法，加速智能化应用快速落地。

2024-09-20 - 产品代理服务技术支持采购服务