基于地平线旭日X3派平台开发的具身智能机器狗“汪汪”

时间： 2024-10-30 来源：D-Robotics官网

技术问答

本项目聚焦腿臂机器人在多模态环境感知、自然语言交互和自主行为控制方面的技术瓶颈，基于地平线旭日X3 派平台进行AI大模型算法开发，提出了一种融合AI大模型的创新性解决方案，提升腿臂机器人的综合性能。

项目首先强化了机器人的多模态感知能力，利用雷达、摄像头和语音传感器数据，通过AI大模型进行深度信息融合与智能分析，实现对作业环境的全面理解与精准感知。在自然语言交互方面，AI大模型的语义解析与逻辑推理能力显著提升了人机交互的效率，赋予机器人情感交互的能力，提供了个性化的交互体验。

自主行为控制方面，设计了基于AI大模型的智能行为调度策略，将自然语言指令转化为可执行的语义信息，并通过任务子函数实现行为规划与动态调整。系统还集成了高层反馈机制，确保任务规划的准确性和执行效率。

本项目展示了腿臂机器人在自然语言交互下进行多模式作业和多场景导航的能力，提升了机器人的自主性和适应性，为其在多样化任务场景中的应用提供了广阔前景，也为智能机器人技术的发展提供了新思路和方向。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由雪飘梦飞转载自D-Robotics官网，原文标题为:具身智能机器狗“汪汪”，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

【应用】分辨率达640*480的单芯片VGA ToF传感器MLX75027，可用于智能机器人视觉同步定位和3D建图

MELEXIS推出了单芯片VGA ToF传感器MLX75027，分辨率达640*480，应用于智能机器人视觉同步定位和3D建图，高达100MHz的可编程调制频率，使测距精度更高，距离更远；帧率可到135FPS，动态相应快，能够检测快速移动的物体。

应用方案发布时间 : 2022-03-29

东胜物联RK3588机器人控制板解决方案：重塑智能机器人未来

本文将深入剖析东胜物联最新发布的，基于瑞芯微RK3588的机器人控制板解决方案，带您领略其作为最佳选择的无限可能。作为瑞芯微的长期合作伙伴，东胜物联深耕智能机器人领域，已成功采用RK3588芯片开发出包括核心板和控制板在内的多款高性能解决方案，助力了各行各业智能机器人厂家开发出性能优异的AI机器人解决方案。

应用方案发布时间 : 2024-09-21

【应用】芯科USB转UART串口芯片CP2102-GMR用于智能机器人，集成度高，传输速率可达12Mbps

随着AI的飞速发展，智能机器人开始逐渐进入大众视野，在智能机器人上采用芯科（Silicon Labs ）的USB转UART串口芯片CP2102-GMR，因其具有以下优势：集成度高，电路设计简单，降低用户设计难度；内部集成USB2.0全速功能控制器。

应用方案发布时间 : 2022-09-16

基于旭日X3派的手语翻译系统案例

本手语翻译系统项目主要就是利用python程序录制本地mp3格式的用户音频，并将音频上传到云端语音平台进行实时转写，最后利用GUI库在屏幕上展示转写结果。

设计经验发布时间 : 2024-11-04

使用旭日X3派控制大型六足蜘蛛应用实例

本文为大型六足蜘蛛机器人设计方案介绍。经过测试，地平线旭日X3派机器运行效果和JETSON TX1一样顺滑！5Tops端侧推理与4核ARM A53处理能力，可同时多路Camera Sensor的输入并支持H.264/H.265编解码。

设计经验发布时间 : 2024-11-05

使用旭日X3派进行运动控制的手势控制X Car小车应用示例

本方案为使用旭日X3派进行运动控制实现的手势控制X Car小车设计。

设计经验发布时间 : 2024-11-09

在RDK X5平台上实现Mobile SAM量化部署的分割示例

mono_mobilesam package是基于Mobile SAM量化部署的使用示例。图像数据来源于本地图片回灌和订阅到的image msg。SAM依赖检测框输入进行分割, 并分割检测框中的目标, 无需指定目标的类别信息, 仅需提供框。最终将算法信息通过话题发布, 同时在Web页面渲染可视化。应用场景为结合检测框进行障碍物分割、水渍区域分割等。

设计经验发布时间 : 2024-11-04

基于RDK系统的双目深度估计算法示例

双目深度估计算法是使用地平线OpenExplorer在SceneFlow数据集上训练出来的StereoNet模型。算法输入为双目图像数据，分别是左右视图。算法输出为左视图的视差。此示例使用mipi双目相机作为图像数据输入源，利用BPU进行算法推理，发布包含双目图像左图和感知结果的话题消息，在PC端rviz2上渲染算法结果。

设计经验发布时间 : 2024-11-05

RDK X5平台上CLIP文本图片特征检索应用示例

文本图片特征检索功能介绍CLIP是由OpenAI提出的一种多模态机器学习模型。该模型通过对大规模图像和文本对进行对比学习, 能够同时处理图像和文本, 并将它们映射到一个共享的向量空间中。本示例展示在RDK平台上利用CLIP进行图片管理与文本搜图的功能。

设计经验发布时间 : 2024-11-05

人形机器人物体抓取实例

介绍人形机器人物体抓取的设计方案及应用特点。

设计经验发布时间 : 2024-10-30

地瓜创客孵化营 | 让每一块 RDK X5，都成为你手中的机器人！

地瓜机器人开发者日就要来啦！面向智能计算与机器人解决方案的通用型开发板新品RDK X5，接口丰富，极具性价比，具有10T算力，与强大的图像处理能力，助力开发者轻松实现多种智能应用。加入“地瓜创客孵化营”你将和一群“地瓜创客”一起找到将你的开发板转变为智能机器人的最佳路径。

原厂动态发布时间 : 2024-09-13

阿普奇（Apuqi）工业电脑选型指南

目录- 公司简介模块化工业电脑低功耗超薄紧凑平台低功耗多I/O平台高性能多扩展平台低功耗高性能平台高性能多I/O平台工业显示器平台物流/⻋载移动式手持终端智慧医疗交互终端环保工业平板电脑 AI服务器 MES交互采集终端智能机器人上位控制器边缘计算之物联网关挂壁式工业嵌入式电脑

型号- PK156CQ-C5,P-700,P-E5,P-E7,PK270CQ-E81,P-E6,P17RF-E81,TAC-3010,PH170GQ-700,PK185CQ-E81,P15RF-C5,P-E8,ABOX-700 SERIES,P21CQ-E81,PK140CQ-C5,PK215CQ-E81,M SERIES,PK238CQ-E81,P150RF-700,P21CQ-C5,P-E81 SERIES,PK156CQ-700,K SERIES,P156CQ-C5,P17RF-C5,PH170GQ-C5,PH170CQ-E5,PH170CQ-E7,PH170CQ-E6,P156CQ-700,PH170CQ-E8,PK156CQ-E8,PK156CQ-E7,P10RF-E5,PK156CQ-E6,PK156CQ-E5,P191RF-700,P150RF~5,PK270CQ-C5,PH170CQ-700,P15RF-E5,H SERIES,C5,P15RF-E6,P15RF-E7,C7,C5 SERIES,P15RF-E81,E6 SERIES,P15RF-E8,E7 SERIES,P12RF-700,PK185CQ-C5,PK215CQ-E7,PK215CQ-E8,PK140CQ-E5,PK215CQ-E5,PK215CQ-E6,PK238CQ-C5,P156CQ-E5,P156CQ-E7,P156CQ-E6,P156CQ-E8,P191RF-C5,TPP-101,P-E7 SERIES,PH170GQ-E5,P-C5 SERIES,PH170GQ-E7,PH170GQ-E6,P150RF-C5,E7-PLUS,P-E81,PH170GQ-E8,PH101CQ-E5,E81 SERIES,P10RF-C5,P17RF-700,P-700 SERIES,PK185CQ-700,PK270CQ-700,PK270CQ-E8,PK270CQ-E7,PK270CQ-E6,E5,PK116CQ-C5,E6,E7,P150RF-E81,E8,TYY-185C,PH170GQ-E81,PK140CQ-E8,P12RF-E6,P12RF-E5,P12RF-E8,P12RF-E7,PK185CQ-E5,PK185CQ-E6,PK185CQ-E7,PK185CQ-E8,P150RF-E8,PK215CQ-C5,PK238CQ-700,TAC-301,PK238CQ-E7,PK238CQ-E6,P21CQ-700,PK238CQ-E8,TMS-156X,PK238CQ-E5,PK215CQ-700,P191RF-E5,PK270CQ-E5,P191RF-E6,P191RF-E7,P-E6 SERIES,P191RF-E8,PK156CQ-E81,ABOX-700,TMS-156A,TIL-5003,P-E8 SERIES,TEP-RM17,P150RF-E7,PH101CQ-C5,P150RF-E6,P150RF-E5,TIL-5001,TIL-5002,P191RF-E81,P191RF-EG,P12RF-E81,P-C5,PK116CQ-E8,P15RF-700,PK116CQ-E5,PH170CQ-E81,E8 SERIES,E5 SERIES,P12RF-C5,P21CQ-E5,P21CQ-E6,P21CQ-E7,P21CQ-E8,PK140CQ-E81,TAC-7010,P-E5 SERIES,P17RF-E7,P17RF-E6,P156CQ-E81,P17RF-E8,P17RF-E5,PH170CQ-C5,E81

选型指南 - 阿普奇 - 2020/6/9 PDF 中文下载