基于地平线旭日X3派平台开发的具身智能机器狗“汪汪”

时间： 2024-10-30 来源：D-Robotics官网

技术问答

本项目聚焦腿臂机器人在多模态环境感知、自然语言交互和自主行为控制方面的技术瓶颈，基于地平线旭日X3 派平台进行AI大模型算法开发，提出了一种融合AI大模型的创新性解决方案，提升腿臂机器人的综合性能。

项目首先强化了机器人的多模态感知能力，利用雷达、摄像头和语音传感器数据，通过AI大模型进行深度信息融合与智能分析，实现对作业环境的全面理解与精准感知。在自然语言交互方面，AI大模型的语义解析与逻辑推理能力显著提升了人机交互的效率，赋予机器人情感交互的能力，提供了个性化的交互体验。

自主行为控制方面，设计了基于AI大模型的智能行为调度策略，将自然语言指令转化为可执行的语义信息，并通过任务子函数实现行为规划与动态调整。系统还集成了高层反馈机制，确保任务规划的准确性和执行效率。

本项目展示了腿臂机器人在自然语言交互下进行多模式作业和多场景导航的能力，提升了机器人的自主性和适应性，为其在多样化任务场景中的应用提供了广阔前景，也为智能机器人技术的发展提供了新思路和方向。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由雪飘梦飞转载自D-Robotics官网，原文标题为:具身智能机器狗“汪汪”，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

【应用】分辨率达640*480的单芯片VGA ToF传感器MLX75027，可用于智能机器人视觉同步定位和3D建图

MELEXIS推出了单芯片VGA ToF传感器MLX75027，分辨率达640*480，应用于智能机器人视觉同步定位和3D建图，高达100MHz的可编程调制频率，使测距精度更高，距离更远；帧率可到135FPS，动态相应快，能够检测快速移动的物体。

应用方案发布时间 : 2022-03-29

【应用】N和P沟道V互补MOSFET HM607K助力缩小H型电桥电机控制电路设计面积，具有超低漏源导通电阻

虹美功率拥有双芯合封的技术，使得一个HM607K芯片内同时包含P-MOS管和N-MOS管，H型电桥的上桥臂用P-MOS管，而下桥臂用N-MOS管，方便简化了控制电路的设计，同时使H型电桥控制电路的设计面积进一步缩小。

应用方案发布时间 : 2023-05-08

东胜物联RK3588机器人控制板解决方案：重塑智能机器人未来

本文将深入剖析东胜物联最新发布的，基于瑞芯微RK3588的机器人控制板解决方案，带您领略其作为最佳选择的无限可能。作为瑞芯微的长期合作伙伴，东胜物联深耕智能机器人领域，已成功采用RK3588芯片开发出包括核心板和控制板在内的多款高性能解决方案，助力了各行各业智能机器人厂家开发出性能优异的AI机器人解决方案。

应用方案发布时间 : 2024-09-21

基于旭日X3派的手语翻译系统案例

本手语翻译系统项目主要就是利用python程序录制本地mp3格式的用户音频，并将音频上传到云端语音平台进行实时转写，最后利用GUI库在屏幕上展示转写结果。

设计经验发布时间 : 2024-11-04

使用旭日X3派控制大型六足蜘蛛应用实例

本文为大型六足蜘蛛机器人设计方案介绍。经过测试，地平线旭日X3派机器运行效果和JETSON TX1一样顺滑！5Tops端侧推理与4核ARM A53处理能力，可同时多路Camera Sensor的输入并支持H.264/H.265编解码。

设计经验发布时间 : 2024-11-05

基于RDK系统的双目深度估计算法示例

双目深度估计算法是使用地平线OpenExplorer在SceneFlow数据集上训练出来的StereoNet模型。算法输入为双目图像数据，分别是左右视图。算法输出为左视图的视差。此示例使用mipi双目相机作为图像数据输入源，利用BPU进行算法推理，发布包含双目图像左图和感知结果的话题消息，在PC端rviz2上渲染算法结果。

设计经验发布时间 : 2024-11-05

在RDK X5平台上实现Mobile SAM量化部署的分割示例

mono_mobilesam package是基于Mobile SAM量化部署的使用示例。图像数据来源于本地图片回灌和订阅到的image msg。SAM依赖检测框输入进行分割, 并分割检测框中的目标, 无需指定目标的类别信息, 仅需提供框。最终将算法信息通过话题发布, 同时在Web页面渲染可视化。应用场景为结合检测框进行障碍物分割、水渍区域分割等。

设计经验发布时间 : 2024-11-04

RDK X5平台上CLIP文本图片特征检索应用示例

文本图片特征检索功能介绍CLIP是由OpenAI提出的一种多模态机器学习模型。该模型通过对大规模图像和文本对进行对比学习, 能够同时处理图像和文本, 并将它们映射到一个共享的向量空间中。本示例展示在RDK平台上利用CLIP进行图片管理与文本搜图的功能。

设计经验发布时间 : 2024-11-05

人形机器人物体抓取实例

介绍人形机器人物体抓取的设计方案及应用特点。

设计经验发布时间 : 2024-10-30

地瓜创客孵化营 | 让每一块 RDK X5，都成为你手中的机器人！

地瓜机器人开发者日就要来啦！面向智能计算与机器人解决方案的通用型开发板新品RDK X5，接口丰富，极具性价比，具有10T算力，与强大的图像处理能力，助力开发者轻松实现多种智能应用。加入“地瓜创客孵化营”你将和一群“地瓜创客”一起找到将你的开发板转变为智能机器人的最佳路径。

原厂动态发布时间 : 2024-09-13

阿普奇（Apuqi）工业电脑选型指南

目录- 公司简介模块化工业电脑低功耗超薄紧凑平台低功耗多I/O平台高性能多扩展平台低功耗高性能平台高性能多I/O平台工业显示器平台物流/⻋载移动式手持终端智慧医疗交互终端环保工业平板电脑 AI服务器 MES交互采集终端智能机器人上位控制器边缘计算之物联网关挂壁式工业嵌入式电脑

型号- PK156CQ-C5,P-700,P-E5,P-E7,PK270CQ-E81,P-E6,P17RF-E81,TAC-3010,PH170GQ-700,PK185CQ-E81,P15RF-C5,P-E8,ABOX-700 SERIES,P21CQ-E81,PK140CQ-C5,PK215CQ-E81,M SERIES,PK238CQ-E81,P150RF-700,P21CQ-C5,P-E81 SERIES,PK156CQ-700,K SERIES,P156CQ-C5,P17RF-C5,PH170GQ-C5,PH170CQ-E5,PH170CQ-E7,PH170CQ-E6,P156CQ-700,PH170CQ-E8,PK156CQ-E8,PK156CQ-E7,P10RF-E5,PK156CQ-E6,PK156CQ-E5,P191RF-700,P150RF~5,PK270CQ-C5,PH170CQ-700,P15RF-E5,H SERIES,C5,P15RF-E6,P15RF-E7,C7,C5 SERIES,P15RF-E81,E6 SERIES,P15RF-E8,E7 SERIES,P12RF-700,PK185CQ-C5,PK215CQ-E7,PK215CQ-E8,PK140CQ-E5,PK215CQ-E5,PK215CQ-E6,PK238CQ-C5,P156CQ-E5,P156CQ-E7,P156CQ-E6,P156CQ-E8,P191RF-C5,TPP-101,P-E7 SERIES,PH170GQ-E5,P-C5 SERIES,PH170GQ-E7,PH170GQ-E6,P150RF-C5,E7-PLUS,P-E81,PH170GQ-E8,PH101CQ-E5,E81 SERIES,P10RF-C5,P17RF-700,P-700 SERIES,PK185CQ-700,PK270CQ-700,PK270CQ-E8,PK270CQ-E7,PK270CQ-E6,E5,PK116CQ-C5,E6,E7,P150RF-E81,E8,TYY-185C,PH170GQ-E81,PK140CQ-E8,P12RF-E6,P12RF-E5,P12RF-E8,P12RF-E7,PK185CQ-E5,PK185CQ-E6,PK185CQ-E7,PK185CQ-E8,P150RF-E8,PK215CQ-C5,PK238CQ-700,TAC-301,PK238CQ-E7,PK238CQ-E6,P21CQ-700,PK238CQ-E8,TMS-156X,PK238CQ-E5,PK215CQ-700,P191RF-E5,PK270CQ-E5,P191RF-E6,P191RF-E7,P-E6 SERIES,P191RF-E8,PK156CQ-E81,ABOX-700,TMS-156A,TIL-5003,P-E8 SERIES,TEP-RM17,P150RF-E7,PH101CQ-C5,P150RF-E6,P150RF-E5,TIL-5001,TIL-5002,P191RF-E81,P191RF-EG,P12RF-E81,P-C5,PK116CQ-E8,P15RF-700,PK116CQ-E5,PH170CQ-E81,E8 SERIES,E5 SERIES,P12RF-C5,P21CQ-E5,P21CQ-E6,P21CQ-E7,P21CQ-E8,PK140CQ-E81,TAC-7010,P-E5 SERIES,P17RF-E7,P17RF-E6,P156CQ-E81,P17RF-E8,P17RF-E5,PH170CQ-C5,E81

选型指南 - 阿普奇 - 2020/6/9 PDF 中文下载

移远通信推出全星系多频段高精度定位定向GNSS模组LG580P，引领高精度导航新时代

近日，全球领先的物联网整体解决方案供应商移远通信宣布，正式发布其全星系多频段高精度GNSS模组LG580P。该模组具备高精度、高稳定性、低功耗等特点，并支持20Hz RTK+Heading更新频率，为智能机器人、精准农业、测量测绘、自动驾驶等高精度导航应用场景带来了全新解决方案。

产品发布时间 : 2024-11-07

司南导航定位模块/转接板选型表

GNSS高精度定位模块是司南导航自主研发的多系统多频点的小尺寸高精度定位模块，支持BDS-3、GPS、BDS-2、GLONASS、Galileo、QZSS 等卫星导航系统的信号跟踪，定位精度高，适用于物联网、智能驾驶、无人机、智能机器人等领域。

H:≤8+Dx10-6mm V:≤15+Dx10-6mm

≤10cm

≤1mm

≤0.02m/s

LVCMOS×2,PPS×1,EVENT×1,SPI×1

选型表 - 司南导航立即选型

地平线旭日X3系列智能芯片开发经验资料汇总

旭日X3 是地平线针对 AIoT 场景，推出的新一代低功耗、高性能的智能芯片；集成了地平线最先进的伯努利2.0 架构引擎( BPU® )。包含 X3M 和 X3E 两颗芯片，X3M 主要面向 8M 智能前视市场和边缘计算，提供 5TOPS 算力；X3E 主要面向 5M 智能前视市场，提供 3TOPS 算力。

设计经验发布时间 : 2024-08-16