喜讯 | 地瓜机器人助力RoboTwin获得2024 ECCV协同具身智能WORKSHOP Best Paper

2024年10月4日，计算机三大顶会之一的ECCV 2024在意大利米兰落下帷幕。本届会议总共收到投稿8585篇，接收2395篇，录取率约为27.9%。香港大学与松灵机器人、上海人工智能实验室、深圳大学、中国科学院自动化研究所携手共创，提出了首个双臂协同机器人策略学习Benchmark：RoboTwin ，获得了2024 ECCV 协同具身智能 WORKSHOP Best Paper奖项。该研究旨在通过结合现实世界的遥操作数据与数字孪生的合成数据，为双臂机器人的研究提供强有力的支持。

地瓜机器人云平台团队在RoboTwin的工作中为在线仿真与评估部分提供了全面的技术支持，并计划在未来将文中的工作全面接入地瓜机器人Data Copilot平台，为人形机器人公司提供从数据生成，强化学习，模型部署的完整解决方案，力图加速人形机器人与具身智能相关的产业发展。

“机器人的最终形态是人形机器人”，国内外的科技界都有着同样的观点，不仅是考虑到人形设计在人类社会中具有较高的适应性，还因为机器人以更自然和直观的方式与人类和环境互动。而对于人形机器人来说，双臂协调能力尤为重要。双臂的协调操作能力使得机器人能够执行诸如抓取、搬运、装配等精细操作，使其在工业、服务和家庭等多个领域都有广泛的应用前景。

RoboTwin由现实世界中采集的高质量遥操作数据和对应的数字孪生生成的合成数据组成，并设计了一系列的管道用于对不同应用场景及具身智能算法进行评估，并可以使用仿真数据来优化现实中机器人的在这些场景的表现。

文章使用3D Diffusion Policy (DP3)在基准内测试了6个任务，每个任务分别使用从10组、20组和50组专家数据中训练的策略进行测试，以获得成功率。实验结果如表1所示，所有任务的成功率皆随着演示次数的提升而大幅增加。“Block Handover”任务取得了最显著的改进，在50次演示中达到98%的成功率，远高于10次的50%。这些结果表明，专家演示的数量与任务成功之间存在很强的相关性，突出了自动生成的专家数据在提高任务性能方面的有效性。这些数据进一步强调了为复杂任务制定稳健策略时，充分的训练示例的重要性。

首先使用开源的 COBOT Magic 平台收集数据，该平台配备了四个 AgileX Arms 和四个 Intel Realsense D - 435 RGBD 摄像头，安装在坚固的 Tracer 底盘上，数据涵盖工具使用和人机交互等各种典型任务。

从现实世界数据收集到虚拟复制的过程中，创建数字孪生面临挑战。传统方法依赖昂贵的高保真传感器，本文开发了一种使用人工智能生成内容（AIGC），从单个 2D RGB 图像构建 3D 模型的经济有效的新方法。该方法能降低成本，提供逼真的视觉效果并支持物理模拟，包括将 2D 图像转换为具有复杂几何形状等的 3D 模型，还通过定义功能坐标轴来增强模型以实现抓取姿态的自动计算。

从单个 2D RGB 图像构建 3D 模型的过程如下：首先将单张 2D 图像转换为包含详细几何形状、表面法线、线框和纹理的 3D 模型。这些特征增强了视觉真实感，并确保与物理模拟的引擎兼容。然后为模型内物体的功能部件指定特定坐标轴。例如对于锤子，一个轴与锤头（功能部分）对齐，另一个轴指示接近方向。抓取姿态沿着指定的接近方向轴垂直于功能部分的表面法线计算，这有助于机器人在操作和使用工具时能以最少的人工干预正确且高效地进行。

为增强数据集的实用性和相关性，建立了一个利用大型语言模型（LLMs）自动生成专家级训练数据。该方法丰富了数据集，还整合了 LLMs 的多功能性，如利用 GPT4 - V 自动生成任务特定的姿态序列以提高任务执行精度，使用 GPT4 生成的脚本来激活轨迹规划工具以简化编程和加快机器人系统部署。 为了生成专家数据，首先借助 GPT4 - V 的推理能力编写代码，用于计算关键姿态和物体功能坐标轴之间的关系。GPT4 - V 会分析任务要求并生成符合要求的一系列姿态，确保任务的精确执行。然后通过 GPT4 生成的代码来调用轨迹规划工具，这些代码是基于计算出的姿态生成的。这种自动化操作大幅减少了手动编程所需的时间和人力，有助于机器人系统在不同应用中的快速部署，同时也为机器人学习提供了一种可扩展的高质量数据生成方法。

为了进一步推动该领域的研究和发展，文章引入了一个综合评估基准，专门用于评估各种场景下的双臂机器人。这个基准包含了一系列多样的任务，每个任务都呈现出独特的挑战，这些挑战对于评估模拟环境中机器人手臂的灵巧性、协调性和操作效率至关重要，任务范围从简单的物体操作到需要双臂同步运动的复杂协调动作。个基准旨在弥合理论机器人控制模型与其实际应用之间的差距，确保机器人系统能够在动态的现实世界环境中可靠地运行。

作为具身智能行业生态圈的一员，地瓜机器人云平台团队在RoboTwin在线仿真与评估部分提供了全面的技术支持，包括仿真环境搭建、环境迁移、稳定性运维、GPU调度等，并计划在未来将文中的工作全面接入地瓜机器人Data-Copilot平台，为人形机器人公司提供从数据生成，强化学习，模型部署的完整解决方案，力图加速人形机器人与具身智能相关的产业发展。

一直以来，以旭日智能计算芯片和RDK机器人开发者套件为核心，地瓜机器人致力于与行业客户、合作伙伴、创客、个人开发者携手共建软硬一体、产学研深度协同的智能机器人产业生态圈，引领消费级机器人体验变革、加速创新产品应用孵化。横向覆盖从消费级机器人，到商清、巡检、AMR，再到人形/四足机器人乃至前沿科研的全场景需求；纵向配套RDK OS + NodeHub + RDK Studio + Cloud的全链路机器人开发平台，全方位助力机器人开发与规模化落地。

据了解，RoboTwin项目于9月20日正式官宣，与此同时，以“加速智能生长”为主题的“2024地瓜机器人开发者日”活动在深圳成功举办，重磅推出面向“机器人+”时代的软硬件产品全家桶，包括专为新一代通用机器人而生的旭日5智能计算芯片、极致易用全能开发首选RDK X5机器人开发者套件、具身智能全场景算力核心RDK S100，以及赋能全链条全生命周期的机器人云端开发环境，软硬结合、端云一体，让开发更简单、让机器更智能。

RDK X5面向中小创客和个人开发者，拥有10 TOPs超大算力，只需一根Type-C线便能轻松实现全栈开发流程，同时接口丰富、拓展灵活。RDK X5还配套NodeHub的多种先进大模型和机器人算法，更有100+配套件自由选择，助力开发者一路通关，快速完成从0到1的产品创新。

RDK S100是面向具身智能前沿创新与应用突破的全场景算力核心，基于新一代BPU纳什架构设计，拥有百TOPs级算力，专为大参数Transformer优化，可以满足人形机器人、仿生机器人等具身智能应用场景对感知精度和泛化能力的高阶需求。RDK S100还提供丰富的图像传感器接入方式和多种接口拓展板，为具身智能机器人的开发提供灵活拓展性。

全新的Cloud云端开发环境带来了行业内首个基于大模型的机器人设计开发助手RDK-Copilot，可辅助进行代码补全，并提供高效智能的问答助手；Data-Copilot可帮助客户实现高效的数据处理和利用，克服样本数量不足和样本获取难度大的挑战。

作为业界唯一面向机器人打造软硬件底座的企业，地瓜机器人将承载着“成为机器人时代Wintel”的初心梦想，聚合更优质的产业资源，与全球客户、伙伴、开发者开放协作，共同开创机器人+时代的无限可能。