地平线深度学习双目深度估计算法使用示例

时间： 2024-11-10 来源：D-Robotics官网

技术问答

功能介绍

双目深度估计算法是使用地平线OpenExplorer在SceneFlow数据集上训练出来的StereoNet模型。

算法输入为双目图像数据，分别是左右视图。算法输出为左视图的视差。

此示例使用ZED 2i双目相机作为图像数据输入源，利用BPU进行算法推理，发布包含双目图像左图和感知结果的话题消息，在PC端浏览器上渲染显示算法结果。

物料清单

ZED 2i双目相机

使用方法

功能安装

在RDK系统的终端中运行如下指令，即可快速安装：

tros foxy版本

sudo apt update

sudo apt install -y tros-hobot-stereonet

sudo apt install -y tros-hobot-stereo-usb-cam

sudo apt install -y tros-hobot-stereonet-render

sudo apt install -y tros-websocket

tros humble版本

sudo apt update

sudo apt install -y tros-humble-hobot-stereonet

sudo apt install -y tros-humble-hobot-stereo-usb-cam

sudo apt install -y tros-humble-hobot-stereonet-render

sudo apt install -y tros-humble-websocket

启动双目图像发布、算法推理和图像可视化

在RDK系统的终端中运行如下指令启动：

tros foxy版本

# 配置tros.b环境

source /opt/tros/setup.bash

# 启动launch文件

ros2 launch hobot_stereonet hobot_stereonet_demo.launch.py

tros humble版本

# 配置tros.b humble环境

source /opt/tros/humble/setup.bash

# 启动launch文件

ros2 launch hobot_stereonet hobot_stereonet_demo.launch.py

启动成功后，打开同一网络电脑的浏览器，访问RDK的IP地址，即可看到算法可视化的实时效果：

相同场景下ZED的深度估计可视化效果如下：

可以看到对于有光线变化区域，深度学习方法的深度估计准确率更高。

接口说明

话题

参数

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由雪飘梦飞转载自D-Robotics官网，原文标题为:深度学习双目深度估计算法，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

基于RDK X3和OriginBot的手势控制机器人应用案例

通过视觉进行人手检测、跟踪和手势识别，根据手势类别生成不同运动控制指令并控制机器人运动，包括左右旋转和前后平移运动。该功能支持机器人实物和Gazebo仿真两种体验方式。以下操作过程以OriginBot为例，满足条件的其他机器人使用方法类似。

设计经验发布时间 : 2024-11-13

在RDK系列开发板上使用火山引擎大模型网关实例

介绍在RDK系列开发板上使用火山引擎大模型网关的技术要求。

设计经验发布时间 : 2024-10-31

基于RDK X3的机械臂物体拾取操作实例

本文介绍RDK X3该功能包接收用户选择方块数字的请求，通过yolov5检测目标，在Z轴距离确定的情况下解算出物体的三维坐标，并请求仿真机械臂控制节点夹取物体的应用实例。

设计经验发布时间 : 2024-10-28

【IC】D-Robotics RDK X5机器人开发者套件，可提供高达10 Tops算力，加速智能化应用快速落地

D-Robotics RDK X5搭载Sunrise 5智能计算芯片，可提供高达10 Tops的算力，是一款面向智能计算与机器人应用的全能开发套件，接口丰富，极致易用，支持Transfomer、RWKV、Occupancy、Stereo Perception等多种复杂模型和最新算法，加速智能化应用快速落地。

产品发布时间 : 2024-09-20

地⽠RDK X5机器⼈开发者套件产品资料包

型号- X5MC00ICSTMA,RDK X5 4GB,RDK X5,RDK X5 8GB

商品及供应商介绍 - D-ROBOTICS - V1.0 - 2024/9/10 ZIP 中文下载

基于RDK平台的YOLOv10目标检测算法示例

YOLO功能介绍YOLO目标检测算法示例使用图片作为输入，利用BPU进行算法推理，发布包含目标类别和检测框的算法msg。YOLO目标检测算法示例使用图片作为输入，利用BPU进行算法推理，发布包含目标类别和检测框的算法msg。目前支持yolov2、yolov3、yolov5、yolov5x四个版本。

应用方案发布时间 : 2024-11-13

D-Robotics RDK™ X5 Product Brief

型号- RDK X5 4GB,RDK™ X5,RDK X5 8GB

数据手册 - D-ROBOTICS - V1.0 - 2024/9/5 PDF 英文下载

RDK X5 3D

型号- RDK X5 4GB,RDK X5 8GB

CAD模型库 - D-ROBOTICS - 2024-8-26 STP 英文下载

地平线RDK实现智能循线机器人应用示例

巡线任务，即机器人小车能够自主跟着一条引导线向前运行。地平线RDK通过摄像头获取小车前方环境数据，图像数据通过训练好的CNN模型进行推理得到引导线的坐标值，然后依据一定的控制策略计算小车的运动方式，通过UART向小车下发运动控制指令实现整个系统的闭环控制。

设计经验发布时间 : 2024-11-12

智能语音聊天机器人功能及使用指南

智能语音聊天机器人通过识别用户语音，调用ChatGPT API获取答复并播放，实现语音聊天。需地平线RDK、ChatGPT API Key及音频板等物料。准备、组装后，安装功能包并运行，配置音频和ChatGPT API Key。常见问题包括设备连接、音频驱动、配置文件及网络访问等。

设计经验发布时间 : 2024-10-18

32线激光雷达多目标检测示例

激光雷达目标检测算法是使用地平线OpenExplorer在nuscenes数据集上训练出来的CenterPoint算法模型。此示例使用本地激光雷达点云文件作为输入，利用BPU进行算法推理，发布包含点云数据、目标检测框和朝向的渲染图片消息，在PC端浏览器上渲染显示算法结果。

设计经验发布时间 : 2024-11-10

NodeHub快速入门示例：小海龟绘画

NodeHub快速入门示例，通过键盘控制小乌龟进行绘画。

设计经验发布时间 : 2024-11-11

基于RDK系统的双目深度估计算法示例

双目深度估计算法是使用地平线OpenExplorer在SceneFlow数据集上训练出来的StereoNet模型。算法输入为双目图像数据，分别是左右视图。算法输出为左视图的视差。此示例使用mipi双目相机作为图像数据输入源，利用BPU进行算法推理，发布包含双目图像左图和感知结果的话题消息，在PC端rviz2上渲染算法结果。

设计经验发布时间 : 2024-11-05