人手关键点检测算法示例

时间： 2024-10-28 来源：D-Robotics官网

功能介绍

人手关键点检测算法示例订阅图片和包含人手框信息的智能msg，利用BPU进行算法推理，发布包含人手关键点信息的算法msg。

人手关键点索引如下图：

物料清单

准备工作

• 地平线RDK已烧录好地平线提供的Ubuntu 20.04系统镜像

• 摄像头正确连接到RDK X3

使用方法

1.安装功能包

启动机器人后，通过SSH终端或者VNC连接机器人，点击本页面右上方的“一键部署”按钮，复制如下命令在RDK的系统上运行，完成相关Node的安装。

tros foxy 版本

sudo apt update

sudo apt install -y tros-hand-lmk-detection

tros humble 版本

sudo apt update

sudo apt install -y tros-humble-hand-lmk-detection

2.运行人手关键点检测功能

使用MIPI摄像头发布图片

tros foxy 版本

# 配置tros.b环境
source /opt/tros/setup.bash

# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .

# 配置MIPI摄像头
export CAM_TYPE=mipi

# 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py

tros humble 版本

# 配置tros.b humble环境
source /opt/tros/humble/setup.bash

# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .

# 配置MIPI摄像头
export CAM_TYPE=mipi

# 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py

使用USB摄像头发布图片

tros foxy 版本

# 配置tros.b环境
source /opt/tros/setup.bash

# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .

# 配置USB摄像头
export CAM_TYPE=usb

# 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py

tros humble 版本

# 配置tros.b humble环境
source /opt/tros/humble/setup.bash

# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .

# 配置USB摄像头
export CAM_TYPE=usb

# 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py

3.查看效果

打开同一网络电脑的浏览器，访问http://IP:8000即可看到视觉识别的实时效果，其中IP为RDK的IP地址:

接口说明

话题

手关键点检测结果都通过hobot_msgs/ai_msgs/msg/PerceptionTargets话题发布，该话题的详细定义如下：

# 感知结果

# 消息头 std_msgs/Header header

# 感知结果的处理帧率

# fps val is invalid if fps is less than 0 int16 fps

# 性能统计信息，比如记录每个模型推理的耗时

Perf[] perfs

# 感知目标集合

Target[] targets

# 消失目标集合

Target[] disappeared_targets

参数

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由Ray转载自D-Robotics官网，原文标题为:人手关键点检测，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

基于RDK X3 ＆ Module的性能检测软件使用示例

Performance Node该应用基于Web网页打造，无论是什么品牌的电脑和手机，只需要在浏览器访问即可。

2024-11-30 - 设计经验代理服务技术支持采购服务

连接RDK X3操作奥比中光Astro Pro相机驱动示例

基于RDK X3的奥比中光Astro Pro相机驱动操作方案介绍。

2024-11-08 - 设计经验代理服务技术支持采购服务

基于RDK X3开发板设计并实现的手持slam建图设计

这里使用RDK X3开发板设计并实现了一款SLAM手持建图设备，它使用RDK X3开发板的计算性能，通过激光雷达实现一个纯激光里程计，通过IMU对激光数据进行畸变矫正和对SLAM的姿态矫正，实现一个手持的SLAM建图功能。

2024-11-04 - 设计经验代理服务技术支持采购服务

AI加速边缘计算，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等

世强硬创联合地平线，阿普奇，启英泰伦，美格智能，普林芯驰，唯创知音，九芯电子，芯闻，VINKO，MERRY带来AI新产品，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等，加速边缘计算。

2023-06-08 - 活动

【IC】地平线新品发布，硬件模组RDK，高达96TOPS算力的RDK Ultra系列 ∣ 视频

地平线官宣系列重要发布：全新地平线RDK系列机器人开发者套件正式上线，机器人操作系统 TogetheROS™.Bot 2.0版发布，应用中心NodeHub首发亮相。

2023-07-29 - 新产品代理服务技术支持采购服务

基于RDK X3操作思岚激光雷达驱动示例

SLLIDAR ROS2驱动，以ROS2标准消息格式发送激光雷达数据。

2024-12-02 - 应用方案代理服务技术支持采购服务

RDK X3模块产品简介

描述- RDK X3 Module是一款基于地平线旭日®3系列高性能智能芯片的模块，具备强大的端侧通用和人工智能算力。该模块硬件设计兼容树莓派CM4，具有四核Cortex® A53处理器、5Tops算力、最高4GB内存和支持4K@60帧视频编解码等功能。它提供了丰富的接口选项，包括HDMI、千兆以太网、USB 3.0等，并支持双频2.4/5.0GHz无线局域网和蓝牙4.2。此外，RDK X3 Module还具有良好的环境适应性和可靠性。

型号- RDK X3 MD 002032,RDK X3 MD 104032,RDK X3 MD 002016,RDK X3 MD 104064,RDK X3 MD 102032,RDK X3 MD 004064,RDK X3 MD 004032,RDK X3 MD,RDK X3,RDK X3 MD 102016