人手关键点检测算法示例
功能介绍
人手关键点检测算法示例订阅图片和包含人手框信息的智能msg，利用BPU进行算法推理，发布包含人手关键点信息的算法msg。
人手关键点索引如下图：
物料清单
准备工作
• 地平线RDK已烧录好地平线提供的Ubuntu 20.04系统镜像
• 摄像头正确连接到RDK X3
使用方法
1.安装功能包
启动机器人后，通过SSH终端或者VNC连接机器人，点击本页面右上方的“一键部署”按钮，复制如下命令在RDK的系统上运行，完成相关Node的安装。
tros foxy 版本
sudo apt update
sudo apt install -y tros-hand-lmk-detection
tros humble 版本
sudo apt update
sudo apt install -y tros-humble-hand-lmk-detection
2.运行人手关键点检测功能
使用MIPI摄像头发布图片
tros foxy 版本
# 配置tros.b环境
source /opt/tros/setup.bash
# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
# 配置MIPI摄像头
export CAM_TYPE=mipi
# 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
tros humble 版本
# 配置tros.b humble环境
source /opt/tros/humble/setup.bash
# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
# 配置MIPI摄像头
export CAM_TYPE=mipi
# 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
使用USB摄像头发布图片
tros foxy 版本
# 配置tros.b环境
source /opt/tros/setup.bash
# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
# 配置USB摄像头
export CAM_TYPE=usb
# 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
tros humble 版本
# 配置tros.b humble环境
source /opt/tros/humble/setup.bash
# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
# 配置USB摄像头
export CAM_TYPE=usb
# 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
3.查看效果
打开同一网络电脑的浏览器，访问http://IP:8000即可看到视觉识别的实时效果，其中IP为RDK的IP地址:
接口说明
话题
手关键点检测结果都通过hobot_msgs/ai_msgs/msg/PerceptionTargets话题发布，该话题的详细定义如下：
# 感知结果
# 消息头 std_msgs/Header header
# 感知结果的处理帧率
# fps val is invalid if fps is less than 0 int16 fps
# 性能统计信息，比如记录每个模型推理的耗时
Perf[] perfs
# 感知目标集合
Target[] targets
# 消失目标集合
Target[] disappeared_targets
参数
- |
- +1 赞 0
- 收藏
- 评论 0
本文由Ray转载自D-Robotics官网，原文标题为:人手关键点检测，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
相关推荐
在RDK X3体验Cartographer激光雷达SLAM技术，实时获取较高精度的地图
本功能所使用的Cartographer是google推出的一套基于图优化的SLAM算法，可以实现机器人在二维或三维条件下的定位及建图功能，这套算法的主要设计目的是满足机器人在计算资源有限的情况下，依然可以实时获取较高精度的地图。该功能支持机器人实物和Gazebo仿真两种体验方式。
设计经验 发布时间 : 2024-11-19
基于RDK X3的chat robot应用示例，实现用户和机器人语音聊天功能
智能语音聊天机器人识别用户语音内容，然后调用OpenAI API获取答复，最后将该答复播放出来，实现用户和机器人语音聊天功能。
设计经验 发布时间 : 2024-11-18
亚博智能RDK X3 ROBOT机器人项目实例，实现RKD X3 ROBOT的基本运动控制和位姿反馈
亚博智能RKD X3 ROBOT是一款面向机器人开发者和教育生态的智能机器人开发套件。该套件以旭日X3派为核心运算单元，以TogetherROS.Bot为核心机器人操作系统，集成成了建图、导航、人体跟随、手势识别等功能。本项目为亚博智能RKD X3 ROBOT机器人最小功能系统，该系统能够实现RKD X3 ROBOT的基本运动控制和位姿反馈。
设计经验 发布时间 : 2024-11-16
AI加速边缘计算，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等
世强硬创联合地平线，阿普奇，启英泰伦，美格智能，普林芯驰，唯创知音，九芯电子，芯闻，VINKO，MERRY带来AI新产品，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等，加速边缘计算。
活动 发布时间 : 2023-06-08
【IC】地平线新品发布，硬件模组RDK，高达96TOPS算力的RDK Ultra系列 ∣ 视频
地平线官宣系列重要发布：全新地平线RDK系列机器人开发者套件正式上线，机器人操作系统 TogetheROS™.Bot 2.0版发布，应用中心NodeHub首发亮相。
新产品 发布时间 : 2023-07-29
RDK X3 Module Product Brief
型号- RDK X3 MD 002032,RDK X3 MD 104032,RDK X3 MD 002016,RDK X3 MD 104064,RDK X3 MD 102032,RDK X3 MD 004064,RDK X3 MD 004032,RDK X3 MD,RDK X3,RDK X3 MD 102016
地平线机器人开发者创享日，推出全新NodeHub应用中心、RDK X3机器人开发者套件及机器人操作系统
7月25日，“地平线2023机器人开发者创享日”在深圳成功举办。活动现场，地平线官宣了一系列重要发布：全新地平线RDK系列机器人开发者套件正式上线，机器人操作系统 TogetheROS.Bot™2.0版发布，应用中心NodeHub首发亮相，地平线开发者社区改版上线。
原厂动态 发布时间 : 2023-08-04
地平线RDK X3语音通信算法通过Alexa ACM方案认证，接口兼容树莓派具有5TOPS端侧推理与4核A53处理能力
地平线RDK X3的语音通信算法通过ACM Qualification认证。ACM认证主要面向通信降噪和回声消除算法领域，帮助Alexa设备顺畅地连接与通信。此次通过认证的语音通信算法，依托地平线RDK X3打造，在通信降噪和回声消除方面具备强劲的性能表现。
原厂动态 发布时间 : 2023-07-20
地平线推出新款旭日® X3 模组，更强劲的端侧计算性能更丝滑的机器人开发体验加速实现量产级产品落地
地平线旭日X3模组正式发布TogetheROSTM.Bot 2.0同步上线，更强劲的端侧计算性能更丝滑的机器人开发体验加速实现量产级产品落地。TogetheROSTM.Bot机器人操作系统同步更新2.0 Beta版本，源码现已开放上线Github，支持多种机器人算法与应用的快速部署，为开发者提供更稳定、更丝滑的机器人开发体验。
原厂动态 发布时间 : 2023-07-12
智能语音聊天机器人功能及使用指南
智能语音聊天机器人通过识别用户语音，调用ChatGPT API获取答复并播放，实现语音聊天。需地平线RDK、ChatGPT API Key及音频板等物料。准备、组装后，安装功能包并运行，配置音频和ChatGPT API Key。常见问题包括设备连接、音频驱动、配置文件及网络访问等。
设计经验 发布时间 : 2024-10-18
基于RDK X3实现的语言大模型操作实例
hobot_llm是地平线RDK平台集成的端侧Large Language Model (LLM) Node，用户可在端侧体验LLM。目前提供两种体验方式，一种直接终端输入文本聊天体验，一种订阅文本消息，然后将结果以文本方式发布出去。
设计经验 发布时间 : 2024-11-16
基于RDK X3的机械臂物体拾取操作实例
本文介绍RDK X3该功能包接收用户选择方块数字的请求，通过yolov5检测目标，在Z轴距离确定的情况下解算出物体的三维坐标，并请求仿真机械臂控制节点夹取物体的应用实例。
设计经验 发布时间 : 2024-10-28
RDK平台实现MIPI相机驱动的操作实例
本项目案例为对已适配的MIPI接口摄像头进行配置，并将采集的图像数据以ROS标准图像消息或者零拷贝（hbmem）图像消息进行发布，供需要使用图像数据的其他模块订阅。
设计经验 发布时间 : 2024-11-05
基于RDK平台的YOLOv10目标检测算法示例
YOLO功能介绍YOLO目标检测算法示例使用图片作为输入，利用BPU进行算法推理，发布包含目标类别和检测框的算法msg。YOLO目标检测算法示例使用图片作为输入，利用BPU进行算法推理，发布包含目标类别和检测框的算法msg。目前支持yolov2、yolov3、yolov5、yolov5x四个版本。
应用方案 发布时间 : 2024-11-13
多模态感知仿生机械手项目案例
本项目提供了一款五指仿生机器手，其仿照人手的外观与自由度，使其能够作为人形机器人的末端执行器，完成人手所能完成的任务。
应用方案 发布时间 : 2024-10-29
电子商城
现货市场
授权代理品牌：集成电路
授权代理品牌：分立元件
授权代理品牌：接插件及结构件
授权代理品牌：部件、组件及配件
授权代理品牌：电源及模块
授权代理品牌：电子材料
授权代理品牌：仪器仪表及测试配组件
授权代理品牌：电工工具及材料
授权代理品牌：机械电子元件
授权代理品牌：加工与定制
我要提问
登录 | 立即注册
提交评论