【经验】地平线X3M ai express中智能数据获取以及解析
地平线X3M ai express中包含了较多的方案，以及插件，其中智能数据的获取以及序列化对于基于ai express中间件的产品开发是最为核心的，本文梳理智能数据获取以及解析。
以USB Camera算法方案来说明，框图如下：
主要涉及的插件：uvcplug、smartplug、mcplugin、iotvioplugin
下面从流程上说明智能数据的处理流程：
对于smartplugin的workflow是一个重要的点：
在workflow中描述了模型推理输出的智能结果，采用的方法，模型名称，以及输入给模型的图片数据采用的金字塔层，模型输入图片的分辨率，这里kps_point_number为19的意思是输出19个人体骨骼关节点。
在smartplugin插件中解析workflow以及注册智能数据获取的回调函数OnCallback
首先通过vioplugin采集摄像头图像数据：
smartplugin中的Feed函数获取到图像数据，处理后进行BPU推理
smartplugin中的OnCallback回调获取到模型推理后的智能数据
接着就是智能数据的序列化，转成需要的数据格式，实际代码中主要在smartplugin的Serialize序列化函数中处理智能数据
其中比如人体骨关节点为output-->name kps或lowpassfilter_body_kps部分，最终获取到了19个人体关节点
脸部关键点的处理为lowpassfilter_lmk_106pts，总共106个点
手的骨关节点，具体点数可以通过LOGD打印输出：
另外还有age,gender,gesture等等输出，这些与workflow中的描述都可以对应起来。
获取到序列化数据后，可以通过UVC传输出去，并连接这些点画出火柴人或者手的关节点，并通过算法计算出手势动作等。
在uvcplugin中调用序列化，最后可以把序列化数据通过uvc xu扩展命令传出去使用。
- |
- +1 赞 0
- 收藏
- 评论 0
本文由Bill提供，版权归世强硬创平台所有，非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：世强硬创平台”。
相关推荐
地平线旭日X3系列智能芯片开发经验资料汇总
旭日X3 是地平线针对 AIoT 场景，推出的新一代低功耗、高性能的智能芯片；集成了地平线最先进的伯努利2.0 架构引擎( BPU® )。包含 X3M 和 X3E 两颗芯片，X3M 主要面向 8M 智能前视市场和边缘计算，提供 5TOPS 算力；X3E 主要面向 5M 智能前视市场，提供 3TOPS 算力。
【经验】地平线ISP工具Control tool的使用方法介绍
Control tool是isp-tuning时tuning ISP参数的图形界面工具，对于刚接触地平线的开发者来说，会比较陌生，下面详细介绍Control tool的使用方法。
【经验】SoC X3M烧录自定义14G userdata镜像并打包进disk.img的镜像过程解析
地平线SoC X3M自定义镜像，比如userdata，其中固件和算法模型以及图像等资料有14G多，此时生成的userdata镜像就有14G多，与其他镜像包一起打包进disk.img后接近15G，我们是否还可以用地平线hbupdate_win64_v1.3(AIOT)工具烧录呢，本文记录烧录并解析注意点。
Sunrise3.0（X3M）规格书
本资料为Horizon Robotics的Sunrise 3.0（X3M）芯片的数据手册。该文档详细介绍了X3M芯片的技术规格、功能特性、硬件架构和应用场景。内容包括芯片块图、引脚描述、电气规范、接口时序、系统架构、CPU子系统、DDR子系统、VIO子系统、BPU子系统、VSP子系统和PERI子系统等。
地平线 - POWER-EFFICIENT ARTIFICIAL INTELLIGENCE SYSTEM-ON-CHIP,SOC,高能效人工智能片上系统,SOC系统,X3M,视频解压缩应用,视频压缩应用,人机接口装置,图像应用处理器通信,HUMAN-MACHINE INTERFACE DEVICES,SMART IP CAMERA,摄像机,INDUSTRIAL AUTOMATION APPLICATIONS,CAMERAS,SWITCHING APPLICATIONS,NETWORK INTERFACE CARD,USB应用,交互式机器人,BRIDGING,工业自动化应用,ALOT APPLICATIONS,VIDEO DECOMPRESSION APPLICATIONS,架桥,开关应用,智能IP摄像机,人工智能物联网应用,网络接口卡,USB APPLICATION,INTERACTIVE ROBOTS,IMAGE APPLICATION PROCESSOR COMMUNICATION,VIDEO COMPRESSION APPLICATIONS
地平线机器人事业部介绍
地平线是一家全球领先的智能计算平台提供商，专注于深度神经网络芯片的研发。公司致力于将深度神经网络嵌入芯片，实现智能设备的环境感知、人机交互和决策控制能力。地平线拥有全球唯三的车规级计算芯片，并已量产多款芯片，支持多种智能设备和应用。公司核心团队由多位行业顶尖专家组成，拥有丰富的研发经验和行业影响力。地平线致力于推动智能计算技术的发展，为机器人、自动驾驶等领域提供高性能计算解决方案。
地平线 - 车规级计算芯片,ADAS芯片,深度神经网络芯片,X5M,X3M,服务机器人,手势控制机器人,室内服务机器人,语音控制机器人,人体跟随机器人,智能家居机器人,扫地机机器人,智能循线机器人,辅助驾驶,高等级自动驾驶,割草机器人
【应用】地平线推出基于AI SoC X3M的扫地机方案，提供配套TROS操作系统和AI算法
地平线推出基于Sunrise®旭日芯片的扫地机方案，提供芯片+操作系统+算法的完整解决方案，实现更智能、更稳定、更主动的智能扫地机应用。
【应用】地平线AI SoC芯片X3M助力智能停车场系统设计，可实现车牌识别、车流量检测等功能，算力可达5Tops
现在，随着智能芯片、算法的技术发展，方便快捷、稳定可靠的非接触式智能停车设备已走进大大小小的城市，成为当今停车场设备的主流。地平线推出的X3M系列AI SoC芯片，可应用于停车场的智能识别设备，用来检测施工车辆的车牌、类别，并可实现计算车流量的功能。
【经验】地平线SoC X3M分区修改镜像制作烧录过程实操
地平线SoC X3M SDB核心板的EMMC为16G容量，默认总共有12个分区，其中app,userdata分区没有烧录镜像，我们可以在app，userdata分区中烧录自己的固件，也可以新增自己的分区并制作镜像烧录到新增加的分区中，本文记录在默认的app，userdata分区中烧录自己制作的2个镜像过程。
【经验】地平线X3M SDB开发板烧录ubuntu镜像实操和注意事项
地平线X3M SDB开发板，地平线论坛已经支持yocto linux和ubuntu两种SDK包，本文实操烧录ubuntu镜像以及说明注意事项。
地平线X3M核心板规格说明书
地平线X3M核心板（X3M SOM）是一款基于X3M芯片设计的AI处理模块，具备图像检测、分类、分割等功能。该模块适用于AI摄像头、机器人、边缘计算盒子等多种场景，旨在帮助客户加速产品研发进程。
地平线 - 核心板,X3M,X3M SOM,机器人,AI摄像头,边缘计算盒子
【经验】地平线X3M的SD2/BT1120的电源域与复用为GPIO输出电平关系测试
在地平线SOC X3M上有多个模块的电源域是可以在3.3V和1.8V之间做选择设计的，而这些模块都可以复用为GPIO功能，此时GPIO输出的电平是多少，是否由复用为GPIO之前的模块的电源域决定呢，本文测试验证BIFSD,SD2,BT1120的电源域与复用为GPIO输出电平关系。
【经验】地平线Soc X3M适配新的sensor时MIPI CSI、VIO配置注意事项
地平线X3M适配新的sensor，除了要实现sensor寄存器的初始化，以及代码库实现，还需要做X3M端的MIPI CSI配置，以及VIO的配置，本文将介绍地平线Soc X3M的MIPI CSI、VIO配置注意事项。
【经验】地平线X3M开发板添加dummy_codec虚拟声卡驱动的方法
一个完整的声卡信息由cpu_dai，codec_dai，platform，dai_link组成。本文将详细介绍地平线X3M开发板添加dummy_codec虚拟声卡驱动的方法。
【经验】如何进行地平线X3M开发板的USB驱动性能测试？
地平线X3M开发板针对常见的高速接口，比如ddr, emmc, usb, sdio等提供了相应的测试方法，这样可以保证数据高速传输的稳定性和可靠性。下面是USB驱动性能测试方法。
电子商城
现货市场
授权代理品牌：集成电路
授权代理品牌：分立元件
授权代理品牌：接插件及结构件
授权代理品牌：部件、组件及配件
授权代理品牌：电源及模块
授权代理品牌：电子材料
授权代理品牌：仪器仪表及测试配组件
授权代理品牌：电工工具及材料
授权代理品牌：机械电子元件
授权代理品牌：加工与定制
我要提问
登录 | 立即注册
提交评论