【经验】地平线SoC X3M模型精度性能评测实操
地平线SoC X3M的CNN工具链转换模型后，我们需要评测模型精度，性能，达不到要求再来优化模型，直到到达要求，本文实操公版模型在公共数据集上评测过程。
交叉编译完成ai_benchmark后把ptq目录拷贝到开发板上，然后将model_zoo/runtime的模型文件拷贝到ptq/model目录下。
运行脚本以及模型文件准备完成后，接着需要准备公共图片，并做好预处理
可以确认下精度评测脚本：
这里主要有2个文件，
"image_list_file": "../../../data/imagenet/imagenet.lst",
"cls_names_list": "../../config/data_name_list/imagenet.list"
imagenet.lst文件生成过程：
我们这里评测的是mobilenetv2模型，对公共数据集合imagenet做预处理：
2012年版本的imagenet数据集总共5万张图片，通过预处理统一为224x224x1.5=75264字节的nv12数据，于mobilenetv2模型输入分辨率格式一致：
生成imagenet.lst命令：
把imagenet.lst，以及模型对应的前处理二进制文件.bin文件集copy到板端：
前处理二进制文件由于很大copy到板端不方便，通过软连接到板端：
运行精度脚本，主要为读取imagenet数据集做推理，把结果保存在 eval.log中
最后通过精度计算脚本，算出推理结果与实际标注图片的吻合情况，得出精度也就是准确率：
71.19%的准确率，其中通过实际查看出错的推理结果，基本都是存在歧义的图片，导致推理结果得分较低的情况，比如图片00005325号图片，标注为为第971类型，
971类型标注类型lable为：bubble
971类型是从0开始计算，对应分类的lable中从第一开始计算，对应的是第972行的bubble，气泡的意思，实际图片中是一个气泡中有一个黑寡妇蜘蛛，导致推理结果是黑寡妇蜘蛛，存在歧义出错，从而导致降低了计算准确率，类似的情况存在的比较多。
这里实测71.19%的准确率，与地平线文档中的精度说明是基本一致的：0.7189
以上为精度评测，fps,单帧延时比较简单：
帧率在396帧左右，这是在单BPU，单线程情况下跑的帧率，如果需要测试极限帧率，可以设置更多的线程并发来测试
单帧推理延时如下：
另外还可以通过如下方法获取每个算子的耗时
通过以上对于模型的精度，fps以及耗时评测，基本就清楚模型的效果，从而有一个定量的数据评估，确认模型量产的可实施性。
- |
- +1 赞 0
- 收藏
- 评论 0
本文由Bill提供，版权归世强硬创平台所有，非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：世强硬创平台”。
相关推荐
地平线旭日X3系列智能芯片开发经验资料汇总
旭日X3 是地平线针对 AIoT 场景，推出的新一代低功耗、高性能的智能芯片；集成了地平线最先进的伯努利2.0 架构引擎( BPU® )。包含 X3M 和 X3E 两颗芯片，X3M 主要面向 8M 智能前视市场和边缘计算，提供 5TOPS 算力；X3E 主要面向 5M 智能前视市场，提供 3TOPS 算力。
【经验】地平线ISP工具Control tool的使用方法介绍
Control tool是isp-tuning时tuning ISP参数的图形界面工具，对于刚接触地平线的开发者来说，会比较陌生，下面详细介绍Control tool的使用方法。
【经验】地平线X3M SDB开发板烧录ubuntu镜像实操和注意事项
地平线X3M SDB开发板，地平线论坛已经支持yocto linux和ubuntu两种SDK包，本文实操烧录ubuntu镜像以及说明注意事项。
【应用】地平线AI SoC芯片X3ME00IBGTMB-H用于3D相机，集成四核Cortex A53 CPU
3D相机应用领域越来越广泛，除了常见的3D影片之外，还可以应用于物流自动化、机器人视觉、障碍检测等方面。3D相机是有两个镜头的，分别是用于拍摄场景和测量自身与场景内物体之间的距离。镜头获取信息需要一个强大芯片来处理，本文介绍一款SOC可用于3D相机上。
AI加速边缘计算，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等
世强硬创联合地平线，阿普奇，启英泰伦，美格智能，普林芯驰，唯创知音，九芯电子，芯闻，VINKO，MERRY带来AI新产品，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等，加速边缘计算。
【应用】地平线新一代AIoT AI SOC X3ME00IBGTMB-H成功用于AI分析盒子，提供5TOPS的算力
在盒子的主控方面，客户采用的是地平线的新一代AIoT AI SOC 旭日3系列X3ME00IBGTMB-H，这是地平线针对 AIoT 场景，推出的新一代低功耗、高性能的智能芯片，集成了地平线最先进的伯努利2.0 架构引擎( BPU® )，可提供5TOPS的算力。
【应用】地平线推出基于AI SoC X3M的扫地机方案，提供配套TROS操作系统和AI算法
地平线推出基于Sunrise®旭日芯片的扫地机方案，提供芯片+操作系统+算法的完整解决方案，实现更智能、更稳定、更主动的智能扫地机应用。
地平线高性能大算力整车智能计算平台暨战略发布会精彩回顾 ∣视频
征程与共，一路同行。
【应用】算力高达5TOPS的SOC X3ME00IBGTMB-H用于双目AI相机设计，满足输入图像的图像信号处理要求
某客户做一款双目AI相机，需要跑自己的识别算法，用于识别一些物体，算法是自研的，视频输出部分要求分辨率达到4K级别。在相机处理器上需要一款有一定算力和多路视频处理能力的芯片，客户采用地平线的旭日3系列AI SOC X3ME00IBGTMB-H，该款芯片性能强大，算力和视频处理能力均能满足需求。
基于单颗地平线征程3，宏景智驾首发单SoC行泊一体解决方案
近日，福瑞泰克宣布推出基于单颗地平线征程®3芯片开发的、面向量产的轻量级行泊一体解决方案，为车企智能化系统进阶提供了更高适配版本的智能驾驶产品，以高性价比助力行泊一体快速落地。基于该方案，更多车型得以实现更复杂、可靠度更高的行泊一体功能，支持如主动安全、HWA高速公路辅助驾驶、智能泊车辅助APA等功能。该方案预计将于2023年下半年实现量产上车。
【应用】地平线AI SoC芯片X3M助力智能停车场系统设计，可实现车牌识别、车流量检测等功能，算力可达5Tops
现在，随着智能芯片、算法的技术发展，方便快捷、稳定可靠的非接触式智能停车设备已走进大大小小的城市，成为当今停车场设备的主流。地平线推出的X3M系列AI SoC芯片，可应用于停车场的智能识别设备，用来检测施工车辆的车牌、类别，并可实现计算车流量的功能。
电子商城
现货市场
授权代理品牌：集成电路
授权代理品牌：分立元件
授权代理品牌：接插件及结构件
授权代理品牌：部件、组件及配件
授权代理品牌：电源及模块
授权代理品牌：电子材料
授权代理品牌：仪器仪表及测试配组件
授权代理品牌：电工工具及材料
授权代理品牌：机械电子元件
授权代理品牌：加工与定制
我要提问
登录 | 立即注册
提交评论