AI开发，不必从0开始—基于地平线AI芯片与天工开物平台的HorizonBox-AI体感游戏机案例拆解

时间： 2022-05-22 来源：地平线

代理服务

技术支持

采购服务

提到AI产品开发，大家第一时间想到的可能是高深的AI算法训练和复杂的工程部署和实现，来自不同厂家的芯片、系统框架、AI算法之间，常常存在一定的兼容性或效率等问题，导致AI产品开发周期长，算法效果不理想，功能调试困难等。在AI智能化时代，如何降低 AI 产品的开发门槛，快速让产品落地，有一个好的 “工具“ 的越来越重要。

使用地平线的AI芯片 + 「天工开物」开发平台，可以大大简化AI产品的开发流程，提高效率。在实现个性化需求的同时，做到「AI 开发，不必从0开始」本文邀请了地平线Hackathon大赛中的一支获奖团队，他们在很短的时间内，做出了一款AI体感游戏机，在体验上，甚至可以媲美微软的Kinect，风靡一时。

HorizonBox 案例介绍

游戏，一直是人们基于现有技术，对未来技术，以及对未来生活的想象。这其中，现有技术便是所有想象的支点。所以，游戏一直在随着技术的变革产生着变化。除了技术的变革以外，游戏也承载了和人越来越有关的内容，比如勇气，乐观，爱情等等。从世界上第一款用示波器做的电子游戏 "Tennis for two" 开始，人们对游戏的制作一直是希望拟人化，以及和现实生活有关的，比如1986年诞生的街头争霸，1996年诞生的古墓丽影是冒险的象征，1997年诞生的仙剑奇侠传凄美的爱情令人感动。往后画面越来越清晰，越来越逼真。

所以可以看到，游戏虽然是虚拟的，但是却一直在向着真实去发展。因此，为了让大家低成本体验真实的游戏感受，我们尝试使用地平线的 AI 开发板+ 行为识别算法+辅助人体关键点检测算法做出了一款体感游戏机，将 AI 人工智能视觉算法与传统游戏相结合，可以实现近似 Kinect 的游戏效果，让玩家在玩游戏的同时，还能够锻炼身体！Horizon Box 支持跑，跳，攻击等动作，可以使用这些动作和游戏进行有效结合，增加真实游戏的体验，让你如临其境。

底层娱乐：我们的方案可以和游戏厂商以及游戏主机厂商对接。
中层赋能：同时我们开放出AI技术接口，开放软件接口，为开发者赋能。
上层生态：基于端行为识别也可以作为交互的入口，比如智慧屏，云游戏+端交互等等。

技术简介

本方案采用基于序列的行为识别模型与人体关键点检测相结合进行行为识别从而与游戏端产生交互，本方案流程框图如下：

从上图中可看出，HorizonBox的诞生历经从采集数据开始：

1. 采集数据

采集与游戏交互会使用的“跳”、“跑”、“攻击”、“站立”等动作，将采集到的视频数据抽帧成图片，人工将图片标记为相应的动作。接着是模型训练。

2. 模型训练

要提到的步骤是要将模型 OP 适配，X2 对大部分 OP 都可以无缝支持，但不排除有个别需要特殊处理，这也不得不提到地平线天工开物工具链，同时，采用工具链中的定点化工具将模型参数定点化，到此，模型便可以扔到板子上等待起舞了。

3. 模型部署

因为本方案中用到了人体框检测(Fasterrcnn)、行为特征提取、时序融合三个模型，将多个模型部署在CP端需基于地平线提供的Xroc开发框架，该框架的作用是提供模型串接的接口，进行模型运行调度等。在本方案模型部署阶段通过调用Xroc API将模型进行一些简单处理后送入BPU(Brain Processing Unit， X2深度学习加速器)进行模型运算加速，单个模型运行结束后进行后处理再次送入BPU运行下一个模型。

4. 一致性验证

如果不出意外CP端模型运行结果是与GPU预测(mxnet or TensorFlow)结果是一致的，但是意外无处不在，大概率是出在模型部署阶段的前后处理，在此也不要为debug感到无助，我们采用天工开物工具链提供的model_verifier工具定位，并且采用runtime接口将BPU黑盒打开，一步步一个一个模型进行比对将一致性对上。

一致性通过后，模型的问题就该告一段落了，但开发并没有结束。

5. 帧率对齐

游戏对于时序和延迟要求较高，如果模型计算力大到超出了BPU负载，那帧率便会影响到精确度，精确度低到怀疑自己，所以提高模型性能、降低采集数据的帧率两端就像跷跷板的两端一样互相倾斜，达到平衡适配。注：本方案由于时间有限只能在此平衡处理，如果时间充裕，可调优模型或者优化开发来提高帧率，降低延迟。

本方案到此，可识别出人体行为动作，包括“跑”、“跳”、“攻击”、“站立”这些常用的游戏交互动作，并且精确度较高。

6. 游戏对接

通过websocket, 将识别出的动作传输到等待接收指令的游戏端。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由zc转载自地平线，原文标题为:AI 开发，不必从0开始 | 本期案例: HorizonBox - AI 体感游戏机，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

平台合作

提交评论

全部评论（0）

暂无评论

地平线提出MAPS评测方法，重新定义芯片AI性能

地平线作为边缘AI芯片领导者，长期致力于AI芯片的软硬件研发和商业落地工作。此次提出MAPS芯片AI性能评测方法，为行业提供一种在峰值算力之外，从“快”和“准”两个维度帮助用户理解芯片AI性能的角度。

2024-06-20 - 原厂动态代理服务技术支持采购服务

打造极致效能的边缘AI计算基础方案，构建绿色、安全的智能世界

在近日举办的CES Asia 上，地平线联合创始人＆副总裁黄畅博士受邀在CES主论坛发表主题为《边缘AI计算发展趋势》的演讲。从边缘计算推动的行业变化、AI能效与企业责任、有效算力的定义、地平线开放赋能的战略与开发者平台分享了其对人工智能时代边缘计算趋势的洞察并深度解读地平线的“AI on Horizon, Journey Together”战略。

2024-06-17 - 原厂动态代理服务技术支持采购服务

地平线推出突破性能天花板的8MP前视感知方案，高效灵活地进行多类AI任务处理并实现实时检测与精准识别

地平线Mono系列是目前唯一实现前装量产的国产单目视觉ADAS方案，累计斩获十余款车型定点，Mono3 也成为全球首个量产级8MP前视感知方案。面向ADAS的规模化落地，地平线坚持定位Tier-2，通过提供征程芯片开放平台，持续以软硬协同。

2022-05-11 - 原厂动态代理服务技术支持采购服务

地平线（Horizon Robotics）是边缘人工智能芯片的全球领导者，可向行业客户提供“芯片+算法IP+工具链”的完整解决方案。作为国内唯一实现车规级人工智能芯片前装量产的企业。世强是地平线官方授权一级代理商，代理地平线旗下人工智能芯片等产品，库存丰富，正品保证。

边缘人工智能芯片效能边缘 AI 芯片丰富算法IP 开放工具链 SOC AI算法

代理服务线上商城技术资料

【应用】地平线AI SoC芯片X3ME00IBGTMB-H用于3D相机，集成四核Cortex A53 CPU

3D相机应用领域越来越广泛，除了常见的3D影片之外，还可以应用于物流自动化、机器人视觉、障碍检测等方面。3D相机是有两个镜头的，分别是用于拍摄场景和测量自身与场景内物体之间的距离。镜头获取信息需要一个强大芯片来处理，本文介绍一款SOC可用于3D相机上。

2022-01-07 - 应用方案代理服务技术支持采购服务

地平线旭日® X5 介绍

地平线公司作为智能驾驶计算方案提供商，专注于深度神经网络芯片研发。其产品征程系列和旭日系列芯片广泛应用于自动驾驶、智能驾驶辅助系统等领域。公司拥有150+车型前装定点，1000万+出货量，200+生态合作伙伴，1200+专利，1500+研发人员。地平线旭日芯片持续迭代，提供高效进化的智能平台，支持多种算法加速需求。旭日5芯片集成了CPU、BPU、GPU、DSP四合一异构加速，满足不同算法加速需求。

地平线 - AI智能芯片,高性能智能计算芯片,AI 边缘计算,家庭陪伴机器人,AIOT,割草机,艾奥特,视频会议,陪伴机器人,机器人设计,扫地机

2024/9/27 - 商品及供应商介绍代理服务技术支持采购服务

【应用】地平线新一代AIoT AI SOC X3ME00IBGTMB-H成功用于AI分析盒子，提供5TOPS的算力

在盒子的主控方面，客户采用的是地平线的新一代AIoT AI SOC 旭日3系列X3ME00IBGTMB-H，这是地平线针对 AIoT 场景，推出的新一代低功耗、高性能的智能芯片，集成了地平线最先进的伯努利2.0 架构引擎( BPU® )，可提供5TOPS的算力。

2023-04-22 - 应用方案代理服务技术支持采购服务

AI加速边缘计算，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等

世强硬创联合地平线，阿普奇，启英泰伦，美格智能，普林芯驰，唯创知音，九芯电子，芯闻，VINKO，MERRY带来AI新产品，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等，加速边缘计算。

2023-06-08 - 活动

四维图新发布基于地平线征程6系列的智驾产品矩阵，加速行业高质量发展

征程 6 系列是地平线在今年 4 月正式推出的全新车载智能计算方案，可覆盖从主动安全到全场景智驾的全阶应用。作为一款系列化的车载智能计算方案，征程 6 拥有统一的硬件架构、统一的工具链以及统一的软件栈，以及配套一致、完整成熟的智能驾驶量产开发平台，将助力四维图新等合作伙伴实现“快人一步”的量产效率，从而赋能车企决胜汽车智能化时代。

2024-11-13 - 应用方案代理服务技术支持采购服务