走向边缘智能，美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型

时间： 2023-11-17 来源：美格智能公众号

技术问答

近日，美格智能发挥软硬件一体协同开发能力，融合阿加犀卓越的AI优化部署技术，在搭载高通QCS8550平台的高算力AI模组上，成功运行了一系列大语言模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，展现出卓越的边缘端大模型部署能力。

构建智算底座，加速大模型端侧部署

大模型和生成式AI的浪潮席卷全球，带来人工智能新纪元。大模型诞生之初主要是与云端绑定，而随着应用场景的拓展，AI开始赋能千行百业，大模型也需要在越来越多的终端设备上运行。如果说生成式AI是正在高速向前行驶的列车，那算力就是燃料。终端侧AI的落地应用，离不开硬件和设备算力的升级。

今年，高通推出了AI算力芯片QCS8550，整合了强大的NPU算力和边缘侧AI处理技术、Wi-Fi 7连接技术以及增强型图形和视频处理能力，提供高速、低功耗的AI计算平台，为终端侧AI赋能。

基于高通QCS8550芯片平台，美格智能推出了高算力AI模组SNM970，综合AI算力高达48Tops，并支持混合精度计算，为IoT设备打造全新的智算底座。高算力AI模组是承载端侧AI无限创造空间的最佳形式，为海量碎片化场景提供稳定的通信能力和强大的边缘算力，让终端开发者能够基于标准化的模组完成低成本、短流程的产品设计和制造，降低大模型的开发和使用成本。

另一方面，AI从芯片到应用还需要解决跨平台迁移、异构芯片效率丢失、碎片化的场景需求等挑战。阿加犀具备成熟的AidLux平台和行业领先的开箱即用AI工具链，能够全面提升边缘设备的AI性能和模型执行效率，为AI项目在丰富场景中快速落地提供专业支持，进一步推动AI应用的终端部署。

此次，美格智能高算力AI模组产品团队携手阿加犀，在基于高通骁龙800系列平台的自研高算力AI模组上成功运行一系列大语言模型，成功验证了算力模组作为未来大模型边缘AI算力底座的通用性，对边缘端生成式AI的支持进一步成熟，有望将生成式AI拓展至更多领域。

美格智能提供具备出色能效比、强大的计算能力的算力模组，结合阿加犀独有的AI工具链带来的领先的SoC性能调度能力，二者强强联合发挥出模组的极致性能，让多个参数达70亿的语言大模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，都能在算力模组上保持高效运行。

高算力AI模组，让AI触手可及

美格智能高算力AI模组产品专为终端侧、边缘侧AI应用设计，依靠强大的软硬件一体研发能力，美格智能持续推进高算力AI模组的AI硬件不断升级，至今已经历经多代产品演进，涵盖入门级、中端、旗舰级多层次产品，包括SNM930、SNM950、SNM960、SNM970、SNM972等系列，对应AI算力覆盖14Tops~48Tops。

同时，美格智能研发团队在AI应用场景开发、AI性能优化和AI低功耗程序研发等领域的设计研发能力处于行业领先水平，相关算力产品在各类核心场景大规模应用，让智慧零售、智能机器人、智慧交通、智慧农业、智能制造等各行各业快速于边缘端部署大模型，以AI驱动业务创新。

针对AI边缘计算领域，美格智能基于高算力AI模组SNM972，助力客户打造SoC阵列服务器产品。该模组采用MiniPCIe封装方式，支持16GB LPDDR5X + 256GB UFS 4.0内存，并支持混合精度计算，支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架，可轻松赋能各类AI场景。

方案中每个算力节点采用刀片+阵列式设计，内部实现模块化及热插拔设计，可以实现不停机维护。最高可配置80路算力模组，单颗模组内部支持Android虚拟化，可虚拟出多路计算单元，更好地进行算力配置，为实时互动云计算、边缘AI云计算、云渲染等业务场景提供最佳算力底座。

AI正在改变世界，美格智能始终以市场需求为导向，与合作伙伴紧密合作，围绕高算力AI模组打造更多适配行业的解决方案，拉近大模型和应用之间的距离，把握智慧先机，实现让AI触手可及的目标，赋能数字经济发展。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由玉鹤甘茗转载自美格智能公众号，原文标题为:走向边缘智能，美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

从Apple Intelligence到IoT Intelligence，端侧生成式AI时代加速到来

从苹果的选择来看，随着端侧算力的不断增长和大模型技术的持续演进，终端侧AI与混合式AI或许将成为大模型时代的最终选择。美格智能也将持续不断推出高算力模组和智能模组解决方案，以模组+解决方案双轮驱动，支持更广泛的垂直领域和合作伙伴共同引领生态发展，以先进的无线通信和AI技术加快实现万物智联的美好愿景。

原厂动态发布时间 : 2024-10-21

美格智能推出基于ARM架构的SoC阵列式服务器，最高可配置80路高算力AI模组可以构建大规模智能算力矩阵

美格智能团队已经与行业领先的SoC阵列式服务器客户密切协作，陆续打造出了针对SoC阵列式服务器场景，基于高通骁龙865/SM8475/QCS8550三代SoC芯片的深度定制的算力模组，同时做到封装兼容，更好助力客户产品的算力提升和产品迭代，为相关产品后续在AIGC领域的应用推广，以及向传统服务器市场的渗透，提供更好助力。

原厂动态发布时间 : 2023-07-29

让AI触手可及——2024高通＆美格智能边缘智能技术进化日隆重举行，围绕AI领域议题发表精彩洞见

2024年5月9日，高通技术公司携手MEIG美格智能联合举办了主题为“让智能计算无处不在，2024高通＆美格智能边缘智能技术进化日”在深圳隆重举行。大会现场，智能物联网行业合作伙伴齐聚一堂，多位行业资深专家围绕AI与通讯、智能计算、边缘大模型等议题发表精彩洞见。

原厂动态发布时间 : 2024-05-16

AI加速边缘计算，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等

世强硬创联合地平线，阿普奇，启英泰伦，美格智能，普林芯驰，唯创知音，九芯电子，芯闻，VINKO，MERRY带来AI新产品，聚焦AIOT芯片，NPU SOC，离线语音MCU，高算力智能模组等，加速边缘计算。

活动发布时间 : 2023-06-08

MEIG（美格）5G+AIoT模组选型指南

目录- 公司简介模组概览 5G模组系列 4G模组系列 NB-IoT/Cat M模组系列产品解决方案

型号- SLT866,SLT188A,SLM550,SLM756CH,SLM156,SLM828M,SLM790,SLM759J,SNM951,SRM825L,MT548,SLM820,SLM756LA,SRM930-C,SLM550-AU,SLM828,SLM925-AU,SRM900,SLM900NA,SLM758J,SLM750-Z,SLM900EU,SLM759C,SLM828G,SLM759E,SLM759A,SLM759B,SRM900L-C,MP617,SLT868Q,SRM900-C,SLM130,SLT818A,SRT873,SLM920,SLM500LA,SRT873S,SLM500LC,MC539,SLM920-J,SLM500LE,SLT719,SLM925,SLM500LJ,SLM900LA,SLM920-E,SLM920-C,SLT711,SLM130F,SLT818H,SLM920-A,SLM757,SLM900CH,SLM756,SLM550-C,SLM759,SLM758,SLM550-A,SNM900,SLM755,SLM130X,SLM550-E,SLM550-J,SLM328Y,MA800,SRM810,SLM190,SRM930,SRM811,SLM755L,SRM815,SLM750 MINI PCLE,SLM160X,SLM750,SLM900,MT504,SNM758,SLM925-E,SLM925-J,SRM821,SLM500L,SLT776,SRM825,SLM925-C,SLT778,SLM925-A,SRT856,SRM815N,SLM770A,SLM100,SRM900L,SRT853,SRM815-GL,SRT855,SLM500SC,SLM500SB,SLM500SE,SNM920,SLM730,SLM770U,SLM757QA,SLM757QC,SLM500S,SLM757QE,SLM500Q,SLM920-LA,SNM925,SLM330,SLM332,SLM190X,SRT853C,SLM758B,SLM328,SLM758C,SLM758E,SLM323,SLM756EU,SLM790 MINI PCLE,SNM930,SRM825WN,SLM326,SLM758A,SLM756NA,SLM925-LA,SRM930-E,SRM825W,SLM160,SRM930-J,SRT838S,SLT879,SRM825N,SLM320,SLM322,SRT830,SRT831,SLM500QA,SLM500QC,SLM500QE,SLM770A MINI PCLE,SLM920-AU,SLM500QJ

选型指南 - MEIG - 2022/9/7 PDF 中文下载

美格智能5G-A模组的CPE解决方案和5G-A毫米波MiFi解决方案亮相法国巴黎凡尔赛门展览中心

NETWORK X 2024第23届欧洲宽带5G通信云服务世界论坛＆展于2024年10月8日至10日在法国巴黎凡尔赛门展览中心举行。美格智能作为全球领先的无线通信模组及解决方案提供商，本次携最新5G-A、毫米波、5GRedCap、4G/5G智能模组、高算力AI模组等众多产品及解决方案亮相，其中搭载美格智能5G-A模组的CPE解决方案和5G-A毫米波MiFi解决方案格外吸引眼球。

产品发布时间 : 2024-10-31

MEIG无线通信模组选型表

MEIG提供4G LTE数传模组/MiniPCIe封装模组/LTE Cat NB1 LCC封装模组/M2M通信模组/智能模组/5G智能模组/高算力AI模组/物联网无线通信模组选型：分集接收：支持/不支持/支持/选配，多种封装：LCC 封装（80pin+LGA 64pin）/LCC+LGA 272PIN/160pinLCC + 112pin LGA/LCC+LGA 238PIN等，多种尺寸：32.0×29.0×2.4mm/51.0×30.0×5.5mm/32.0×29.0×2.8mm/17.6×15.9×2.3mm/42.0×30.0×2.3mm等。

LTE-FDD: B1/B3/B5/B8/(B28) LTE-TDD: B38/B39/B40/B41 WCDMA: B1/B8 TD-SCDMA: B34/B39 CDMA&EVDO: BC0 GSM: 900/1800

支持

支持/选配

LCC 封装（80pin+LGA 64pin）

32.0×29.0×2.4mm

CCC/SRRC/CTA/CE/FCC/ROHS

GSM850/900 33±2dBm,GSM1800/1900 30±2dBm,CDMA/EVDO 23~30dBm,WCDMA/HSPA 23+1/-3dBm,TD-SCDMA 23+1/-3dBm,LTE-TDD 23±2.7dBm,LTE-FDD 23±2.7dBm

TCP/UDP/HTTP(S*)/SSL*/FTP/PPP/PING/DTMF/ QMI(*正在开发中)

Windows XP, Windows Vista,Windows 7, Windows 8, Windows 8.1,Windows 10, Linux, Android

一键式升级工具，Gobinet 拨号工具

选型表 - MEIG 立即选型

【IC】美格智能发布基于高通QCS8550处理器的48Tops高算力AI模组SNM970，定义未来终端新体验

美格智能高算力AI模组SNM970是行业首批基于高通®QCS8550处理器开发的AI模组产品，并凭借卓越的8核高通®Kryo™ CPU、综合AI算力高达48Tops、支持Wi-Fi 7等特性，满足智能时代对智慧计算能力的需求。

新产品发布时间 : 2023-05-07

【IC】美格推出综合AI算力高达48Tops的高算力AI模组SNM970，采用4nm高端制程

美格智能则基于高通QCS8550处理器，开发了旗舰级高算力AI模组SNM970，以技术和产品创新加速AI应用的落地生根。该模组芯片采用4nm高端制程，综合AI算力高达48Tops。SNM970模组凭借领先的设计研发能力和强大的AI算力。

新产品发布时间 : 2023-07-24

【IC】智能敢为先 | 高算力AI模组成为行业焦点，美格智能树立端侧AI风向标

2014年，美格智能研发设计第一款智能模组，随后不断结合行业需求为模组增加AI算力、系统等软硬件能力定义模组行业的三大分类，即:数传模组、智能模组高算力AI模组，成功实现从2G-5G传输能力和0.2TOpS-48Tops的阶梯算力覆盖，累计推出模组产品超100款预计下一代模组AI算力将突破100TOPS。

产品发布时间 : 2024-10-15

腾云而起 |《黑神话：悟空》云游戏上线即爆满，美格智能高算力模组助力天命人云端畅玩

国内首个3A大作的《黑神话：悟空》于8月20日全球上线，掀起全网游玩热潮。美格智能作为行业率先布局高算力AI模组的企业，一直不断推动高算力AI模组在边缘计算及端侧AI上的生态发展。在当下爆火的黑悟空风潮下，美格智能高算力AI模组也成为助力众多“天命人”云端畅玩的关键一环！未来，美格智能将与众多客户和合作伙伴共同推动边缘计算及端侧AI的生态建设！

产品发布时间 : 2024-09-11

美格携最新5G/4G AIoT模组与物联网行业解决方案亮相IOTE 2024第二十二届国际物联网展

IOTE 2024第二十二届国际物联网展·深圳站于2024年8月28日—30日在深圳国际会展中心（宝安）开展，美格智能携最新的5G/4G AIoT模组与物联网行业解决方案精彩亮相，持续为客户带来通信技术、AI智能方面的创新产品和创新技术解决方案，现场人头攒动，展位吸引众多观众驻足交流。

原厂动态发布时间 : 2024-08-31

美格智能亮相2024世界移动通信大会，发布5G-A、5G RedCap系列FWA、端侧AI等创新成果

日前，全球瞩目的2024世界移动通信大会（MWC）在西班牙巴塞罗那隆重举办。作为全球领先的无线通信模组及解决方案提供商，美格智能亮相2024世界移动通信大会，发布了5G-A、5G RedCap系列FWA、端侧AI等创新成果，展示了在物联网前沿创新领域的先进技术方案。

原厂动态发布时间 : 2024-03-06

美格智能在行业内最早推出高算力AI模组产品，以嵌入式的智能计算能力支撑大模型的落地应用

作为全球领先的无线通信模组及解决方案提供商，美格智能在行业内最早推出高算力AI模组产品，通过整合CPU＼GPU＼NPU的异构算力和端侧AI处理技术，以嵌入式的智能计算能力支撑大模型的落地应用，在边缘计算、工业视觉、消费类IoT、机器人等领域都有良好的发展潜力。

原厂动态发布时间 : 2024-03-18

AI看奥运 | 从巴黎奥运会看人工智能的应用和发展，美格智能高算力AI模组为端侧AI提供通用智算底座

2024巴黎奥运会火热空前，从开幕式到金牌争夺战，本届奥运会的关注热度持续攀升。与往届不同的是低延时、高算力的AI技术以亮眼表现出现在大众的视野，为AI技术的广泛应用和创新发展奠定了坚实的基础。美格智能持续投入高算力产品及AI技术在各行各业的应用落地，在业内率先推出了高算力AI模组、SoC阵列服务器解决方案等各类算力产品及解决方案。

应用方案发布时间 : 2024-08-14