走向边缘智能,美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型
近日,美格智能发挥软硬件一体协同开发能力,融合阿加犀卓越的AI优化部署技术,在搭载高通QCS8550平台的高算力AI模组上,成功运行了一系列大语言模型,包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展现出卓越的边缘端大模型部署能力。
构建智算底座,加速大模型端侧部署
大模型和生成式AI的浪潮席卷全球,带来人工智能新纪元。大模型诞生之初主要是与云端绑定,而随着应用场景的拓展,AI开始赋能千行百业,大模型也需要在越来越多的终端设备上运行。如果说生成式AI是正在高速向前行驶的列车,那算力就是燃料。终端侧AI的落地应用,离不开硬件和设备算力的升级。
今年,高通推出了AI算力芯片QCS8550,整合了强大的NPU算力和边缘侧AI处理技术、Wi-Fi 7连接技术以及增强型图形和视频处理能力,提供高速、低功耗的AI计算平台,为终端侧AI赋能。
基于高通QCS8550芯片平台,美格智能推出了高算力AI模组SNM970,综合AI算力高达48Tops,并支持混合精度计算,为IoT设备打造全新的智算底座。高算力AI模组是承载端侧AI无限创造空间的最佳形式,为海量碎片化场景提供稳定的通信能力和强大的边缘算力,让终端开发者能够基于标准化的模组完成低成本、短流程的产品设计和制造,降低大模型的开发和使用成本。
另一方面,AI从芯片到应用还需要解决跨平台迁移、异构芯片效率丢失、碎片化的场景需求等挑战。阿加犀具备成熟的AidLux平台和行业领先的开箱即用AI工具链,能够全面提升边缘设备的AI性能和模型执行效率,为AI项目在丰富场景中快速落地提供专业支持,进一步推动AI应用的终端部署。
此次,美格智能高算力AI模组产品团队携手阿加犀,在基于高通骁龙800系列平台的自研高算力AI模组上成功运行一系列大语言模型,成功验证了算力模组作为未来大模型边缘AI算力底座的通用性,对边缘端生成式AI的支持进一步成熟,有望将生成式AI拓展至更多领域。
美格智能提供具备出色能效比、强大的计算能力的算力模组,结合阿加犀独有的AI工具链带来的领先的SoC性能调度能力,二者强强联合发挥出模组的极致性能,让多个参数达70亿的语言大模型,包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,都能在算力模组上保持高效运行。
高算力AI模组,让AI触手可及
美格智能高算力AI模组产品专为终端侧、边缘侧AI应用设计,依靠强大的软硬件一体研发能力,美格智能持续推进高算力AI模组的AI硬件不断升级,至今已经历经多代产品演进,涵盖入门级、中端、旗舰级多层次产品,包括SNM930、SNM950、SNM960、SNM970、SNM972等系列,对应AI算力覆盖14Tops~48Tops。
同时,美格智能研发团队在AI应用场景开发、AI性能优化和AI低功耗程序研发等领域的设计研发能力处于行业领先水平,相关算力产品在各类核心场景大规模应用,让智慧零售、智能机器人、智慧交通、智慧农业、智能制造等各行各业快速于边缘端部署大模型,以AI驱动业务创新。
针对AI边缘计算领域,美格智能基于高算力AI模组SNM972,助力客户打造SoC阵列服务器产品。该模组采用MiniPCIe封装方式,支持16GB LPDDR5X + 256GB UFS 4.0内存,并支持混合精度计算,支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架,可轻松赋能各类AI场景。
方案中每个算力节点采用刀片+阵列式设计,内部实现模块化及热插拔设计,可以实现不停机维护。最高可配置80路算力模组,单颗模组内部支持Android虚拟化,可虚拟出多路计算单元,更好地进行算力配置,为实时互动云计算、边缘AI云计算、云渲染等业务场景提供最佳算力底座。
AI正在改变世界,美格智能始终以市场需求为导向,与合作伙伴紧密合作,围绕高算力AI模组打造更多适配行业的解决方案,拉近大模型和应用之间的距离,把握智慧先机,实现让AI触手可及的目标,赋能数字经济发展。
- |
- +1 赞 0
- 收藏
- 评论 0
本文由玉鹤甘茗转载自美格智能公众号,原文标题为:走向边缘智能,美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型,本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
相关推荐
把握关键节点,美格智能持续推动端侧AI规模化拓展
从开创到引领,美格智能以端侧算力为切入点,行业率先打造高算力AI模组矩阵,凭借优质的产品品质和定制化服务能力受到行业客户的一致好评。
让AI触手可及——2024高通&美格智能边缘智能技术进化日隆重举行,围绕AI领域议题发表精彩洞见
2024年5月9日,高通技术公司携手MEIG美格智能联合举办了主题为“让智能计算无处不在,2024高通&美格智能边缘智能技术进化日”在深圳隆重举行。大会现场,智能物联网行业合作伙伴齐聚一堂,多位行业资深专家围绕AI与通讯、智能计算、边缘大模型等议题发表精彩洞见。
美格智能亮相2024世界移动通信大会,发布5G-A、5G RedCap系列FWA、端侧AI等创新成果
日前,全球瞩目的2024世界移动通信大会(MWC)在西班牙巴塞罗那隆重举办。作为全球领先的无线通信模组及解决方案提供商,美格智能亮相2024世界移动通信大会,发布了5G-A、5G RedCap系列FWA、端侧AI等创新成果,展示了在物联网前沿创新领域的先进技术方案。
AI加速边缘计算,聚焦AIOT芯片,NPU SOC,离线语音MCU,高算力智能模组等
世强硬创联合地平线,阿普奇,启英泰伦,美格智能,普林芯驰,唯创知音,九芯电子,芯闻,VINKO,MERRY带来AI新产品,聚焦AIOT芯片,NPU SOC,离线语音MCU,高算力智能模组等,加速边缘计算。
MEIG(美格)5G+AIoT模组选型指南
目录- 公司简介 模组概览 5G模组系列 4G模组系列 NB-IoT/Cat M模组系列 产品解决方案
型号- SLT866,SLT188A,SLM550,SLM756CH,SLM156,SLM828M,SLM790,SLM759J,SNM951,SRM825L,MT548,SLM820,SLM756LA,SRM930-C,SLM550-AU,SLM828,SLM925-AU,SRM900,SLM900NA,SLM758J,SLM750-Z,SLM900EU,SLM759C,SLM828G,SLM759E,SLM759A,SLM759B,SRM900L-C,MP617,SLT868Q,SRM900-C,SLM130,SLT818A,SRT873,SLM920,SLM500LA,SRT873S,SLM500LC,MC539,SLM920-J,SLM500LE,SLT719,SLM925,SLM500LJ,SLM900LA,SLM920-E,SLM920-C,SLT711,SLM130F,SLT818H,SLM920-A,SLM757,SLM900CH,SLM756,SLM550-C,SLM759,SLM758,SLM550-A,SNM900,SLM755,SLM130X,SLM550-E,SLM550-J,SLM328Y,MA800,SRM810,SLM190,SRM930,SRM811,SLM755L,SRM815,SLM750 MINI PCLE,SLM160X,SLM750,SLM900,MT504,SNM758,SLM925-E,SLM925-J,SRM821,SLM500L,SLT776,SRM825,SLM925-C,SLT778,SLM925-A,SRT856,SRM815N,SLM770A,SLM100,SRM900L,SRT853,SRM815-GL,SRT855,SLM500SC,SLM500SB,SLM500SE,SNM920,SLM730,SLM770U,SLM757QA,SLM757QC,SLM500S,SLM757QE,SLM500Q,SLM920-LA,SNM925,SLM330,SLM332,SLM190X,SRT853C,SLM758B,SLM328,SLM758C,SLM758E,SLM323,SLM756EU,SLM790 MINI PCLE,SNM930,SRM825WN,SLM326,SLM758A,SLM756NA,SLM925-LA,SRM930-E,SRM825W,SLM160,SRM930-J,SRT838S,SLT879,SRM825N,SLM320,SLM322,SRT830,SRT831,SLM500QA,SLM500QC,SLM500QE,SLM770A MINI PCLE,SLM920-AU,SLM500QJ
拥抱未来产业风口,5G+端侧AI助力低空经济“智慧起飞”
美格智能在低空经济相关技术领域已有长足的经验积累,正逐步探索将尖端无线通信技术和AI技术融合至无人机智控领域,能够基于已有SRM810、SRM813Q、SRM817WE等5G、Redcap、5G-A 毫米波通信模组,SNM970、SNM960、SNM950等高算力AI模组,以及相关技术研发经验,为客户打造行业尖端的无人机产品,助力低空产业发展迈向新阶段。
【IC】美格智能发布基于高通QCS8550处理器的48Tops高算力AI模组SNM970,定义未来终端新体验
美格智能高算力AI模组SNM970是行业首批基于高通®QCS8550处理器开发的AI模组产品,并凭借卓越的8核高通®Kryo™ CPU、综合AI算力高达48Tops、支持Wi-Fi 7等特性,满足智能时代对智慧计算能力的需求。
【IC】美格推出综合AI算力高达48Tops的高算力AI模组SNM970,采用4nm高端制程
美格智能则基于高通QCS8550处理器,开发了旗舰级高算力AI模组SNM970,以技术和产品创新加速AI应用的落地生根。该模组芯片采用4nm高端制程,综合AI算力高达48Tops。SNM970模组凭借领先的设计研发能力和强大的AI算力。
腾云而起 |《黑神话:悟空》云游戏上线即爆满,美格智能高算力模组助力天命人云端畅玩
国内首个3A大作的《黑神话:悟空》于8月20日全球上线,掀起全网游玩热潮。美格智能作为行业率先布局高算力AI模组的企业,一直不断推动高算力AI模组在边缘计算及端侧AI上的生态发展。在当下爆火的黑悟空风潮下,美格智能高算力AI模组也成为助力众多“天命人”云端畅玩的关键一环!未来,美格智能将与众多客户和合作伙伴共同推动边缘计算及端侧AI的生态建设!
MeiG-SNM972高算力智能模组支持 PCIe 插槽
描述- SNM972系列智能模组基于高通骁龙800系列旗舰平台开发,采用4nm制程,集成高性能CPU、GPU和ISP,支持PCIe插槽,具备高算力,适用于多种场景。
型号- SNM972,SNM972 系列
美格智能推出基于ARM架构的SoC阵列式服务器,最高可配置80路高算力AI模组可以构建大规模智能算力矩阵
美格智能团队已经与行业领先的SoC阵列式服务器客户密切协作,陆续打造出了针对SoC阵列式服务器场景,基于高通骁龙865/SM8475/QCS8550三代SoC芯片的深度定制的算力模组,同时做到封装兼容,更好助力客户产品的算力提升和产品迭代,为相关产品后续在AIGC领域的应用推广,以及向传统服务器市场的渗透,提供更好助力。
美格智能5G-A模组的CPE解决方案和5G-A毫米波MiFi解决方案亮相法国巴黎凡尔赛门展览中心
NETWORK X 2024第23届欧洲宽带5G通信云服务世界论坛&展于2024年10月8日至10日在法国巴黎凡尔赛门展览中心举行。美格智能作为全球领先的无线通信模组及解决方案提供商,本次携最新5G-A、毫米波、5GRedCap、4G/5G智能模组、高算力AI模组等众多产品及解决方案亮相,其中搭载美格智能5G-A模组的CPE解决方案和5G-A毫米波MiFi解决方案格外吸引眼球。
美格智能在行业内最早推出高算力AI模组产品,以嵌入式的智能计算能力支撑大模型的落地应用
作为全球领先的无线通信模组及解决方案提供商,美格智能在行业内最早推出高算力AI模组产品,通过整合CPU\GPU\NPU的异构算力和端侧AI处理技术,以嵌入式的智能计算能力支撑大模型的落地应用,在边缘计算、工业视觉、消费类IoT、机器人等领域都有良好的发展潜力。
一张图了解美格智能高算力AI模组!算力持续突破性升级,引领终端侧AI技术创新
MEIG高算力AI模组具有算力提升,最高48Tops AI算力,低功耗,先进功耗控制技术,硬软件进一步优化降低内存带宽消耗,标准化AI套件支持混合精度计算,持续AI推理高效提升,多媒体性能连接能力出众,丰富外围接口,创造智能化交互体验,广泛用于边缘智算盒,无人机,智算服务器,工控机,机器人,智慧工业,VR/AR,AI视频会议等场景。
从Apple Intelligence到IoT Intelligence,端侧生成式AI时代加速到来
从苹果的选择来看,随着端侧算力的不断增长和大模型技术的持续演进,终端侧AI与混合式AI或许将成为大模型时代的最终选择。美格智能也将持续不断推出高算力模组和智能模组解决方案,以模组+解决方案双轮驱动,支持更广泛的垂直领域和合作伙伴共同引领生态发展,以先进的无线通信和AI技术加快实现万物智联的美好愿景。
电子商城
服务
可支持TI AM335x/AM5718 和NXP iMX6/iMX8芯片定制核心板和计算单板;支持NXP iMX6核心模组X / F / H系列、TI AM335x核心模组X / N / H系列,与兼容的底板组合定制单板计算机。
最小起订量: 1pcs 提交需求>
可定制显示屏的尺寸0.96”~15.6”,分辨率80*160~3840*2160,TN/IPS视角,支持RGB、MCU、SPI、MIPI、LVDS、HDMI接口,配套定制玻璃、背光、FPCA/PCBA。
最小起订量: 1000 提交需求>
登录 | 立即注册
提交评论