新型FRAM可用于AI硬件加速器的新型高速缓存

时间： 2024-09-20 来源：舜铭存储公众号

技术问答

选型帮助

研发客服

商务客服

人工智能（AI）应用中，新型存储器相关的研究正在不断深入，在AI加速器等方向有很多顶尖研究团队。最近美国佐治亚理工大学的Shimeng Yu教授团队在2024年1月的顶级期刊-自然-自然综述杂志上面，介绍了用于人工智能硬件加速器的新兴高速存储器的最新进展。其中对于铁电存储器技术在该方面的应用也进行了重点的讨论。以下为舜铭存储总结的文中重点内容：

人工智能（AI）应用需要能够高效处理数据密集型和计算密集型AI工作负载的AI硬件加速器（架构如图一所示）。AI加速器需要两类存储器：权重存储器及缓冲存储器。权重存储器用来存储人工智能模型参数，而缓冲存储器用来存储计算部分人工智能模型时存储中间输入或输出的数据。除了传统的静态随机存取存储器（SRAM），以下候选器件都可以用在这个领域：基于无电容增益单元的嵌入式动态随机存取存储器（eDRAM）、铁电存储器（FRAM）、自旋转移力矩磁性随机存取存储器（STT-MRAM）和自旋轨道力矩磁性随机存取存储器（SOT-MRAM）。

人工智能（AI）硬件（例如张量处理单元（TPU））中的全局缓冲器传统上以静态随机存取存储器（SRAM）为基础，这种存储器的硅基底面昂贵，待机漏电功率高。具有高速度和高耐用性的新兴存储器可以取代SRAM作为全局缓冲器。无电容双晶体管（2T）增益单元是嵌入式动态随机存取存储器（DRAM）的一种实现方式，它使用非晶氧化物半导体作为通道材料，允许较长的数据保留时间。铁电存储器等新型存储器可以通过技术创新来提高其循环耐久性，使其成为可行的全局缓冲器候选器件。三维集成将新兴存储器及其存取晶体管全部堆叠在生产线后端（BEOL），为高密度全局缓冲器解决方案铺平了道路，其密度甚至超过前沿节点SRAM。

对于云中的人工智能硬件而言，前沿节点SRAM仍然是一种具有竞争力的高性能技术，而新兴存储器则在边缘人工智能硬件中表现出更多优势，因为在边缘人工智能硬件中，待机漏电功率最小化至关重要。

图1. 张量处理中使用的数字MAC引擎的架构及可取代SRAM的新型存储技术

图1显示了类TPU架构中使用的数字MAC引擎的通用架构。在层次结构的每一级，中间数据（即DNN的输入或输出特征图）都暂时存储在缓冲存储器中。在层次结构的顶层，有一个容量为1-100MB的全局缓冲区，在传统设计中，该缓冲区由静态随机存取存储器（SRAM）缓存实现。SRAM凭借其快速访问（小于几纳秒）、无限擦写次数（大于10¹⁶个周期）以及与前沿节点逻辑工艺（如今的3纳米节点及更高节点）的卓越可扩展性，被广泛用作CPU或GPU的主流片上缓冲存储器。然而，SRAM是一种昂贵的技术（硅基底面的集成密度相对较低，每平方毫米只有几十兆位），而且待机漏电功率很高（每比特几十到几百皮瓦）。因此，为全局缓冲区探索其他高速存储器候选方案很有意义。虽然在寄存器文件（RF）等需要亚纳秒级访问的低级缓冲区中，竞争技术要取代SRAM技术具有挑战性，但在速度普遍较慢的全局缓冲区中，新型存储器技术（如铁电存储器等）的机会却很广阔。

选择缓冲存储器的标准是写入和读取访问速度（<10ns）和循环耐久性（>10¹²个循环）。读取访问速度是指读取内存存储状态的时间，写入访问速度是指将内存写入所需状态的时间。访问速度标准是根据末级高速缓存SRAM速度（约10ns）假定的。循环耐久性定义为每个存储单元在变得不可靠之前允许的写入次数。假设有150个训练历时，在50,000个CIFAR-10训练图像中，每个存储单元的写操作总数为3.75×10⁷；在100万个ImageNet训练图像中，每个存储单元的写操作总数为7.5×10⁸。CIFAR-10和ImageNet数据集是常用于训练图像识别机器学习模型的图像集合。考虑到16颗TPUv2芯片可在2小时左右完成一次训练（因此一颗TPUv2芯片训练一次所需的时间略少于32小时，即10年内可训练2,737.5次），一颗TPU芯片可在10年内不间断地在ImageNet上训练数千次。因此，我们建议设备的耐用性标准（>10¹²次循环）应支持在设备生命周期内至少进行数千次训练。即使在云TPU中，从头开始训练具有挑战性的任务（例如ImageNet）也不是每天都进行的，因此这一耐用性标准足以在大多数情况下维持训练强度。在这种情况下，现有工业平台上的一些新兴存储器，如相变存储器（PCRAM）和电阻式随机存取存储器（RRAM），由于速度慢（约100ns）、循环耐久性低（10⁶-10⁹个循环）和能耗大（写入时>1pJ/bit），并不符合这些标准。

关于FeRAM（铁电存储器）和FEFET（铁电场效应管）

铁电存储器的进展得益于2011年在掺杂氧化铪（HfO2）薄膜（<10nm厚度）中的铁电性，这与目前使用原子层沉积的半导体制造技术兼容。铁电存储器利用铁电材料的极化性来实现记忆状态。在铁电存储器（FeRAM）中，金属-铁电-金属（MFM）电容器连接到接入晶体管的漏极（图2c）。在铁电场效应晶体管中，铁电层取代了传统晶体管的栅极电介质（图2b）。

最先进的FeRAM得益于先进的材料和设备工程技术，实现了~10¹²循环的高循环耐久性。另外，FeRAM的双模式操作可以大幅减少缓冲存储器操作期间破坏性读出的频率。在双模工作期间，频繁更新的数据以易失性类似于eDRAM（嵌入式DRAM）模式存储，而寿命较长的数据则以非易失性FeRAM模式存储。由于在类eDRAM模式下不需要回写以恢复原始极化状态，因此利用双模操作可以降低FeRAM缓冲存储器对于读写循环次数的需求。

索尼公司报告了130nm节点64kbitFeRAMmacro的开发情况，其中包括低于500°C的TiN/HfZrOx（HZO）/TiN堆栈MFM电容器。法国CEA-Leti报告了基于HZO和掺硅HfO2堆栈的130nm节点的类似FeRAM宏。台湾工研院最近的工作重点是提高FeRAM的可靠性，并建议在铁电电容器的电极中使用TiON作为阻挡金属，以减轻电容器的疲劳。此外，还发现金属后退火可进一步抑制疲劳。报告的4kb1T1CFeRAMmacro显示了高良率（>98%）和无唤醒特性，耐久性超过10¹²次循环。中科院的研究人员展示了基于HZO的9Mb非易失性FeRAMmacro，并介绍了旨在提高芯片性能以实现量产的电路设计。（作者注：舜铭存储已经使用HfOx材料在180nm和110nm节点上面实现量产，为全球首家实现量产的新型铁电厂商，其推出的32Kb-2Mb的铁电存储器产品及IPmacro由于其出色的性价比和可靠性，在消费，工控，耗材，电力等领域得到商业化认证。）

开发AI硬件加速器的新型缓冲存储器，可能会对许多云和边缘人工智能应用产生突破性影响。如果要取代人工智能硬件中基于SRAM的全局缓冲器，对新兴存储器的要求是具有快速存取速度（<10ns）和高耐用性（>10¹²周期），并应在BEOL上制造或利用逻辑技术按比例缩小。铁电（FeFET和FeRAM）和磁性（STT-MRAM和SOT-MRAM）存储器的持续工业投资为其广泛应用创造了机会。这些存储器件适用于处于边缘的人工智能硬件，待机场景可从低漏电功耗中获益。它们的写入能量如果可以得到进一步降低，将在云中的人工智能硬件中更具竞争力。

参考链接

https://www.nature.com/articles/s44287-023-00002-9

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由拾一转载自舜铭存储公众号，原文标题为:【舜铭科普】新型FRAM可用于AI硬件加速器的新型高速缓存，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

【技术】解析OTP语音芯片存储器中的两种主要类型：FLASH和RAM

随着科技的不断发展，语音芯片在各个领域得到了广泛的应用。在语音芯片中，存储器的选择对芯片的性能和功能起着至关重要的作用。在本文中，九芯电子将重点讨论OTP语音芯片存储器中的两种主要类型：FLASH和RAM，它们之间的异同点。

技术探讨发布时间 : 2023-09-07

语音芯片内置Flash存储器和外挂Flash存储器的区别及应用优势

语音芯片在智能家居、玩具、机器人等领域的应用越来越广泛，其中存储器是语音芯片中不可或缺的一部分。根据存储器的位置，语音芯片可以分为内置Flash存储器和外挂Flash存储器两种。本文将详细介绍这两种存储器的区别及应用优势。

技术探讨发布时间 : 2024-02-09

【技术】Alliance SRAM产品的基础知识和结构简介

SRAM代表着静态随机存取存储器，是许多硬件系统核心中的关键组成部分。Alliance的该应用笔记旨在为读者介绍SRAM的基础知识和结构。

技术探讨发布时间 : 2021-11-20

无锡舜铭存储科技有限公司是一家有着领先新型存储技术的片设计企业，在美国湾区设有设计中心，上海设有材料研发中心。公司以技术为先导，发明专利申请80多项，实用新型4件，获得授权31项。

铁电存储器良品晶圆(KGD)

授权代理商 - 深圳市世强元件网络有限公司线上商城技术资料

展开

【IC】舜铭存储率先推出110nm新型铁电存储器工艺技术，面积缩小约40~60%，性能大幅度提升

舜铭存储联合国内有着领先半导体特色工艺的供应商积塔半导体合作开发，于2023年12月成功推出国内首款110纳米技术的新型铁电存储器产品。与现有技术相比，新产品面积缩小约40%~60%，性能大幅度提升。

产品发布时间 : 2024-02-01

荣誉！舜铭存储上榜GEI中国大数据潜在独角兽企业榜单2024

荣誉！舜铭存储上榜GEI中国大数据潜在独角兽企业榜单2024。当前，国家高度重视数实融合，新技术推动传统产业的数字化进程正在加快，作为国产新型存储(FRAM)的半导体供应商，舜铭存储对于此次入选《中国大数据潜在独角兽企业榜单》觉得十分荣幸。我们将带着这份荣誉继续努力，不断持续创新，成为大数据产业生态的重要力量。

厂牌及品类发布时间 : 2024-09-04

铁电存储器供应商舜铭存储授权世强硬创，深耕工业控制/电力仪表领域

舜铭存储实现了第一颗国产铁电存储器的量产，也是全球唯一的新型铁电存储器产品的供应商。

签约新闻发布时间 : 2023-08-10

【产品】舜铭新型FRAM采用High-K材料，实现3D架构，具备低功耗及更优读写性能优势

铁电随机存取存储器利用铁电晶体的铁电效应实现数据存储，使其铁电存储产品同时拥有随机存储器和非易失性存储器的两大功能特性。舜铭存储的新型铁电存储器可以在大多数应用场景中取代中小容量的传统存储器，在提供更优的读写性能以及更低功耗的同时，提供更高的性价比。

产品发布时间 : 2023-09-09

无锡高新区领导一行莅临舜铭存储调研指导

8月10日，无锡高新区党工委书记、新吴区委书记崔荣国及区领导顾国栋一行调研无锡舜铭存储科技有限公司，深入了解企业现状，询问发展需求，协调解决难题，并宣讲党的二十届三中全会精神。舜铭存储将秉持初心，借助人工智能和万物互联的大势，将新型铁电存储器发展成为全球的主流存储器！

厂牌及品类发布时间 : 2024-08-27

【视频】从工控、储能、车载TBOX等市场介绍舜铭存储的FRAM产品及应用

型号- SF25C128,SF25C20

商品及供应商介绍 - 舜铭存储 PDF 中文下载

公司及新型存储器产品介绍

商品及供应商介绍 - 舜铭存储 - Ver.230412 - 230412 PDF 中文下载

【元件】FORESEE XP2300 PCIe SSD：引领AI PC存储革新的旗舰级解决方案

FORESEE XP2300 PCIe SSD搭载236层3D TLC闪存颗粒，采用了新一代PCIe 4.0 SSD控制器，容量覆盖256GB~4TB，顺序读写速度最高可达7400MB/s / 6700MB/s；随机读写速度最高可达1070K / 1130K IOPS。产品集成了HMB主机内存缓冲器、IDA初始数据加速、FBA空闲块数据加速等自研技术，专为AI PC、超薄笔记本、电竞主机等设计。

产品发布时间 : 2024-08-16