最近，Sandisk与SK海力士签订了MoU，共同开发用于AI应用的新型存储器HBF，该存储器采用了SSD中最常见的NAND技术。
HBM目前用于AI加速器内的GPU，特别是包含许多垂直堆叠的薄DRAM芯片。除了GPU本身，HBM是AI训练和推理的核心部分。它的高数据带宽确保了GPU随时可以获得用于计算的数据。
HBM比通常可用的DDR内存贵一个数量级，但它真正的缺点是容量。例如，英伟达的Blackwell GPU有8个24GB的HBM3e芯片堆栈（每个包含8个3GB容量的DRAM芯片垂直堆叠），总共有192GB的内存。随着模型的爆炸式增长，上下文长度的增加以及AI视频生成的发展，我们需要更多的内存。但DRAM内存密度的缩放基本上已经结束。
基于NAND的HBF有望成为另一种选择；不仅作为存储，而且作为一个新的内存层。NAND闪存是一种更密集的存储技术，在相同的内存占用空间下，可以提供比HBM多8-16倍的内存。然而，它也不是没有缺点。HBF尚未投入生产，但Sandisk的第一批样品预计将于2026年下半年上市，第一批推理结果可能在2027年出炉。
在这篇文章中，我们将讨论HBF可能是什么样子，它的主要优缺点和潜在的用例。
为什么DRAM和HBM适用于AI应用
DRAM由一个晶体管和电容器（称为1T1C单元）组成，它们连接在芯片上的一个大阵列中。存储在电容器中的电荷表示电池的位值。由于堆叠电容器的物理结构，除非在几毫秒内刷新，否则电荷最终会泄漏-因此称为DRAM。
DRAM最大的缺点是容量。DRAM密度停止增长的主要原因是难以使1T1C电池更小。然而，DRAM有三大优势，使其成为绝对必要的：
带宽：可用的数据速率非常快。例如，GDDR7使用DRAM，每个引脚提供32 Gbps的带宽。
延迟：DRAM提供纳秒级的延迟，这对AI应用非常有用。由于单独访问数组中的每一行和每一列，也可以以最小的延迟从DRAM中读取几个位。
“无限”耐力：它非常适合读写，而不需要考虑耐力，考虑到AI工作负载中有多少数据需要跨越内存，这一点很重要。
因此，堆叠DRAM芯片来创建HBM是保留DRAM所有优点并简单地增加容量的合理方法。堆叠是一个复杂的制造过程，随着堆叠高度的增加，良品率下降，使得HBM非常昂贵。
NAND和HBF有何不同
NAND闪存的单元是一个带有“浮栅”的单晶体管，可以捕获或释放电子。电子的存在或不存在会改变晶体管的阈值电压（使其“打开”的电压），然后可以读出该电压。从某种意义上说，晶体管本身储存电荷，不需要特殊的电容器。这些浮栅晶体管可以紧密地封装在一起，以实现高存储密度。
这样的晶体管中还可以存储不止一个比特，这意味着每个晶体管总体上可以存储更多的数据。一个多级单元（MLC）保存两个比特，可以作为四个不同的阈值电压位移读出。三层（TLC），四层（QLC）或五层（PLC）单元也存在更高的存储密度。然后将这些存储单元链接在一起以创建NAND逻辑功能。
由于没有笨重的电容器存在，许多层的NAND电池可以通过沉积氮化硅和氧化硅的交替层来堆叠在一起。SK海力士最近推出了用于SSD的321层QLC NAND闪存，该芯片的存储容量为2TB。当多个多层NAND芯片像HBM一样堆叠在一起，并通过TSV和微凸点连接时，我们就得到了HBF。
用TSV堆叠NAND存储器
你可能会问：如果NAND内存已经堆叠到321层，为什么我们要使用TSV和微凸点再次堆叠呢？
答案在于并行性。就像在HBM中一样，我们需要通过多个引脚同时访问存储在HBF中的数据——在HBM4中多达2,048个引脚。即使每个引脚的数据速率很慢，并行访问也会增加总数据吞吐量。
为了在HBF中工作，单元阵列需要分解成多个I/O通道，如下图所示。
由于与DRAM相比，NAND提供了非凡的数据容量，因此在创建HBF时，不需要像HBM那样堆叠12或16个芯片。如果每层是256GB，你可以通过堆叠4个芯片获得1TB的存储空间。
NAND的局限性
NAND存储器的工作方式有严重的限制。所有位的默认状态都是“1”，通过施加电压迫使电子进入栅极，将其设置为“0”。重要的是，一组单元格链接在一起形成一个页面，通常大小为几KB。多个页面组成一个块（>100 KB）。读和写发生在页级，但擦除只发生在块级。这种操作模式限制了NAND闪存的性能。
延迟：数据访问时间在微秒范围内（比DRAM长1000倍），取决于从内存中读取的数据大小。Flash通常在读取大数据块时速度更快，但在读取小数据块时速度会变慢。重写数据需要擦除和重写整个块，这会减慢速度。
耐久性：电子通过量子机械隧道穿透栅极氧化物，被迫进出浮栅。重复的写入操作会造成氧化材料的磨损，并最终导致故障。相比之下，DRAM具有“无限”寿命。返回搜狐，查看更多