AI内存瓶颈（下）：DRAM与HBM

上一篇文章《AI内存瓶颈（上）：3D NAND路线图》中我们对数据存储进行了梳理，并重点介绍了ROM中的3D NAND技术原理与市场情况。存储芯片市场中，基于闪存Flash技术的NAND是主要外部存储器，而DRAM是主要的内部存储器，二者共同占据整个半导体存储市场超过97%的份额，也在各自的领域扮演着相当重要的角色。上一篇我们梳理了NAND，本篇接着梳理内存芯片DRAM。

在AI推动的算力需求爆发中，GPU无疑是算力体系中最核心、受到关注最多、销量增长最快的细分赛道。不过想要使GPU能高效地工作，电脑/服务器整体的效率也要提上来，这其中最重要的配套产品恐怕就是内存了，而HBM技术由于其高带宽、低功耗、大容量的特点便成为了GPU的好兄弟。本篇首先介绍DRAM内存芯片的主要分类和原理，然后梳理DRAM产品尤其是HBM的迭代过程和发展趋势，再介绍产业链和市场情况，最后总结国内相关企业。

DRAM原理+分类

RAM是半导体存储器中的易失性存储器，需要电源来维持存储的信息，由于它可以直接访问任意存储单元而也被叫为随机访问（Random Access Memory）。RAM又分为SRAM和DRAM，前者用于CPU缓存，后者则用于内存，都属于计算机内部存储器（或是主存储器），与固态硬盘SSD、U盘等外部非易失性存储器相对。SRAM和DRAM容量远低于SSD，但访问速度极快。

SRAM（静态随机存取）使用双稳态的触发器来存储每个位，通常由6个晶体管组成，只要电源不断，数据就会保持不变。SRAM由于它不需要刷新的特性而提供极快的访问速度，因此被用作CPU缓存。不过，SRAM产品在整个存储市场中的份额很少，因此我们重点关注份额超过50%的DRAM产品。

DRAM（动态随机存取）的原理和SRAM不同，它的基本存储单元由一个晶体管（Transistor）和一个电容器（Capacitor）构成，也被称为1T1C。晶体管作为开关控制是否允许电荷的流入或流出，电容器则用来存储电荷。当电容器充满电后表示1，未充电时则存储0。

从结构上看，和2D NAND类似，DRAM是一个二维阵列，一整行晶体管的控制栅由一条字线（Wordline）相连，一整列的晶体管由位线（Bitline）相连。晶体管通过地址线被激活，允许对应的电容通过数据线读取或改变电荷状态。

以下图为例，在一个由多个1T1C单元（一个晶体管和一个电容）组成的DRAM阵列中，每个阵列被称为一个库（Bank），而一个芯片（Die）可以包含多个这样的Bank。为了定位存储单元，计算机使用一个31位的地址线：其中前5位用于选择具体的Bank，接下来的16位用于激活指定的行（Row），最后的10位则用于同时激活8个列（Column）。

这样的设计使得在一次操作中可以选定一个特定行，并同时访问多个列。DRAM之所以称为“动态”随机存取存储器，是因为它存储的电荷会随时间泄漏，因此需要定期进行电荷的刷新以维持数据的完整性。

DRAM可以按用途分为标准DDR、移动DDR和图形DDR三种，他们的底层DRAM单元相同，但整体上有不同架构。DDR全名为双倍数据率同步动态随机存取存储器（Double Data Rate SDRAM），可以在每个时钟周期的上升沿和下降沿都能传输数据，从而提高数据传输率，主要用于服务器和电脑。

移动DDR使用LPDDR标准（Low Power DDR），专为移动设备如手机和汽车设计，具有较低功耗的特性。图形DDR全名为GDDR（Graphics DDR），专为图形和AI加速计算设计，支持高带宽、高速率的数据传输，适用于处理大量图形。此外，HBM也属于图形DDR。

在具体应用层面，DDR和LPDDR主要面向CPU，而GDDR和HBM则大量应用于GPU显存。由于HBM出色的大容量、高带宽和低功耗等优势，当前主流AI训练卡都搭载采用HBM技术的显存，而GDDR则因其成本优势更有性价比被更多用于AI推理卡。

前面所描述过的结构是一个DRAM芯片的内部，也就是一个Die，一个DDR模组上包含多个Die。DDR模组通过DIMM（双列直插式内存模块Dual line memory module）的形式组织，封装好的DRAM被安装在小型PCB电路板上，可以直接插入主板上的DIMM插槽，再通过主板 PCB和处理器通信。

对于LPDDR和GDDR，封装好的芯片也是直接安装在主板PCB 上。与之相对的是HBM，将多个Die垂直堆叠并通过TSV（Through Silicon Via，硅通孔）互连，封装好的HBM通过CoWoS先进封装技术中的中介层与处理器通信，因此也被称为on Interposer。

最后我们来说三个内存关键参数：

首先是带宽，它代表处理器可以从内存中读取数据或将数据存储到内存中的速率，用于衡量吞吐量，以GB/s为单位。内存带宽（MB/s）=数据总线位宽（Bytes）×每秒数据传输次数（MT/s），位宽（Bit Width）指的是计算机体系结构中一次性能处理的数据位数，比如32位处理器一次可以处理32位（4字节）的数据，而64位处理器可以处理64位（8字节）的数据。提高总线位宽可以通过增加内存模块与内存控制器之间数据传输的独立路径数量，也就是通道数。消费级CPU内存接口一般是单通道或双通道，服务器CPU则可以为4通道或8通道，GPU由于并行处理一般配备更多通道。

其次是容量，对于单个处理器来说，内存总容量（GB）=单封装容量密度（GB/DIMM数或颗粒数）×DIMM数或颗粒数，单封装容量密度取决于每个DIMM中可容纳的DRAM Die数量和每个DRAM Die的容量密度。最后还有一个是延迟，指的是发送数据请求到处理器收到数据之间的时间，也就是CPU等待数据的时间，单位为时钟周期或纳秒。

一般来讲，高带宽所带来的高数据吞吐量一般会以牺牲延迟为代价，因此在这两者之间找到平衡很重要。图形处理和AI训练等数据密集场景更倾向于使用高带宽的GDDR和HBM，而需要进行大量随机数据访问和处理的应用则更倾向于DDR。

DRAM发展趋势

DDR、LPDDR、GDDR以及HBM都在各自的细分领域扮演着重要的角色，我们接下来看看这些DRAM的迭代路径以及发展趋势。 

首先来看应用于电脑和服务器CPU的DDR，至今已有二十多年发展历程，产品经历了五次迭代。DDR5是最新一代DDR标准，与DDR4相比提供更高的带宽、更高的效率和更大的容量。预计DDR5市占率将逐步提升，到2026年达到95%，而前代产品会逐步被淘汰。

LPDDR至今也已经历多次升级迭代，目前已来到LPDDR5X，整体方向也是向高传输速率和低功耗演进。虽然LPDDR主要用于手机等移动端，但是英伟达在其数据中心产品Grace CPU选择了LPDDR5X作为内存方案。原因在于需要在大规模AI和HPC工作负载的带宽、能效、容量和成本之间取得最佳平衡，因此成本远低于HBM的LPDDR5X成为了首选，与传统的8通道DDR5设计相比，它拥有更高带宽和功率效率。

根据广发证券测算，采用了英特尔Xeon Platinum 8480C CPU的英伟达DGX H100服务器和采用了Grace CPU的GH200芯片相比下，使用LPDDR5X的带宽更高。

GDDR搭配GPU使用，主要用于数据中心加速和AI等需要高带宽处理的场景。目前最新一代GDDR为GDDR6，此外HBM作为GDDR的一个变种，因为其性能更好，越来越多被应用于数据中心GPU和ASIC，用于AI加速计算。

下面我们来看HBM，全称为高带宽内存（High Bandwidth Memory）。

为什么需要HBM，这还得从“内存墙”说起。我们知道，计算机遵循冯诺伊曼架构，存储器和处理器相互独立、通过总线连接。处理器运算时会在不同层级间调取数据，从最外部的磁盘到内部的DRAM，再到缓存SRAM，因此数据需要在多级存储之间搬运，速度慢且能耗大。

同时，存储芯片的制程最先进仍在10-15nm左右，而最先进的处理器已经来到3nm，这便是内存墙，也就是说处理器性能很快但数据读取和传输的速度跟不上，CPU和GPU总是在饥饿状态，这也会造成系统效率低下。

对于AI大模型训练来说，大量并行数据处理要求高算力和大带宽，算力越强、每秒处理数据的速度越快，而带宽越大、每秒可访问的数据越多，算力强弱主要由GPU决定，带宽则由存储器决定。

因此，大模型算力的限制不仅仅来自GPU，还需要相匹配的存力。为了解决这个问题，人们发明了存算一体架构，将计算和存储融合来解决内存墙。存算一体可分为三种：近存计算（PNM）、存内处理（PIM）、存内计算（CIM）。

近存计算PNM指的是通过芯片封装和板卡组装的方式，将存储和计算单元集成，可分为存储上移以及计算下移。存储上移是指采用先进封装技术将存储器向处理器靠近，增加计算和存储间的链路数量，增加带宽，我们所说的HBM就属于这种。计算下移是利用板卡集成技术，在存储设备引入计算引擎。

存内处理PIM是将存储和计算单元集成在同一颗Die 上，使得存储器本身具备一定计算能力，如此一来“存”与“算”之间的距离更为紧密。典型的存内处理产品是HBM-PIM，它每个存储块内都包含一个内部处理单元。

存内处理技术可应用于多种场景，包括语音识别、数据库索引搜索、基因匹配等。存内计算CIM才是真正意义上实现了同一个晶体管同时具备存储和计算能力，典型产品为存内计算（IMC，In-memory Computing）芯片。HBM与PNM和PIM相比具有更成熟的实现技术与成本优势，因此成为存内计算的主要发展方向。

和NAND存储器以及处理器类似，内存DRAM芯片的性能提升一直以来同样依赖于摩尔定律。DRAM中的制程使用1x（16-19nm）、1y（14-16nm）、1z（12-14nm）等字母表示，另外三星、海力士使用 1a（约13nm）、1b（10-12nm）、1c（约 10nm），对应美光1α、1β、 1γ。

DRAM 制程工艺大约每两年迭代一次，在 2016-2017年进入1x（16-19nm）阶段，2018-2019年为 1y（14-16nm），2020年处于1z（12-14nm）时代。2021年1 月，美光宣布量产1α制程，2022年美光又推出全球最先进的1β，到 2030年，1d(1δ)、0a(0α)和 0b(0β)等设计进一步缩小的几代DRAM将量产。

然而，进一步缩减制程需要依赖光刻机，难度越来越大且电容器间的干扰随距离缩短影响越来越大。我们知道NAND已经转向3D堆叠，不再受限于微缩制程，HBM的原理也类似，只不过HBM不是在芯片内部堆叠，而是由多张DRAM芯片堆叠在一起，随后再通过先进封装技术和GPU封装在一起。

HBM通过硅通孔（TSV）和微凸点（micro-bumps）技术实现层与层之间的密集连接，这样每个存储层都能与相邻的处理器或其他层高速通信，从而实现极高的带宽。这么多层的DRAM最终通过中介层（Interposer）与GPU互联，多个HBM（英伟达最新B200采用8个HBM）与单张GPU再通过基板（Substrate）封装在一起，实现高带宽、低功耗和大容量。

因此，HBM并不是改变了芯片内部结构，更多的是属于半导体封装技术。经过了十年左右的发展，HBM也经历了数次迭代，目前为HBM3e，堆叠层数已经达到12层，并预计将应用于未来两年英伟达的Blackwell系列GPU和可能会出现的下一代R100上。

当前三大存储原厂均在规划HBM4的研发和投产，HBM4预计2026年推出，目前未确定其标准，普遍预期 HBM4 最高16层堆叠，2048bit 总线位宽。我们分别来看看这三家的情况：

SK海力士：2013年与AMD合作开发了全球首款HBM，并持续研发HBM2、HBM2E、HBM3、HBM3E。海力士计划在2024H1量产HBM3E 。2026年计划推出第六代HBM4。

三星：2016年推出HBM2，2020年HBM2E，2021年推出HBM- PIM，其 HBM3于2022年量产，2024年发布首款HBM3E。目前三星已向客户提供HBM3E 12H样品，预计于24H2开始大规模量产。

美光：跳过第四代HBM3，直接布局第五代HBM3E。2023年9月推出HBM3E，并于2024年2月宣布已开始批量生产HBM3E。其中24GB 8-High HBM3E将成为英伟达H200的一部分（该GPU将于 2024年第二季度开始发货）。美光预计将在2026年至2027年间推出容量为36GB至48GB的12层和 16层HBM4。2028年将推出HBM4E。整体上美光在HBM的份额还比较小。

我们可以通过测算GPU和AI服务器出货量来估算HBM的使用量和市场空间，根据中原证券测算，HBM目前占DRAM总市场规模比重还不到20%，但受益于AI服务器需求提升，预计2024和2025年将从去年的76亿美元分别达到151亿和238亿美元，量价齐升。

产业链

说完了HBM的原理和迭代路径后，接下来我们再说说产业链。

和NAND一样，DRAM芯片也需要和相应的内存接口芯片一起做成模组后出货，因此主要以颗粒和模组的形式出货，DRAM颗粒主要应用在手机等，DRAM模组主要应用于PC、服务器上，也称为内存条。我们前文提到过的DIMM就是用于服务器的内存条，台式机内存条主要类型为UDIMM，笔记本电脑内存条主要类型为SODIMM，服务器内存条主要类型为RDIMM和LRDIMM。

DRAM存储器属于半导体产品，也采用IDM和Fabless模式，但比CPU和GPU那种要更集中。

海力士、三星和美光是三大晶圆厂，采用IDM模式，从设计到生产都由自己完成。不过这三家的模组产品更多是标准化的，但不同终端应用对存储功能的需求不同，不同应用场景所需要的功能可通过模组实现，在此背景下产生了第三方模组供应商。

IDM厂商利用其晶圆制造优势销售自有品牌存储器模组，此外，它们还将存储晶圆出售给第三方模组供应商，第三方模组供应商通过封装存储颗粒，并将存储模组出售给终端客户。

根据富国银行的数据，三大原厂在整个DRAM市场中三星份额最高达到40%，美光和海力士平分剩下的60%。在HBM细分领域，海力士占比高达55.4%，而美光仅有3.4%。从HBM占营收比重来看，最受益的依然是海力士达到20.6%。

实际上，海力士是最早开发HBM的，早在2013年就和AMD共同研发推出HBM。美光则是因为错误判断了技术路线，大量投资于HMC，直到2018年才转向HBM，不过目前美光的HBM3E产品已应用于英伟达H200。

在第三方内存条市场上，金士顿一家独大占比达到78.7%，国内厂商有嘉合劲威、金泰克、记忆科技。

最后我们来简单梳理下存储方面国内企业的布局情况，其中最主要的是长江存储和合肥长鑫，前者布局NAND后者布局DRAM。Fab方面北京君正在DRAM和NAND方面都有布局，兆易创新主要布局了NOR产品。此外，存储模组方面还有江波龙、德明利、朗科科技和佰维存储。

参考资料：

兴业证券03/2024--HBM--AI 算力核心载体，产业链迎发展良机

中泰证券03/2024-- AI 系列之 HBM:AI 硬件核心，需求爆发增长

中原证券11/2023--存储器——让数字世界拥有记忆

广发证券04/2024-- HBM 何以成为 AI 芯片核心升级点?全面理解 AI 存储路线图

富国银行03/2024-- A Deep Dive Into Next-Gen Data Center DRAM

银河证券03/2024--存储行业景气度拐点已至，AI/国产化/需求复苏带来新周期

本文来自微信公众号：投研实习生（ID：gh_9b44556890f4），作者：Henryhr