在迟迟不能走出困境的半导体存储器行业，新一代DRAM技术正备受关注。那就是通过层叠具有代表性的存储器的DRAM芯片来实现高速大容量数据处理的“HBM（高带宽存储器）”。随着人工智能（AI）的普及，需求出现猛增。作为摆脱存储器不景气的“救世主”，业界对HBM的期待正在升温。

HBM是韩国SK海力士于2013年开发的新型存储结构。这是一种通过层叠多个DRAM芯片来提高数据处理速度的技术。目前受到关注的AI需要处理大容量数据，而HBM作为最用于AI的临时存储器已开始被采用。

用于长期保存数据的NAND型闪存的层叠技术是在电路形成工序的“前工序”中层叠存储元件。而HBM是在作为组装工序的“后工序”中层叠DRAM芯片，利用电子电路将多个半导体芯片连接起来。

据称，通过这种方法，能够以三维结构在半导体封装内布满电子电路，使数据处理速度提高到普通DRAM的10倍以上。SK海力士的第5代产品“HBM3e”（预定2024年启动量产）的数据处理速度可达到每秒1.15TB （太字节）。


HBM3e技术即将实现量产

近日，NVIDIA又发布了全新的HGX H200加速器，可处理AIGC、HPC工作负载的海量数据。

NVIDIA H200的一大特点就是首发新一代HBM3e高带宽内存(疑似来自SK海力士)，单颗容量就多达141GB(原始容量144GB但为提高良率屏蔽了一点点)，同时带宽多达4.8TB/s。对比H100，容量增加了76％，带宽增加了43％，而对比上代A100，更是容量几乎翻番，带宽增加2.4倍。

得益于NVLink、NVSwitch高速互连技术，H200还可以四路、八路并联，因此单系统的HBM3e内存容量能做到最多1128GB，也就是1.1TB。只是相比于AMD Instinct MI300X还差点意思，后者搭载了192GB HBM3，带宽高达5.2TB/s。

性能方面，H200再一次实现了飞跃，700亿参数的Llama2大语言模型推理性能比H100提高了多达90％，1750亿参数的GTP-3模型推理性能也提高了60％，而对比前代A100 HPC模拟性能直接翻番。

八路H200系统下，FP8深度学习计算性能可以超过32PFlops，也就是每秒3.2亿亿次浮点计算，堪比一台大型超级计算机。


GPU推动HBM技术扩容和加速

英伟达的这次创新推出，标志着HBM技术在GPU领域的应用取得了重要的突破。全球HBM市场在近年来一直处于快速增长的状态，而这次英伟达推出的GPU，将进一步推动HBM市场的扩容。

在市场上，预计今年HBM的出货量将达到50万颗，而在未来，这一数字将逐年递增。据预测，到2030年，HBM的年出货量将达到1亿颗。这表明，随着技术的不断进步和应用领域的不断拓展，HBM技术在未来的发展前景十分广阔。

然而，尽管市场对HBM的需求在不断增长，但目前三星和美光最新的HBM产品还处于筹备阶段，预计要到24年第四季度才能开始批量生产。这意味着，在24年，HBM3e的供给将面临严重的紧缺情况。这种短缺可能会进一步推动HBM价格的上涨，从而对整个行业产生深远的影响。

同时，随着服务器新世代CPU的推出和人工智能需求的不断增加，市场对HBM高性能产品及高密度模组的需求也在不断提升。这为HBM技术的发展提供了更多的机会和挑战。

据了解，搭载HBM3e的第二代GH200将于24年第二季度开始出货。这一新型GPU的推出，将进一步推动HBM技术的应用和发展。同时，高速传输数据的HBM内存芯片已经成为人工智能的必要配置，这使得人工智能领域对HBM的需求也在不断增长。

当前，HBM市场还处于初期发展阶段。然而，据预测，到2025年，HBM市场规模有望年均增长45%以上。这一趋势预示着HBM技术在未来的发展潜力巨大。

回顾今年，我们可以看到HBM的需求量受到了高阶GPU提升的带动而大幅增长了58%。与此同时，HBM3存储器的价格已经上涨了5倍。这种价格上涨的趋势表明，HBM技术在市场上的价值正在得到越来越高的认可和重视。