随着 AI 工作负载的不断演进和扩展，内存的带宽和容量对系统性能变得愈发关键。最新的 GPU 对高带宽内存 (HBM)、大容量内存和更高能效的需求日益增长。美光科技作为内存技术创新的领导者，推出了可量产的 HBM3E 12-high 解决方案，并已向关键行业合作伙伴提供该产品进行认证，以服务于整个 AI 生态系统。
美光的 HBM3E 12-high 36GB 产品在功耗方面表现出色，明显低于市面上的8-high 24GB 产品，尽管其封装中 DRAM 容量增加了50%。这一全新的 HBM3E 12-high 解决方案具备 36GB 的容量，相较当前的 HBM3E 8-high 产品提升了 50%，能够在单个处理器上运行高达 700 亿参数的大型 AI 模型（如 Llama 2）。这种容量的提升避免了 CPU 卸载和 GPU 之间通信的延迟，显著缩短了洞察时间。
不仅如此，HBM3E 12-high 36GB 的功耗低于同类竞争对手的 HBM3E 8-high 24GB 解决方案。它能够提供超过 1.2 TB/s 的内存带宽，引脚速度突破了 9.2 Gb/s。美光 HBM3E 产品的这些优势，不仅提供了最大吞吐量，还实现了最低功耗，为高耗能的数据中心带来了卓越的效果。
此外，美光 HBM3E 12-high 配备完全可编程的 MBIST 功能，能够以全速运行系统模拟流量，提升测试覆盖率，缩短产品验证时间，提高系统可靠性，从而加快产品上市。
生态系统支持
美光正在向主要行业合作伙伴交付可量产的 HBM3E 12-high 组件，用于 AI 生态系统的认证。这标志着美光在满足不断增长的 AI 基础设施需求方面迈出了重要一步。美光还参与了台积电的 3DFabric 联盟，该联盟旨在推动半导体和系统创新的未来。AI 系统的制造极为复杂，HBM3E 的集成需要内存供应商、客户以及外包半导体封装和测试 (OSAT) 企业的密切合作。
台积电生态系统与联盟管理部门负责人 Dan Kochpatcharin 在一次交流中表示：“台积电与美光保持了长期的战略合作关系。作为 OIP 生态系统的一部分，我们紧密协作，以确保美光基于 HBM3E 的系统和 CoWoS 封装设计能够支持客户的 AI 创新。”
图：美光HBM3E
美光 HBM3E 12-high 36GB 的亮点
客户认证：美光已向主要行业合作伙伴提供了具备量产能力的 HBM3E 12-high 产品，确保其在整个 AI 生态系统中通过认证。
无缝扩展：凭借 36GB 的容量，比现有 HBM3E 产品增加了 50%，美光 HBM3E 12-high 可轻松扩展数据中心的 AI 工作负载处理能力。
卓越能效：美光 HBM3E 12-high 36GB 的功耗显著低于竞争对手的 HBM3E 8-high 24GB 解决方案。
优越性能：其引脚速度超过 9.2 Gb/s，提供超过 1.2 TB/s 的内存带宽，满足 AI 加速器、超级计算机和数据中心对快速数据访问的需求。
加速验证：完全可编程的 MBIST 功能使系统能够以模拟流量的速度运行，提升测试覆盖率，加快产品验证和上市进程，并提高系统的整体可靠性。
未来展望
美光通过其领先的数据中心内存和存储产品组合，致力于满足生成式 AI 工作负载日益变化的需求。无论是近内存 (HBM)、主内存 (高容量服务器 RDIMM)，还是 Gen5 PCIe NVMe SSD 和数据湖 SSD，美光都提供了市场领先的解决方案，帮助数据中心高效、快速地应对 AI 工作负载的增长。
