3D NAND闪存和3D DRAM技术的创新先锋NEO Semiconductor公司宣布，他们已经研发出了3D X-AI芯片。这款芯片的设计理念是通过在3D DRAM中集成AI处理功能，替代传统高带宽存储器中的DRAM芯片，以解决数据传输过程中的数据总线瓶颈问题。3D X-AI技术能够显著减少在AI工作负载中，尤其是HBM（高带宽存储器）和GPU（图形处理单元）之间传输的数据量。
NEO Semiconductor的这项创新有望彻底改变包括生成式AI在内的各种AI应用的AI芯片在性能、功耗和成本方面的表现。
据报道，NEO 3D X-AI技术加持的AI芯片具备以下特点：
- 性能提升100倍：芯片内集成了8,000个神经元电路，能够在3D内存中直接执行AI处理任务。
- 功耗降低99%：通过减少将数据发送至GPU进行计算的需求，有效降低了数据总线的功耗和热量产生。
- 内存密度提高8倍：芯片包含300层3D DRAM单元，使得HBM能够存储更庞大的AI模型。
图：NEO Semiconductor 宣布开发3D X-AI芯片
潜在挑战：
技术复杂性：3D DRAM技术本身仍在发展中，面临制造复杂性、成本和技术瓶颈等挑战 。
散热问题：随着3D DRAM存储器层数的增加，产生的热量也随之增加，有效散热和管理温度成为关键挑战 。
信号传输延迟：在多层3D DRAM结构中，数据需要在不同层之间进行高速信号传输，可能影响性能 。
容错性和稳定性：多层3D DRAM中单个存储单元的故障可能影响整个堆叠，需要关注容错性和稳定性 。
封装技术：有效封装3D DRAM存储器以满足市场需求是一个挑战，封装必须提供物理保护、电气连接和散热支持 。
NEO Semiconductor的创始人兼首席执行官Andy Hsu指出：“当前的AI芯片由于架构和技术效率问题，造成了性能和功耗的巨大浪费。现有的AI芯片架构将数据存储在HBM中，并且完全依赖GPU来执行计算任务。这种分离的数据存储与处理架构，使得数据总线成为了不可避免的性能瓶颈。大量数据通过数据总线传输，不仅限制了性能，也导致功耗极高。3D X-AI技术能够在每个HBM芯片中直接执行AI处理，大幅减少HBM和GPU之间的数据传输量，从而提升性能并显著降低功耗。”
单个3D X-AI芯片由300层3D DRAM单元构成，容量达到128 Gb，并集成了一层包含8,000个神经元的神经电路。NEO预计，每个芯片能够支持高达10 TB/s的AI处理吞吐量。如果将12个3D X-AI芯片与HBM封装堆叠使用，可以实现120 TB/s的处理吞吐量，性能提升达100倍。
Network Storage Advisors的总裁Jay Kramer评价说：“3D X-AI技术的应用将加速新兴AI用例的开发，并催生新的应用场景。利用3D X-AI技术开发的下一代AI芯片，将为AI应用带来创新的新时代。”
