生成式人工智能是指能够创建新内容的人工智能系统，这些内容可以是文本、图像、音频或视频等。这类AI系统通过学习大量数据，理解数据中的模式和结构，并能够生成新的、以前未见过的数据实例。通过深度学习技术，生成式AI能够模仿并超越原始数据分布，在教育、娱乐、媒体、设计等多个行业产生深远影响。
大模型技术的发展与算力提升为生成式AI提供了强大支撑，丰富的训练数据资源也推动生成式AI快速发展。
虽然现有的边缘 AI 加速器都不适合变压器，但半导体行业正在努力弥补这一缺陷。苛刻的计算要求从三个不同的层面得到解决：创新架构、硅片向较低技术节点的扩展以及多芯片堆叠。然而，数字逻辑的进步并没有解决内存瓶颈问题。相反，它们导致了所谓的“内存墙”这一不良影响。
记忆墙是一个比喻，用来描述当处理器速度提升而内存访问速度跟不上时，系统性能受限的情况。随着处理器技术的发展，CPU的速度越来越快，但内存技术的进步速度却没有跟上，导致内存成为了性能瓶颈。这就像一堵墙，阻碍了数据流的快速传输。
图：生成式人工智能与记忆墙：IC 行业的警钟
多年来，内存壁垒一直困扰着半导体行业，而且随着每一代处理器的推出，这一问题都愈发严重。为了应对这一问题，业界提出了一种多级分层内存结构，在靠近处理器的位置采用速度更快但成本更高的内存技术。最靠近处理器的是多级缓存，可最大限度地减少速度较慢的主内存和速度最慢的外部内存之间的通信量。不可避免的是，遍历的层级越多，对延迟的影响就越大，处理器效率就越低。
生成式人工智能的快速发展对计算能力和内存带宽提出了更高要求。随着生成式AI模型规模的增大和计算需求的增长，内存带宽可能成为限制其性能的关键因素。特别是当处理大规模数据集或运行复杂模型时，内存访问速度可能成为瓶颈，从而限制生成式AI的效率和速度。生成式AI的快速发展对IC行业提出了更高的技术要求，包括更高的计算能力、更大的内存带宽和更低的延迟。这要求IC行业不断创新和进步，以满足生成式AI的需求。
