晶心科技（Andes Technology）是一家高效、低功耗的32/64位RISC-V处理器核心供应商，也是RISC-V International的创始首席会员。近日，晶心科技宣布与Fractile达成合作。Fractile是一家致力于开发新一代AI芯片和系统的公司，旨在推动AI性能的新突破。Fractile目前正在研发一款基于内存计算的AI推理加速器，其目标是在保持低成本的同时，以比现有硬件快百倍的速度运行大规模的AI模型（包括语言、视觉和音频模型）。
如今，大型语言模型（LLM）和其他基础模型已成为推动数据中心AI计算需求快速增长的主要动力，从ChatGPT到Llama等开源模型均为其中的代表。模型推理（为经过训练的模型提供服务的过程）逐渐成为AI计算的主要成本来源，甚至已超越模型训练。Fractile已获得Andes AX45MPV RISC-V矢量处理器的授权许可，并结合ACE（Andes Automated Custom Extension™）和Andes Domain Library，计划在其首款数据中心AI推理加速器中引入矢量处理单元。
图：Andes Technology和Fractile合作，加速AI推理性能
Fractile的创新在于利用片上内存计算技术执行模型推理所需的99.99%的操作，从而避免频繁的数据交换。这种方式不仅提高了能源效率（TOPS/W），还显著降低了推理延迟，尤其在LLM应用中可以显著提升每秒用户生成的内容数。该公司一直专注于通过推理扩展来提升AI性能。近期，OpenAI推出的最新LLM o1模型进一步印证了这一发展方向，其推理计算需求也呈指数级增长。Fractile的硬件和软件堆栈旨在实现快速生成，使得目前在现有硬件上需耗时数秒的AI模型推理达到即时响应的效果。
此次合作中，Fractile将通过ACE技术，将晶心科技高性能RISC-V矢量处理器与其内存计算架构结合。Fractile的系统充分发挥了双方技术的优势，旨在突破传统计算方法的瓶颈，为AI推理提供更快速、更具成本效益的解决方案。
晶心科技总裁兼首席技术官苏泓博士对此合作表示期待：“AX45MPV处理器自2023年推出以来，凭借其强大的计算能力、高内存带宽和ACE工具的灵活性，已被多家创新型AI公司采用。我们的RISC-V矢量处理器帮助众多AI SoC超越了架构局限，取得了更高的性能和效率。我们相信，与Fractile的内存计算技术结合将带来全新的突破。”
Fractile首席执行官兼创始人Walter Goodwin博士也补充道：“现有硬件的限制是AI性能和应用推广的最大障碍。晶心科技在RISC-V矢量处理器领域拥有领先的技术和市场地位，是我们Fractile加速器的理想合作伙伴。开发AI加速硬件具有挑战性，而像晶心科技这样的可编程矢量处理器是适应模型变化的关键。我们很高兴能通过此次合作，进一步推动Fractile提升推理能力的使命。”
