近日，来自清华大学的研究团队与初创公司Qingcheng.AI联合发布了一款全新的人工智能推理框架“赤兔”（Chitu），标志着中国在减少对英伟达芯片依赖、推动AI技术自主化方面迈出了新步伐。
赤兔推理框架挑战英伟达Hopper系列
赤兔是一款高性能大语言模型（LLM）推理框架，能够在国产芯片上高效运行，从而挑战英伟达Hopper系列GPU在AI推理领域的主导地位。AI 框架堪称构建复杂智能 AI 模型的基石，它为开发者提供了一系列的库和工具，助力他们高效地设计、训练以及验证复杂模型。Qingcheng.AI与清华大学计算机科学教授翟季冬团队在联合声明中表示，该框架已于上周五开源，并可兼容主流大模型，包括DeepSeek和Meta旗下的Llama系列。
测试数据显示，赤兔在使用英伟达A800 GPU运行DeepSeek-R1的完整版本时，相较于国外开源框架，其推理速度提升了315%，同时GPU使用率降低了50%。这一成果显示，赤兔框架能够在有限的算力资源下实现更高效的推理性能，为国内AI企业提供了一种降低对英伟达依赖的替代方案。
图：清华团队推出赤兔推理框架，助力中国AI自主化进程（图源：南华早报）
国产AI芯片生态加速发展
近年来，受美国出口管制影响，英伟达H100和H800等高端AI芯片被禁止向中国市场销售，促使国内科技企业加快技术自研步伐。赤兔框架的推出正是中国AI行业在这一背景下加强技术自主可控能力的重要举措。
Qingcheng.AI成立于2023年，由翟季冬及其清华团队共同创办，翟目前担任公司首席科学家。该公司获得了北京市人工智能产业基金的支持，并已与国内领先的GPU厂商建立合作关系，包括摩尔线程（Moore Threads）、燧原（Enflame）和天数智芯（Iluvatar CoreX）。
不仅如此，中国AI产业正以前所未有的速度推动本土技术生态的完善。今年2月，AI计算基础设施平台Infinigence AI宣布，正在加强国内七大AI芯片企业之间的协作，这些企业包括壁仞科技（Biren）、海光信息（Hygon）、沐曦（MetaX）、摩尔线程、燧原、天数智芯以及华为昇腾（Ascend）。
国产AI基础设施持续优化
除硬件生态建设外，中国科技企业也在软件层面不断优化AI模型训练和推理效率。字节跳动近期发表的一篇研究论文指出，团队通过优化系统，使大语言模型的训练效率提高了170%，并已在部分生产环境中投入使用，节省了数百万GPU计算小时。
整体来看，随着赤兔推理框架的推出，以及国内AI企业在芯片、基础设施和算法层面的多方布局，中国AI产业正迈向更具自主性的未来。
