随着大型语言模型(LLM)在人工智能(AI)领域的广泛应用,其计算资源和能效的需求不断上升。为了应对这些挑战,苹果和英伟达正在合作研究一种名为Redrafter的创新技术,旨在提升LLM在处理复杂任务时的性能,同时优化硬件资源的利用效率。LLM面临的挑战:计算量与资源需求随着自然语言处理技术的快速发展,LLM已被广泛应用于文本生成、机器翻译、语音识别等领域。然而,LLM在大规模训练和推理过程中,通常需要大量的计算能力和存储资源。尤其在处理如图像生成、实时对话和复杂推理等任务时,LLM的计算需求成倍增长,导致高昂的硬件成本和能源消耗。在这种背景下,如何提升计算效率,减少资源消耗,同时保持模型的高性能,成为了AI研究人员亟待解决的难题。Redrafter技术正是为了解决这一问题而提出的。Redrafter技术的核心原理Redrafter技术通过优化训练过程中的计算路径和数据流,旨在提升模型训练和推理过程中的计算效率。其主要特点包括:高效数据流重构:通过重构训练过程中数据的处理方式,Redrafter技术能够减少冗余计算,提高数据传输的效率。这不仅降低了处理时间,还减少了数据存储和内存消耗。...
当前,专门的机器学习工具和框架经历了从流行到难以扩展及投入生产的循环,许多新兴工具在市场中获得了一定的关注,但仍面临着从实验到生产阶段的过渡问题。特别是向量数据库(Vector Database)在爆发式增长后,其在向量空间搜索的独特性已不再吸引人。传统数据库供应商纷纷推出了自己的向量搜索方法,云计算巨头如AWS、Azure和Google Cloud也已扩展了他们的原生数据库服务,以支持大规模的向量搜索和检索。AI代理商的商业化进程在AI代理商方面,尽管一些公司对其项目保持神秘,但我们已看到多个AI代理的商业化尝试。由Cognition推出的Devin被宣传为“首个AI软件工程师”,它能够规划并执行需要数千个决策的任务,并在过程中修正错误、持续学习。Devin在推出后,获得了投资者的青睐,半年内便成功达到了20亿美元的估值,尽管该产品存在一些需要人工干预和控制的问题此外,OpenDevin作为Devin的开源竞争对手,已经在软件工程基准测试(SWE-bench)中领先了Devin 13个百分点。另一家公司MultiOn也在大力投资于强化学习(RL),其自主Web代理—Agent Q—将...
在新能源汽车行业高速发展的当下,智能化已成为车企竞争的关键领域。作为全球新能源汽车的领军企业,比亚迪正在通过持续的研发投入和技术创新,推动AI大模型与智能化技术的深度融合。中国出海半导体网将尝试解析比亚迪在AI大模型和智能化领域的战略布局及其深远影响。一、比亚迪智能化的新里程碑2024年,比亚迪宣布成立先进技术研发中心,这是其在智能化技术领域的一项重要布局。该中心涵盖多个核心技术部门,包括AI实验室、AI超算开发部和大数据平台部,重点围绕AI算法、大模型、智能驾驶系统等领域开展研发。这一战略布局表明,比亚迪不仅希望在新能源汽车领域巩固其技术优势,更希望通过智能化技术构建未来的竞争壁垒。通过聚焦AI基础设施和大模型开发,比亚迪正逐步将自身转型为一家技术驱动型企业。图:比亚迪宣布成立先进技术研发中心二、研发投入规模引领行业比亚迪在研发投入上的力度,凸显了其对技术创新的重视。根据最新财报数据,2024年上半年,比亚迪的研发投入高达202亿元人民币,同比增长41.64%,研发支出占总营收的比例远超行业平均水平。这一数字不仅高于同期净利润,还在超过5300家A股上市公司中位居首位。自成立以来,比...
在全球新能源商用车市场蓬勃发展的背景下,宇通集团积极拓展中东市场,取得了显著进展。2024年12月15日,宇通集团与卡塔尔国家运输公司Mowasalat合作的新能源商用车工厂在卡塔尔乌姆阿尔霍尔自由区正式奠基。 这一重要里程碑不仅彰显了中国企业在中东新能源商用车市场的影响力提升,也展示了宇通集团在全球新能源商用车领域的技术实力和战略布局。一、市场布局与产能规划宇通集团在卡塔尔的新能源商用车工厂规划占地面积约5.3万平方米,预计于2025年底建成投产。 初期年产能为300辆,未来将逐步提升至1000辆,以满足当地及周边国家日益增长的市场需求。该工厂将实现电动城市公交车、地铁支线公交车、校车等产品的本地化研发与生产。这一产能规划不仅满足了当地市场需求,也体现了宇通集团对中东市场的长期投资信心。随着产能的逐步提升,宇通集团有望在当地市场中占据重要地位,成为中东新能源商用车市场的关键参与者。二、技术创新与合作宇通集团与宁德时代的合作是此次项目的技术亮点。双方于2024年3月28日合作发布了15年150万公里长寿命电池技术,能够满足客车、轻卡、重卡等不同细分市场的需求。 这一技术的应用,不仅提升...
在全球半导体行业发展的历史长河中,高通的一些关键举措常常能掀起波澜。曾在2021年,高通以14亿美元收购了初创公司Nuvia,此事又在近日再次引发业界的关注。表面上看,这是一桩普通的企业并购,但其背后隐藏的深层战略思考,却直指高通的技术自主化目标和对未来行业格局的前瞻判断。事情的起因是特拉华州联邦法院本周就ARM与高通的诉讼案进行庭审。在庭审中披露的高通内部文件显示,高通2021年收购初创公司Nuvia的背后,隐藏着通过此举每年节省高达3亿美元ARM授权费的战略考量。本次庭审旨在解决ARM提出的诉讼,即ARM有权迫使高通销毁其收购的技术,原因是ARM从未同意Nuvia的许可协议转让给高通。中国出海半导体网将深挖这段历史,从此出发,尝试着深度解析高通的这次并购对行业、市场及技术发展的多重影响。一、高通与ARM的历史渊源回溯高通与ARM的合作历史,不难发现,两者的关系一直是一种既依赖又受制的微妙状态。高通作为全球领先的移动芯片制造商,其骁龙系列芯片广泛应用于安卓智能手机市场,而这些芯片的底层架构长期以来依赖于ARM的设计授权。尽管这一合作关系在过去帮助高通快速扩张,但随着行业竞争格局的变化...
近期,英伟达的旗舰车载AI芯片Thor量产推迟的消息引发了广泛关注。原本计划于2024年中期量产的Thor芯片,如今推迟至2025年中才能实现量产,且初期仅提供入门版。这一延迟不仅影响了英伟达自身的市场布局,也对国内车企的产品规划和供应链管理造成了显著影响。作为智能驾驶领域的重要算力支撑,Thor芯片一直被视为下一代智能汽车的关键部件。然而,这一推迟无疑打乱了部分依赖英伟达芯片的车企节奏,甚至倒逼其重新审视技术路线,加速自研芯片的步伐。中国出海半导体网将详细分析英伟达Thor推迟量产的背景、对国内车企的短期及长期影响,并探讨未来技术趋势与产业应对策略。一、事件背景与影响范围英伟达Thor芯片于2022年发布,凭借其高达2000TFLOPS的强大算力,被誉为AI驱动智能汽车的“超级大脑”。相较于前代Orin芯片,Thor不仅具备更高的算力与集成度,还能够支持端到端的智能驾驶系统,被国内外车企广泛看好。然而,由于供应链问题、工艺成熟度挑战及市场策略调整,英伟达宣布Thor芯片推迟至2025年中才能实现量产交付。这一推迟影响的不仅是英伟达自身的芯片出货节奏,更直接牵动着全球尤其是中国市场的车...