2024年，科技行业发展呈现出多元化的趋势，其中边缘智能、RISC-V和小芯片成为值得关注的三个主要方向。
在苹果公司最近发布的一篇研究论文中，表明了边缘智能技术发展的一个方向，这篇文章探讨了在内部受限的设备上高效运行大型语言模型（LLMs）的问题，即通过将模型参数存储在闪存中，并按需加载到动态随机存取存储器（DRAM）中。在这篇论文中，苹果的研究团队提出了他们的方法：构建一个与闪存行为相匹配的推理成本模型，以便在两个关键领域实现优化：一是减少从闪存传输的数据量；二是以更大且连续的块读取数据。为此，他们引入了两种技术：一种称为“窗口化”，通过重用之前激活的神经元来策略性地减少数据传输；另一种是“行列打包”，用于增加从闪存中读取的数据块的大小。
这些技术的应用，不仅提升了边缘设备上大型语言模型的运行效率，也体现了边缘智能技术在适应不同硬件约束条件下的灵活性和潜力。随着这类研究的深入，我们可以预见，边缘智能将在提升设备智能化水平、优化用户体验方面发挥越来越重要的作用。
论文中提到：“这些方法综合起来，能够在只有一半DRAM容量的情况下运行规模更大的模型，并且与在CPU和GPU上采用的直接加载方法相比，推理速度分别提升了4到5倍以及20到25倍。我们对于稀疏性的认知、适应上下文的加载策略以及针对硬件优化的设计，共同为在内存受限的设备上进行大型语言模型的有效推理开辟了道路。”
这意味着，行业的整体发展趋势是在边缘计算环境中部署更多的机器学习模型和推理任务。通过这种方式，可以在靠近数据源头的地方进行更快速、更高效的数据处理和分析，从而提升整体的智能处理能力和响应速度。
在2023年8月，有数家公司宣布他们将联合成立一个新的公司，这家公司的目的是为了在全球范围内加速推广RISC-V硬件的商业化进程。最近一周，这家新公司被正式命名为Quintauris，并宣布Alexander Kocher担任首席执行官一职。Quintauris的总部位于德国慕尼黑，其背后的投资者包括博世、英飞凌、北欧半导体、恩智浦半导体以及高通技术公司等知名企业。
图一：RISC-V市场收入预测（来源：SHD Group）
尽管Quintauris的官方网站目前内容尚不丰富，但其已经明确表示了公司的发展方向和目标：“Quintauris将成为推动基于RISC-V的产品兼容性、提供参考架构，并帮助确立行业内广泛使用解决方案的一站式平台。公司初期将重点关注汽车行业的应用，但未来计划逐步扩展至移动设备和物联网（IoT）等其他领域。”
与此同时，人们也对Quintauris与RISC-V国际协会之间的关系表示出了浓厚的兴趣。RISC-V国际协会总部位于瑞士苏黎世，主要负责维护和管理RISC-V指令集架构的规范。而Quintauris则可能会成为那些需要现成参考板和系统进行个性化开发的开发者的重要资源和合作伙伴。两者的合作无疑将为RISC-V技术的发展和应用带来积极影响。
芯粒（Chiplets）在去年成为了业界的热门趋势，面对当今以机器学习（ML）为核心的产品对巨大计算能力的需求，芯粒提供了一种避免使用最先进工艺技术制造单一大型芯片的替代方案。正如Chuck Sobey，去年在加利福尼亚举办的芯粒峰会的主席所指出的：“芯粒在提升芯片的可扩展性、模块化和灵活性方面能够发挥巨大作用。但这一理念的成功实施，前提是产品开发者能够快速且经济地将它们整合到一起。有效的整合平台需要众多工具的支持。各个领域的供应商都需要提供这样的平台，并支持构建一个生态系统和开源项目，以填补接口和软件方面的空白。”
这段话突出了芯粒作为应对当前技术挑战的创新解决方案，并强调了为了充分发挥芯粒的潜力，需要整个行业的共同努力。这包括提供必要的工具和支持，以促进不同组件之间的有效整合，确保技术的发展和应用能够顺利进行。
随着人工智能的兴起，那些曾经被认为功能简单的设备如今正逐渐变得智能，这一变化使得我们需要处理的计算设备数量达到了前所未有的规模。为了能够实时处理来自这些智能设备的数据，高性能计算技术正在被广泛应用。这种趋势导致了对于计算能力在超本地区域的需求大幅增加，相比之下，传统的集中化区域需求增长则相对较小。这些多样化和复杂的计算环境需要我们拥有不同的解决方案，而且会有更多专业的供应商涌现。
