在过去十年中，两个技术领域迅速发展：人工智能（AI）和物联网（IoT）。AI系统在数据分析、图像识别和自然语言处理等任务中表现出色，已经在学术界和工业界获得了显著的认可。同时，电子技术的进步使得设备的微型化成为可能，从而创造出能够连接互联网的紧凑型IoT设备。专家们预测未来IoT设备将随处可见，构成一个高度互联的生态系统的基础。AI与IoT的融合是一个快速发展的领域，它涉及到技术革新、应用拓展以及未来趋势等多个方面。随着边缘计算、5G技术以及智能化应用的不断成熟，AI与IoT将为智能生活、智能城市和智能工业等领域带来更深远的影响。边缘计算与5G技术的结合将成为未来的主要趋势，自主学习与自适应系统的发展也是重要的技术趋势。然而，将AI能力集成到IoT边缘设备中面临着重大挑战。人工神经网络（ANN）作为AI的重要组成部分，通常需要大量的计算能力。与此相对，IoT边缘设备被设计为小型且资源受限，具有有限的功率、处理能力和电路空间。因此，开发能够有效学习和在这些限制内运行的ANN成为了一项重大难题。
为了解决这一问题，东京科学大学的川原隆之教授和藤原雄也正在积极研究创新解决方案。在他们最近于2024年10月8日发表在《IEEE Access》上的研究中，介绍了一种针对特殊类型的ANN——二值神经网络（BNN）——的新型训练算法，并在适用于IoT设备的先进计算内存（CiM）架构中展示了这一算法的独特实现。
该神经网络结构在反向传播（训练）中采用三值梯度，从而降低了计算复杂性。此外，研究团队利用自旋电子学开发了一种新型的磁性RAM单元，以便在CiM架构中实施他们的技术。
“BNN使用的权重和激活值仅为-1和+1，这大大减少了网络所需的计算资源，将信息的最小单位压缩为一个比特，”川原隆之解释道，“然而，尽管在推理过程中可以使用这种单比特表示，学习阶段却依赖于权重和梯度的实数计算，使得在IoT边缘设备上集成学习能力变得复杂。”
图：AI与IoT的融合（图源：IEEE Access）
为了解决这个挑战，研究人员开发了一种名为三值梯度BNN（TGBNN）的新训练算法，包含三项关键创新。首先，它在训练过程中使用三值梯度，同时保持权重和激活值为二值。其次，他们增强了直接通过估算器（STE），改善了梯度反向传播的控制，以确保高效学习。最后，他们通过利用MRAM单元的行为，采用了一种概率方法来更新参数。
随后，研究团队在CiM架构中实现了这一新型TGBNN算法，这是一种现代设计理念，直接在内存中进行计算，而不是通过专用处理器，从而优化了空间和功耗。他们开发了一种新的XNOR逻辑门，作为磁性随机存取存储器（MRAM）阵列的基本组成部分，利用磁隧道结来存储信息。
为了改变单个MRAM单元中存储的值，研究人员采用了两种机制：自旋轨道转矩，这是在向材料中注入电子自旋电流时产生的力；以及电压控制的磁各向异性，指的是改变材料中不同磁态之间的能量障碍。通过这些方法，产品的乘和计算电路的大小减小到传统单元的一半。
研究团队使用MNIST手写数据集对基于MRAM的CiM系统进行性能测试，该数据集包含手写数字的图像，ANN需要识别这些图像。“结果显示，我们的三值梯度BNN在使用基于纠错输出代码（ECOC）的学习时达到了超过88%的准确率，同时与相同结构的常规BNN的准确率相当，并在训练过程中实现了更快的收敛，”川原指出。“我们相信，我们的设计将使边缘设备上的BNN高效运行，保持其学习和适应能力。”
这一突破有望推动强大IoT设备的发展，使其能够更有效地利用AI。这一进展对多个快速发展的领域具有重要意义。例如，穿戴式健康监测设备可能变得更小、更高效且更可靠，无需持续的云连接即可正常运行。同样，智能家居能够执行更复杂的任务并更加灵敏地响应。在这些应用以及所有其他可能的用例中，所提议的设计也可能降低能耗，从而有助于实现可持续发展目标。
