近日，清华大学集成电路学院任天令教授团队在国际著名期刊《自然·通讯》（Nature Communications）上发表了题为“基于存内注意力启发器件的适应性时空信息处理”（Adaptive spatial-temporal information processing based on in-memory attention-inspired devices）研究论文，阐释了研究团队在新型存内计算系统领域取得的最新突破。
时间和空间信息的混合感知广泛存在于动态信息处理场景，但通过传统计算范式实现时间-空间信息感知需要消耗较大的硬件资源。与传统硬件设备相比，人类大脑能够以极低的成本从环境中获取时间和空间维度的信息。人脑利用注意力机制从海量数据中筛选出必要的信息，并根据不同情境动态调整，以确保在不断变化的环境中持续有效地提取信息。在人类大脑中，额顶注意力网络会根据当前情境调整注意力，并引导感觉皮层增强对特定类型信息的响应。注意力机制实现了完整的时间-空间信息感知和信息增强。
受到人脑注意力机制启发，研究团队研制了一种基于异维调控界面的原位时空信息处理器件（图1），在存储器内执行时间和空间信息保存和计算任务，实现了高能效的时间-空间信息感知。研究团队和车辆与运载学院杨殿阁教授团队合作，成果在自动驾驶边缘场景进行了验证和应用。
图1. 注意力启发器件结构；适应性时空信息处理流程；利用注意力数值，动态调整时间和空间信息的响应强度
注意力启发器件利用MoS₂沟道与Ag导电丝形成零维（0D）−二维（2D）混合维度调控界面。MoS₂沟道与Ag导电丝的接触展现出非易失性状态转移特性，用于存储过去时刻的信息。通过0D-2D异维界面的电学作用，可在当前时刻信息与存储信息之间实现可调权重的模拟计算。基于这一特性，建立适应性时空信息处理基本单元，实现了可重构的注意力分配计算和决策计算功能，如图2所示。
图2. 注意力启发器件在各计算模式下的特性曲线
为了验证这一信息处理范式的规模化制造潜力，研究团队制造了5×5单元的注意力启发器件阵列，并实验测试了阵列的适应性时空信息处理功能，如图3所示。图中A点为运动物体，B点为静止物体；图中展示的时间信息包括运动方向等，空间信息包括物体坐标等。t1−t3为连续的3个时刻。注意力的数值由器件的控制栅电压决定，通过调节注意力的数值，改变输出信号中时间和空间信息的响应强度。
图3. 注意力启发器件在各计算模式下的特性曲线
所提出的信息处理范式可用于需要低功耗、实时处理的边缘智能场景。研究团队仿真验证了所提出的信息处理范式在自动驾驶场景中的应用可行性。如图4所示，基于注意力启发器件阵列的路侧设备和车端设备在面对不断变化的环境时，能够实现全范围（0−100%）注意力分配，并能够根据当前的情境实时优化注意力分配，动态调整时间和空间信息的响应强度。
图4. 适应性时空信息处理应用于边缘智能设备
综上所述，基于注意力启发器件的信息处理范式解决了时间-空间信息的完整感知和高能效信息提取的矛盾问题，有望应用于复杂多变环境的动态信息处理，并为未来边缘计算架构提供了一种可行的硬件解决方案。
清华大学集成电路学院2023级博士生潘炯、清华大学集成电路学院博士后（现复旦大学光电研究院助理教授）吴凡以及清华大学车辆与运载学院2023级硕士生钱康安为本文共同第一作者，清华大学集成电路学院任天令教授、杨轶副教授、田禾副教授以及清华大学车辆与运载学院杨殿阁教授为本文通讯作者。该研究得到科技部、国家自然科学基金委、北京市自然科学基金委、清华大学国强研究院等的支持。
