随着高性能神经网络需求的日益增长,神经-符号人工智能因其高度的可解释性和适应性,正吸引着越来越多的关注。它可以通过符号知识增强深度学习的推理和泛化,表现出优于深度学习的能力。但由于符号知识表示与计算的复杂性,设计并实现高效的神经-符号硬件仍面临算力、能效等诸多挑战。

近日,微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用,为实现其他基于知识的技术提供了指导。团队将模糊逻辑和规则形式的符号知识直接用记忆交叉阵列的拓扑结构表示,利用忆阻器件本征随机性增强了知识表示的鲁棒性,提高了系统的推理性能。为解决硬件原位训练收敛速度慢、效果差的问题,团队首次提出了一种软硬件协同优化框架下的混合原位训练技术,有效降低了计算过程中的累积误差问题。研发的忆阻神经-模糊计算硬件能效超过FPGA两个数量级以上,能耗仅为ASIC的约百分之一。以机器人导航为例,该神经-模糊硬件显示出对未知环境的优越适应性,与深度学习方法相比,系统学习速度提高了约6.6倍,学习错误率降低了约6倍。该工作充分展示了忆阻神经形态计算系统在人工智能领域应用中的巨大潜力。

该工作得到了国家重点研发计划、国家自然科学基金委、中国科学院战略先导B类专项等项目支持。研究成果以“Stochastic neuro-fuzzy system implemented in memristor crossbar arrays”为题在Science Advances(《科学·进展》)期刊在线发表。微电子所时拓副研究员为文章第一作者,河北大学闫小兵教授、复旦大学刘琦教授为共同通讯作者。

全文链接:https://www.science.org/doi/10.1126/sciadv.adl3135

图:(A)模糊推理系统和所提出的神经-模糊系统的示意图

(B)隶属度函数的隐式实现方式

(C)隶属度函数的显式实现方式

(D)通过稀疏连接实现模糊规则的antecedent

(E)基于忆阻交叉阵列的去模糊化硬件实现方法

(F)基于忆阻硬件系统的实时机器人导航实验

(G)机器人运动轨迹可视化的实时地图

(H)神经-模糊硬件在原位训练中角速度的收敛速度和测试误差率

(I)线速度的收敛速度和测试误差率