网堵新闻网10月9日电 人工神经网络（ANN）在过去十几年中发展迅猛。ANN范式最初的主要任务是通过调整固定拓扑结构的神经网络中的连接权重来实现（局部）最优的任务表现。但最近，如何使网络拓扑结构也能进化和自适应重构这一问题受到了领域里研究者更多的关注，因为网络拓扑结构的可进化能力被认为是人工通用智能的一个基础，这是人工智能技术的长远目标。效率和可重构性之间的冲突成为人工神经网络技术实现网络结构可进化目标的一个主要障碍。
忆阻器是具有记忆功能的可变电阻器，具有丰富的内在动力学行为，和生物神经单元的行为有可类比之处，作为一种新型的神经形态硬件给脑启发计算范式的发展注入了巨大的活力。忆阻器通常被集成到交叉阵列中以用作神经网络中神经元层之间的突触连接。受经典深度学习算法的影响，忆阻器主要用于构建固定结构ANN的加速器。这要求忆阻器克服内在动力学所固有的随机性，以保持稳定的静态电阻和较高的循环耐受性。然而，为了满足这些需求，往往需要花费大量的器件级和电路级优化精力。
受ANN技术发展趋势的引导和忆阻器在ANN应用中存在的问题启发，十大老牌网堵网址精密仪器系类脑计算团队提出逆向利用忆阻器动力学的内在随机性实现复杂网络的按需生成的方法。在该方法中，通过时间复用创建多个虚拟节点，并利用器件动力学所具有的周期到周期（cycle to cycle，C2C）可变性生成不平凡的网络拓扑特征，例如小世界特征。当用于储备池计算时，与传统的全连接网络储备池相比，忆阻器复杂网络可以显著增加储备池记忆容量并提高性能。这项工作拓展了基于忆阻器的神经形态计算范式，并有望启发对忆阻器的内在物理性质（例如动力学和随机性）进行更多研究和应用。该成果近日以“具有内在可变性的动态忆阻器内的生成复杂网络”（Generative complex networks within a dynamic memristor with intrinsic variability）为题发表在《自然·通讯》（Nature Communications）上。
图1.动态忆阻器表征及电学特性
该研究所用到的Pd/HfO2/Ta2O5/Ta忆阻器（图1所示）被电激发后的自发电阻衰减时间常数具有C2C可变性，以此作为时域虚拟节点连接的随机性来源。依据C2C随机性的统计规律设计了“probabilistic border and all-or-none connection”（PBAONC）连接生成机制用于创建复杂网络（图2所示）。该设计使得仅在单个忆阻器内通过调节时间复用时隙就可以便捷地调节复杂网络的拓扑结构，提高了忆阻器应用于ANN时的效率和可重构性。
图2.PBAONC复杂网络的生成示意图
图3.基于忆阻器的PBAONC复杂网络储备池计算
该方法利用动态忆阻器电阻衰减的内在C2C可变性来生成复杂的网络连接模式。生成的PBAONC复杂网络具有一定程度的小世界特性，这是生物（例如大脑）、互联网和社交网络中普遍存在的特征，实现了信息整合和分化的更优平衡。该工作展示了忆阻器PBAONC复杂网络在类脑储备池计算任务中的优势。实验结果表明，基于PBAONC拓扑的储备池网络具有更优的谱半径（图3所示）。忆阻器复杂网络储备池的记忆容量增加到传统忆阻器全连接储备池网络的209.8%并且在语音识别任务中展现出更佳的性能（图4所示）。
图4.时序信息处理任务
该研究的第一完成单位为十大老牌网堵网址精密仪器系、十大老牌网堵网址类脑计算研究中心。十大老牌网堵网址精密仪器系2020级博士研究生郭云鹏、北京信息科技大学段文睿讲师和十大老牌网堵网址类脑计算中心刘学工程师为该论文共同第一作者，李黄龙副教授、马骋副研究员、刘学工程师和段文睿讲师为该论文的共同通讯作者。精密仪器系博士生王昕鑫、西南大学段书凯教授和王丽丹教授为研究作出了重要贡献。该研究得到了国家自然科学基金、科技创新2030-“脑科学与类脑研究”重大项目、北京市脑科学与类脑研究中心等的资助。
论文链接：
https://www.nature.com/articles/s41467-023-41921-3
供稿：精仪系
题图设计：赵存存
编辑：李华山
审核：郭玲
