科技

类脑计算方法上新!“基于内生复杂性”AI模型运算效率显著提升

2024-08-21   

构建更加通用的人工智能,让模型具有更加广泛和通用的认知能力,是当前人工智能(AI)领域发展的重要目标,而改善传统模型向外拓展规模带来的计算资源消耗问题,已迫在眉睫。

中国科学院自动化研究所李国齐、徐波研究团队联合清华大学、北京大学等借鉴大脑神经元复杂动力学特性,提出了“基于内生复杂性”的类脑神经元模型构建方法,为计算资源消耗的改善,有效利用神经科学发展人工智能提供了示例。该工作发表在《Nature Computational Science》上。

目前流行的大模型路径是基于Scaling Law(尺度定律)去构建更大、更深和更宽的神经网络,可称之为“基于外生复杂性”的通用智能实现方法。这一路径面临着计算资源及能源消耗难以为继、可解释性不足等问题。

本研究首先展示了脉冲神经网络神经元LIF模型和HH模型在动力学特性上存在等效性,进一步从理论上证明了HH神经元可以和四个具有特定连接结构的时变参数LIF神经元(tv-LIF)动力学特性等效。

据介绍,HH模型全称为Hodgkin-Huxley模型,由英国生理学家Alan Hodgkin和Andrew Huxley在1952年基于鱿鱼巨型轴突的电生理实验数据提出,用以描述神经脉冲的产生和传导,并因此获得了1963年的诺贝尔医学或生理学奖。该模型是神经科学领域中的一个重要里程碑,它首次从分子水平上解释了动作电位的产生机制,为后续神经元电生理研究奠定了基础。

基于这种等效性,团队通过设计微架构提升计算单元的内生复杂性,使HH网络模型能够模拟更大规模LIF网络模型的动力学特性,在更小的网络架构上实现与之相似的计算功能。

进一步,团队将由四个tv-LIF神经元构建的“HH模型”(tv-LIF2HH)简化为s-LIF2HH模型,通过仿真实验验证了这种简化模型在捕捉复杂动力学行为方面的有效性。

实验结果表明,HH网络模型和s-LIF2HH网络模型在表示能力和鲁棒性上具有相似的性能,验证了内生复杂性模型在处理复杂任务时的有效性和可靠性。同时,研究发现,HH网络模型在计算资源消耗上更为高效,显著减少了内存和计算时间的使用,从而提高了整体的运算效率。研究团队通过信息瓶颈理论对上述研究结果进行了解释。

本研究为将神经科学的复杂动力学特性融入人工智能提供了新的方法和理论支持,为实际应用中的AI模型优化和性能提升提供了可行的解决方案。目前,研究团队已开展对更大规模HH网络,以及具备更大内生复杂性的多分支多房室神经元的研究,有望进一步提升大模型计算效率与任务处理能力,实现在实际应用场景中的快速落地。

中国科学院自动化所李国齐研究员、徐波研究员,北京大学田永鸿教授是该论文的共同通讯作者。共同第一作者是清华大学钱学森班的本科生何林轩(自动化所实习生),数理基科班本科生徐蕴辉(自动化所实习生),清华大学精仪系博士生何炜华和林逸晗。(瞭新社)

编辑:熊大飞 责任编辑:李响

来源:文汇网

特别声明:本站转载或引用之图文若侵犯了您的合法权益,请与本站联系,本站将及时更正、删除。版权问题及网站合作, 请通过瞭望新时代邮箱联系:lwxsd@liaowanghn.com

推荐阅读 换一换

友情链接