MLP一夜被干掉!MIT加州理工等革命性KAN破记录,发现数学定理碾压DeepMind

AIGC动态7个月前发布 AIera
983 0 0
MLP一夜被干掉!MIT加州理工等革命性KAN破记录,发现数学定理碾压DeepMind

 

文章摘要


【关 键 词】 神经网络机器学习Kolmogorov-Arnold物理规律AI变革

新智元报道了一项由MIT、加州理工、东北大学等机构的团队发布的全新神经网络结构——Kolmogorov–Arnold Networks(KAN)。这项研究挑战了一直以来统治机器学习领域的多层感知器(MLP)架构,预示着机器学习新纪元的开启。

KAN的理论基础是柯尔莫哥洛夫-阿诺德定理(Kolmogorov–Arnold representation theorem),该定理表明,如果一个函数是定义在有界域上的多变量连续函数,那么它可以表示为多个单变量、加法连续函数的有限组合。研究人员将可学习的激活函数从节点(神经元)移到边(权重)上,这一改变与逼近理论有着深刻的联系。

实验结果显示,KAN在性能上比传统的MLP更优越,提升了神经网络的准确性和可解释性。KAN的可视化和交互性让其在科学研究中具有潜在的应用价值,能够帮助科学家发现新的数学和物理规律。研究中,作者用KAN重新发现了纽结理论中的数学定律,并以更小的网络和自动化方式复现了DeepMind在2021年的结果。

此外,KAN在物理方面也显示出潜力,可以帮助物理学家研究Anderson局域化等相变现象。研究中KAN的所有示例(除了参数扫描)在单个CPU上不到10分钟就可以复现,显示出其高效性。

谷歌DeepMind研究科学家评论称,Kolmogorov-Arnold再次出击,展示了这种表示与集合/GNN聚合器构建方式之间的复杂联系。MIT教授Max Tegmark表示,最新论文表明,一种与标准神经网络完全不同的架构,在处理有趣的物理和数学问题时,以更少的参数实现了更高的精度。

KAN的诞生被视为人工智能训练和微调方式的重大变革,有人甚至认为这标志着AI进入了2.0时代。有网友形象地比喻KAN和MLP的区别:KAN就像一个可以烤任何蛋糕的三层蛋糕配方,而MLP是一个有不同层数的定制蛋糕。MLP更复杂但更通用,而KAN是静态的,但针对一项任务更简单、更快速。

原文和模型


【原文链接】 阅读原文 [ 6190字 | 25分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...