继Ilya之后,KAN一作再发檄文:Scaling终将撞铁壁!

AIGC动态4小时前发布 AIera
62 0 0
继Ilya之后,KAN一作再发檄文:Scaling终将撞铁壁!

 

文章摘要


【关 键 词】 AI研究Scaling LawAGI发展结构主义智能压缩

Scaling Law虽然能通过「穷举」达成目标,但其本质是用无限资源换取伪智能。斯坦福大学博士后刘子鸣指出,当前大模型依赖庞大的算力和数据,但这种做法只是表面上显得聪明,而非真正的通用人工智能(AGI)。他认为,真正的AGI应遵循简洁的结构,而非盲目扩大规模。资源有限性将成为Scaling Law的两大瓶颈:能源与高质量数据的枯竭将迫使研究者寻找更高效的路径。

智能的核心在于压缩,而结构是实现压缩的关键。刘子鸣以自然科学的发展为例,指出开普勒和牛顿通过发现行星运动的规律性结构,实现了对复杂现象的简化描述。相比之下,现代AI仍停留在数据驱动的「第谷时代」,尽管Scaling Law提供了经验性规律,但并未触及更深层的理论。正确的物理结构不会因模型规模的扩大而自动涌现,缺乏显式结构的设计会限制AI的效率和泛化能力。

不同于符号主义或联结主义,刘子鸣提出结构主义作为第三条路径。结构主义强调任务的可压缩性差异,主张根据任务类型施加合适的结构。例如,类物理任务高度可压缩,符号公式可能从中涌现;类化学任务结构清晰但符号不完整;类生物任务则依赖统计归纳。Kolmogorov-Arnold Networks(KANs)被视作结构主义的实践,其设计既能捕捉多变量函数的组合结构,又避免了神经-符号混合的不稳定性。抽象能力被列为AGI的核心瓶颈,而抽象的本质在于结构的比较与复用。

当前AI系统的结构化更多依赖外部干预,如思维链(CoT)数据监督。未来突破需转向内在结构主义,即让通用结构在模型内部自然涌现。刘子鸣认为,高效、可适应且具备物理基础的AGI必须依托于对世界结构的建模,因为物理世界本身具有高度的可压缩性和组合性。结构主义并非妥协,而是对联结主义和符号主义的统一,其长远潜力可能超越Scaling Law的工程化路径。

原文和模型


【原文链接】 阅读原文 [ 2709字 | 11分钟 ]
【原文作者】 新智元
【摘要模型】 deepseek/deepseek-v3-0324
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

“讯飞星辰”

暂无评论

暂无评论...