下一个Transformer可能又被Google做出来了

42 0 0

文章摘要

当前顶尖大模型被比喻为患有顺行性遗忘症的患者，它们仅能依赖预训练阶段获得的”出厂知识”进行回应，而无法将交互中获得的新信息转化为长期记忆。Google研究员Ali Behrouz在论文《Nested Learning: The Illusion of Deep Learning Architectures》中提出，这种局限性源于传统AI架构中”架构”与”优化器”的人为割裂，创造了一种虚假的二元对立。

论文提出的嵌套学习理论打破了训练与推理的界限，认为智能应是一个连续的记忆压缩过程。基于此，团队开发了HOPE框架，其核心在于模拟人类大脑的多层次记忆系统：快系统Titans模块像海马体般处理即时信息，慢系统CMS则如同大脑皮层分频段存储知识。这种设计使得模型能够在保持基础能力的同时，实现渐进式的知识更新，有效缓解灾难性遗忘问题。

技术实现上，HOPE通过三个创新突破传统局限：首先是将MLP网络划分为不同更新频率的层级，允许知识按重要性梯度沉淀；其次是开发了具备记忆能力的M3优化器，能同时关注局部梯度与全局损失地形；最后提供了Ad-hoc Level Stacking技术，使现有模型可通过改造接入这一体系。实验数据显示，这种架构在ImageNet等任务中展现出更优的收敛性能。

这项研究引发的范式转变远超技术层面。它挑战了”智能源于静态深度”的行业共识，提出预训练本质上是超长上下文的即时学习，模糊了训练与应用的边界。这种视角将AI从固定产品重新定义为持续进化的有机体，为AGI发展提供了新方向：智能不应是被灌输的静态知识，而是在交互中动态生长的能力。

业界反响呈现多元态势：乐观者视其为Transformer级别的突破，特别赞赏其赋予AI的”元认知”潜力；实用主义者关注其在企业场景降本增效的价值；质疑者则指出理论数学基础尚待完善，工程复杂度可能陡增。无论如何，这项研究标志着AI发展焦点从参数规模转向学习机制的深层探索，揭示出”存在即压缩，活着即学习”的智能本质。