NUS尤洋教授深度探讨智能增长的瓶颈：或许我们将这样实现AGI？

AIGC动态2小时前发布 almosthuman2014

41 0 0

文章摘要

尤洋教授在《智能增长的瓶颈》中系统分析了当前AI发展的核心矛盾与突破方向。 智能增长的本质并非架构变革，而是算力如何高效转化为智能。当前以Transformer架构和超大算力为基础的范式面临预训练红利递减的困境，核心矛盾在于现有算法无法充分消化持续增长的算力资源，即使算力指数级增长，智能提升仍将受限。

关于智能的本质，学界尚未形成统一定义，但预测和创作能力被视为核心特征。通过列举医疗决策、地震预测等九个具体场景，勾勒出AGI可能达到的里程碑式标准。当前技术距离这些目标仍有明显差距，关键在于突破智能发展的瓶颈。

过去十年AI大模型的技术本质是将电力能源通过计算转化为可复用智能，其中预训练阶段消耗的算力占比最大。Transformer架构之所以脱颖而出，在于其并行计算特性完美匹配GPU的硬件特性，而Next-Token Prediction的损失函数设计则提供了近乎无限的训练数据。这种组合虽然成功，但随着算力规模扩大，其效率瓶颈日益显现。

未来突破方向需要从多个层面进行探索：硬件层面需提升绝对算力规模并优化计算/通信开销比；算法层面需开发更高精度计算、高阶优化器、更灵活的损失函数设计；训练策略上则需要探索更有效的超参数优化和训练周期管理。值得注意的是，效率优化技术与智能提升技术存在本质区别，后者关注的是在相同浮点计算次数下能否获得更好的模型性能。

尽管面临挑战，智能增长的前景依然乐观。历史经验表明，依托计算能力的通用方法终将取得突破。就像天气预报技术的演进，面对地震预测等更复杂问题，AI技术在处理高维多模态数据方面具有独特优势。关键在于持续探索更高效的算力利用方式，这可能需要跳出当前范式的根本性创新。