有300亿美元也未必“再造GPT-4”？NUS尤洋最新长文：拆穿AI增长瓶颈的真相

31 0 0

文章摘要

【关键词】 AI瓶颈期、算力转化、智能预测、Transformer、优化策略

当前AI领域正面临智能增长的瓶颈，核心问题在于现有技术范式难以有效消化持续增长的算力。新加坡国立大学尤洋教授指出，过去十年AI的本质是将电力通过计算转化为可复用的智能，但这种转化效率正面临严峻考验。Transformer架构的成功并非源于其更接近人脑，而是因为它作为并行计算机的特性完美契合了GPU的堆料逻辑。然而，随着算力投入的持续增加，关键问题转变为：我们是否还能稳定地将新增算力转化为智能提升？

智能的本质被重新定义为预测能力，特别是对未来状态进行预测并承担实际后果的能力。这一视角解释了为何许多在封闭评测中表现优异的系统在真实世界中表现不佳——它们擅长组织已有信息，却难以在不确定环境中做出稳定判断。预训练、微调和强化学习三者被统一视为算力分配策略，而非方法论之争。当前模型的主要智能来源依然是预训练阶段，因为它消耗了最多的能源与计算资源。

Transformer的成功源于三个因素的共同作用：GPU提供的并行算力增长、架构本身的大规模并行支持，以及Next-Token Prediction提供的统一学习信号。这一范式在语言任务中表现出色，因为语言的高度符号化和序列化特性与训练目标高度一致。但随着算力规模扩大，真正的瓶颈在于现有范式对新增算力的吸收效率可能下降，计算规模的扩大被通信、同步和系统开销所抵消。

判断智能瓶颈的具体标准是：当训练FLOPS增长三个数量级时，能否稳定获得显著更强的模型？FLOPS作为最底层的算力尺度，揭示了算力增长与智能增长之间的映射关系开始松动。在极端算力条件下，吞吐量优化并不自动等价于智能提升，关键在于是否存在扩展性更强的架构或损失函数，能够将新增算力稳定转化为能力增量。

未来可能的突破方向包括：维持计算开销与通信开销的比值、探索更高精度计算、开发高阶优化器、设计更可扩展的架构或损失函数，以及进行更深度的超参数探索。这些探索都指向同一个核心命题：如何让模型在消耗万亿级算力的同时，产生等比例增强的智能。只要还能找到更高效组织计算的方式，智能增长的上限就尚未到来。