前 OpenAI 研究员 Kevin Lu：别折腾 RL 了，互联网才是让大模型进步的关键

100 0 0

文章摘要

前 OpenAI 研究员 Kevin Lu 在其博客文章《The Only Important Technology Is The Internet》中提出，互联网而非 Transformer 等模型架构，才是推动人工智能进步的核心技术。他认为，尽管 Transformer 架构在 AI 发展中起到了重要作用，但互联网提供的海量、多样化数据才是模型能力提升的关键。互联网不仅为模型提供了自然的学习课程，还代表了人们真正关心的能力，并且是一种经济上可行的规模化部署技术。相比之下，单纯优化模型结构或手工制作数据集难以带来质的飞跃。

Kevin Lu 指出，自 GPT-4 以来，基础模型的能力并未显著提升，这可能与研究方向的偏差有关。他强调，人工智能的本质在于消费数据，而互联网为模型提供了丰富的监督来源，是模型训练的基石。无论是 next-token 预测还是强化学习，互联网都是不可或缺的数据来源。互联网的去中心化特性确保了数据的多样性，而它的经济性则使得大规模数据收集成为可能。

文章还探讨了互联网作为模型训练的自然学习路径的重要性。互联网包含了从基础教育到前沿科学的广泛知识，为模型提供了平滑的学习曲线。这种多样性不仅帮助模型掌握复杂的技能，还确保了模型能够适应不同的任务和场景。此外，互联网的用户参与度也为模型提供了持续的数据更新，确保了模型的动态发展。

在强化学习方面，Kevin Lu 认为，尽管强化学习是未来实现超人智能的必要条件，但目前缺乏通用的数据源。互联网作为 next-token 预测的对偶，为强化学习提供了潜在的解决方案。然而，如何找到强化学习的对偶系统，仍然是一个未解的难题。文章最后呼吁研究者将更多精力投入到互联网的研究中，而非过度关注模型架构的优化。

总的来说，互联网不仅是人工智能发展的核心驱动力，还为模型训练提供了多样化的数据来源和自然的学习路径。通过深入研究互联网，人工智能研究者可以更好地推动技术的进步，实现更广泛的应用。