The Information爆料:OpenAI调整大模型方向,Scaling Law撞墙?

The Information爆料:OpenAI调整大模型方向,Scaling Law撞墙?

 

文章摘要


【关 键 词】 AI发展数据匮乏模型改进智能提升成本问题

根据研究预测,大型语言模型(LLM)的发展可能在2028年因数据储量耗尽而放缓。然而,The Information的报道指出,OpenAI的下一代模型提升幅度不及前代,AI产业正转向模型的后训练提升,同时OpenAI已成立团队应对数据匮乏。尽管有争议,但多数观点倾向于认同OpenAI的立场,认为AI发展短期内不会放缓。

OpenAI的员工和研究者对报道中的观点表示反对,认为AI发展不会短期内放缓,且对OpenAI CEO关于AGI发展路径的言论表示认同。报道中提到,尽管OpenAI的Orion模型在智能和任务处理能力上与GPT-4相当,但其性能提升幅度小于GPT-3和GPT-4之间的提升。此外,Orion在某些任务上可能不如前代模型,且运行成本可能更高。

AI行业正在探索训练后模型改进的新方法,以应对基于训练的scaling laws提升放缓的挑战。OpenAI正在将更多编程功能融入模型,以应对竞争对手的威胁。同时,公司仍在开发昂贵的数据中心以提升预训练模型性能,尽管有研究者提出更先进的模型可能在经济上不可行。

OpenAI员工和研究者表示,GPT提升放缓的原因之一是高质量数据供应减少。为此,OpenAI成立了基础团队研究数据匮乏问题和大模型扩展定律的持续性。Orion部分接受了AI生成数据的训练,但这种合成数据可能导致Orion在某些方面与旧模型相似。

风险投资人Ben Horowitz指出,尽管GPU数量增加,但智能改进并未随之提升。OpenAI研究人员正在利用其他工具在训练后改进LLM,如强化学习和带有人类反馈的强化学习(RLHF)。此外,OpenAI还在开发推理模型o1,该模型需要更多时间处理数据,但可以通过增加计算资源提高响应质量。

一些投资者怀疑大语言模型的进步速度是否开始趋于平稳,而其他科学家则认为大模型在某些方面仍在进步,尽管在执行通用任务方面进展缓慢。OpenAI的o1模型因其能提供反馈或想法而受到数学家和其他科学家的欢迎,但其价格较高,尚未广泛使用。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 2958字 | 12分钟 ]
【原文作者】 Founder Park
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...