独家专访丨苏炜杰加入OpenAI：Scaling Law撞墙后为什么需要数学家出手？

57 0 0

文章摘要

大模型发展正步入深水区，面临缩放定律见效减缓、高质量数据枯竭及可解释性不足等瓶颈，单靠工程经验已难以突破。统计学与数学等理论基础在解决当前人工智能核心难题中的重要性日益凸显。宾夕法尼亚大学统计学教授苏炜杰近期加入OpenAI参与模型训练，其深厚的学术背景契合了行业对理论研究的迫切需求。他选择投身工业界前沿实验室，旨在利用充足的算力与基础设施，对长期关注的基础学术问题进行更大规模的实验验证。

随着基础设施成熟与编码智能体普及，人工智能研发重心正从单纯工程能力向创新思想转移。大模型性能提升的关键在于复杂环境下高难度任务的稳健性，这要求对数据分布、泛化能力及不确定性具备深刻洞察。针对行业核心挑战，相关学者提出了系统性理论视角。关于缩放定律，数据并非单一变量，其信息密度与任务结构差异显著，新数据的智力密度能否维持模型扩展仍需实证。对于对齐税问题，增强模型能力可缓解对齐带来的性能下降，但数据、模型与人类反馈交互的中间尺度仍是理论难点。

在合成数据应用方面，直接且无处理地反复使用会导致数据分布变窄并引发模型崩溃。通过在合成数据生成与筛选中引入外部信息与环境反馈，构建带反馈的开放系统，合成数据路线依然具备可行性。此外，思维链机制带来的推理跃升，本质上反映了在复杂问题中寻找合理答案需经历大量思考与试错。当前学术界与工业界边界正在消融，人工智能在知识广度上超越人类但在专业深度上尚有欠缺，这与学术界精益求精的特点形成互补。人工智能的持续进化与专业领域能力的突破，将深度依赖于学术界的紧密协作与理论支撑。