何恺明参与：谷歌DeepMind将视频生成模型变通用视觉智能

52 0 0

文章摘要

AI视觉模型正经历从专用模型向通用视觉智能的范式转变。商汤开源的SenseNova-Vision以及由多所顶尖机构联合发布的GenCeption系统，均是这一趋势的重要探索。GenCeption通过将预训练的文生视频扩散模型改造为单步前馈的通用视觉模型，实现了由文本指令控制的多种视觉任务处理。

构建通用视觉模型的关键在于寻找类似自然语言处理中下一Token预测的通用预训练目标。大规模文本到视频生成能够学习时间演化、三维结构和物理规律，天然与语言对齐且具备持续扩展能力，成为视觉领域理想的通用预训练任务。GenCeption复用文生视频扩散模型学到的时空先验，将多步扩散过程转化为单步前馈模型，直接接收无噪声潜在表示进行单次前向传播，从而输出稳定确定的结果。

在架构与训练设计上，该系统试图统一视觉任务的主干网络、预测头和训练目标。密集视觉任务的结果被统一编码到标准RGB空间，而稀疏视觉任务则通过引入可学习Token和轻量级多层感知机解码为坐标数据。所有任务均采用统一的损失函数进行训练，任务差异主要通过数据格式设计而非架构修改来体现。

在数据利用方面，研究团队采用合成数据以解决真实视频数据标注模态有限的问题。通过在同一个三维场景中生成包含多种标注的视频，实现了多任务数据的时空对齐。GenCeption展现出极高的数据效率，仅需少量下游训练数据即可达到甚至超越部分领先专用模型的性能。

此外，该模型在训练范围之外表现出显著的泛化能力。尽管主要使用合成单人人体视频进行训练，它不仅能够处理真实视频和多人场景，还能将人体相关任务迁移至动物和机器人等未见过的类别。这种强大的泛化能力主要归功于视频生成模型在大规模预训练阶段积累的广泛世界知识，标志着视觉AI正加速迈向通用智能系统。