视频通用模型来了！DeepMind 再证「生成即理解」，何恺明参与

AIGC动态3小时前发布 almosthuman2014

56 0 0

文章摘要

传统视频理解方法通常通过逐层剥离信息来完成任务，容易引发数据难以对齐和误差累积等问题。为解决此痛点，谷歌DeepMind提出GenCeption系统，将视频生成模型改造为由文本指令控制的通用视频理解系统，将“生成即理解”理念延伸至视频领域。大规模文本到视频生成能够学习时空物理规律并与语言对齐，因此视频生成可作为视觉领域的通用预训练任务。

GenCeption的核心在于复用预训练的文生视频扩散模型，将多步扩散改造为单步前馈模型。输入视频时，仅需更改文本指令即可在深度估计、分割等多种任务间无缝切换。该架构统一了各类视觉任务的主干网络、预测头和训练目标，将任务差异从模型架构修改转移到数据格式设计上。同时，研究团队利用合成数据生成具备天然时空对齐特性的多模态标注，有效解决了真实数据标注有限且难以对齐的难题。

实验结果表明，GenCeption在多个基准测试中接近或超越现有专用模型，且多任务联合学习未导致明显性能下降。对比实验证实，生成式预训练显著优于其他视频表征学习方法，并能以极少量的下游训练数据达到行业领先性能。此外，模型展现出卓越的泛化能力，仅依靠合成人体视频进行后训练，便能处理真实场景，甚至将任务迁移至动物和机器人等未见类别。

这种跨域泛化能力证明，视频生成模型在预训练阶段已掌握广泛的时空结构知识，下游训练实质上是提供读取已有知识的接口。尽管在动作语义和因果推理等深层理解方面仍有探索空间，但该研究验证了视频生成式预训练能学习到支持多种视觉任务的通用表征，为未来利用通用基础模型和有限样本开发新视觉任务确立了全新范式。