何恺明团队新作GeoPT，全新预训练范式用合成动力学让模型自学真实物理规律

45 0 0

文章摘要

物理仿真的规模化应用面临两大核心瓶颈，制约着数据驱动型神经网络仿真器的发展。一方面是标注成本极高，训练仿真器依赖传统数值求解器生成的监督数据，一个工业级精度样本往往耗费数万CPU小时，高昂的标签生成成本严重限制了仿真器的规模化；另一方面是静态预训练的局限，仅对海量3D几何数据做静态自监督预训练会缺失动力学维度，无法捕捉物理仿真核心特征，甚至在下游任务中出现负迁移现象。

针对这些问题，何恺明团队提出动力学提升的几何预训练（Dynamics-lifted Geometric Pre-training）范式，核心是通过合成动力学（Synthetic Dynamics）将静态几何“提升”到“几何+动力学”联合空间。该方法不依赖昂贵的真实物理标签，而是通过随机采样每个粒子的速度构建合成速度（Synthetic Velocities），让模型追踪几何特征沿合成轨迹的演化，以此获取完全由几何构建的感知动力学监督信号，使模型在接触真实标签前，就能通过海量无标签几何数据学习物理演化的通用空间约束与耦合规律。同时，该框架提供统一接口，预训练与微调阶段均接收几何和速度输入，微调时只需将随机速度替换为编码特定仿真设置的任务特定速度，即可适配空气动力学、水动力学、碰撞仿真等多样化物理任务。

在训练效率上，该方法处理一个样本仅需约0.2秒，比工业级CFD仿真快10^7倍，80核CPU仅需3天即可生成5TB预训练数据集。实验结果显示，在达到相同精度时可节省20-60%的物理仿真数据，微调阶段的收敛速度比从头训练快2倍，且随着模型层数增加和预训练数据量增大，性能持续稳步提升，展现出“物理大模型”的潜力。这一范式证明，大规模无标签几何+简单的合成动力学自监督=强大的跨领域物理仿真能力，为构建通用物理仿真基础模型开辟了可扩展路径。