打破显存墙：谢赛宁团队提出CLM，单卡RTX 4090「撬动」1亿高斯点

文章摘要

【关 键 词】 3D建模、新视角合成、GPU优化、内存管理、计算机视觉

3D Gaussian Splatting (3DGS)是一种基于各向异性3D高斯体构建场景表示的新视角合成技术，能够通过带位姿的图像训练快速渲染未见视角，在渲染速度和图像质量上均表现优异。该技术已广泛应用于3D建模、数字孪生、影视特效、VR/AR和机器人视觉重建等领域。其核心挑战在于显存限制——随着场景复杂度提升，所需高斯体数量呈指数增长，导致消费级GPU无法承载大规模场景训练。

谢赛宁团队提出的CLM系统通过创新性卸载策略突破这一瓶颈。研究发现，3DGS计算具有高度稀疏性：单个视角仅访问0.39%-1.06%的高斯体，且访问模式呈现空间局部性——相邻视角倾向于访问重叠的高斯集合。基于此，CLM采用四级优化：提前计算访问集实现数据预加载；建立GPU缓存机制减少重复传输；优化微批次调度顺序以提升缓存命中率；并行化梯度计算与参数更新。

实验证明，CLM可在RTX 4090上处理1.02亿高斯体的超大场景，模型规模较基线提升6.1倍。系统通过动态加载视锥内高斯体至GPU，将剩余数据保留在CPU内存，配合流水线并行设计，使数据传输与计算完全重叠。评估显示，即便在小场景中，CLM相较无卸载系统仅产生适度性能开销，而重建质量显著提升。该方法不仅解决了显存壁垒，其基于稀疏性和局部性的优化思路也为其他内存密集型任务提供了新范式。

原文和模型

【原文链接】 阅读原文 [ 2295字 | 10分钟 ]
【原文作者】 机器之心
【摘要模型】 deepseek/deepseek-v3-0324
【摘要评分】 ★★☆☆☆

派欧算力云 – AI 云端一体化解决方案: 模型 API、Serverless、GPU 租赁

派欧算力云提供全面的 AI 云端平台解决方案,包括模型 API、Serverless 和高性能 GPU 实例等,帮助您节省高达 50% 的成本,并同时加速 AI 产品的构建和业务发展,助力企业实现创新突破,赢得市场竞争优势。