专访上交大牛力团队 ECCV 2026 新作：基于上下文学习的区域拖拽模型，重塑高精度图像编辑｜GAIR Paper 109

46 0 0

文章摘要

上海交通大学牛力实验室针对传统图像拖拽编辑中控制信息稀疏、易产生视觉断层及复杂变形走样等痛点，提出了全新的上下文区域拖拽模型ICRDrag。该模型首创了基于区域的拖拽编辑机制，通过掩码精准定位局部，实现了移动、缩放与变形的高保真自然过渡。在技术架构上，ICRDrag基于Diffusion Transformer框架构建了上下文学习机制，将原图与源、目标区域掩码直接输入以输出编辑结果。

为实现高精度编辑，研究团队引入了图像与掩码的注意力一致性约束，以及源图与目标图的双向注意力机制。这两种注意力约束有效确保了生成画面的空间边界对齐与细节特征保留，避免了形变过程中的内容溢出或结构变异。此外，模型为图像和掩码分支定制了独立的专属LoRA以防止特征污染，并采用分阶段课程式训练策略，使模型能够适应并精准理解用户手绘的粗糙或不完整掩码。

在数据层面，团队基于百万级视频数据集构建了首个大规模区域拖拽数据集PRD。该数据集包含超过二十八万组高质量配对样本及专用评测基准，彻底填补了该领域缺乏大规模高质量训练数据的行业空白。得益于视频数据中蕴含的连续帧先验知识，该二维拖拽模型在处理大角度转头或肢体形变时展现出了优异的三维空间感知能力。

实验结果表明，ICRDrag在非刚性大形变、大范围位移及跨域真实图库测试中均表现出极高的稳定性和泛化能力。该技术不仅支持多区域协同与锚点锁定，还广泛适用于人像后期、产品设计及构图优化等多种精细化图像编辑场景。未来研究计划进一步优化模型生成速度，并探索多模态引导条件的深度融合，以实现更完美的局部图像创作。