AI视觉原生统一！商汤开源视觉任务大统一模型SenseNova-Vision

37 0 0

文章摘要

商汤科技正式发布并全面开源日日新 SenseNova-Vision 理解生成统一视觉大模型，完成了大模型体系的重要视觉能力升级。该模型创新性地将各类计算机视觉任务统一建模为多模态生成问题，彻底打破了长期以来一个任务对应一个模型的结构性瓶颈。模型在单一共享表征空间内原生覆盖了结构化视觉理解、稠密几何预测、图像分割与多视角3D几何等经典任务，实现了文本与图像生成空间中的统一建模。通过自然语言指令与视觉提示，模型能够以原生文本、图像或图文混合形式进行输出，无需视觉任务专属的预测头或额外架构分支。

在性能表现方面，SenseNova-Vision将视觉任务融入通用多模态生成后，通过跨任务知识互补实现了显著的性能飞跃。单模型在结构化视觉理解、稠密几何预测、图像分割以及多视角3D几何等核心领域的权威评测中，比肩甚至全面超越了专用专家模型。得益于原生通用底座带来的智能涌现，模型在复杂干扰场景中展现出惊人的泛化能力。无论是零样本下的游戏画面精细化处理、超稠密场景中的独立个体精准剥离，还是看穿镜面反射与突破视觉错觉，模型均能准确估计真实空间方向与深度关系，展现出对物理世界几何本质的深刻理解。

这种大一统设计促使视觉AI从特定指令的执行工具升级为通用的世界理解模型。跨任务的知识互补不仅赋予了模型单任务难以企及的抽象推理能力，更使其成长为对视觉世界拥有通用认知的基础多模态底座。为支撑大规模训练与生态发展，商汤同步开源了包含五千万条高质量样本的视觉指令语料库。这种统一范式显著降低了视觉AI的应用门槛，开发者仅需维护单个模型即可覆盖高频视觉需求，从而大幅缩短研发周期并降低部署成本，为复杂图像与开放场景下的应用开发提供了全新解法。