源神阿里！图像生成Ovis-Image再开源，7B小参数媲美GPT-4o和20B开源模型

48 0 0

文章摘要

在人工智能领域，图像生成技术正经历着快速迭代。阿里推出的Ovis-Image模型以7B参数实现了媲美20B+开源模型和GPT-4o的文本渲染能力，证明了通过优化的架构设计和训练方法，小模型也能实现高质量输出。该模型采用多模态骨干网支撑，在中文与英文文本渲染任务上展现出卓越性能，且仅需单张高端显卡即可运行，大幅降低了部署门槛。

Ovis-Image的核心创新在于架构的减法与能力的加法。不同于盲目扩大参数规模的主流做法，团队选择优化现有结构，将多模态大模型的最终隐藏状态直接作为图像生成条件输入，避免了冗余的后处理计算。模型由Ovis 2.5多模态大模型、7.37B参数的多模态扩散Transformer（MMDiT）和变分自编码器（VAE）三部分组成，总参数量控制在10.02B。其中Ovis 2.5在OpenCompass基准测试中表现优于同类产品，为图像生成提供了精准语义指引。

数据工程是模型性能的关键支撑。四阶段数据处理流水线构建了模型的知识体系：预训练阶段通过异构语料库和重标注技术确保文本与图像的高度对齐；监督微调阶段提升模型对指令的理解能力；直接偏好优化（DPO）引入人类审美标准；群组相对策略优化（GRPO）则专门打磨文本渲染精度。特别值得注意的是，团队采用合成数据训练模型识别文字作为图像结构的一部分，并通过渐进式训练策略使模型适应不同尺寸的画布要求。

基准测试数据验证了Ovis-Image的越级挑战能力。在CVTG-2K测试中，其词准确率达0.9200，超越Qwen-Image和GPT-4o；中文长文本任务得分0.964，显著优于竞争对手。在保持高性能的同时，模型显存占用不到竞品42%，A100 GPU上生成1024×1024图像仅需30.56秒。这种高效性使其成为实际部署的理想选择。

这项工作的意义在于打破了参数决定论的迷思，展示了通过针对性设计，中等规模模型可以专业化地解决特定问题。Ovis-Image的成功不仅为开源社区提供了高质量文本生成方案，也为AI模型的效率优化提供了新思路。该模型已开放免费试用，其技术路线或将影响未来多模态模型的发展方向。