阿里国际发布最新版多模态大模型Ovis,拿下开源第一

AIGC动态2周前发布 AIGCOPEN
291 0 0
阿里国际发布最新版多模态大模型Ovis,拿下开源第一

 

文章摘要


【关 键 词】 多模态图像理解AI应用电商优化开源模型

阿里国际AI团队最近发布了一款名为Ovis的多模态大模型,该模型在图像理解任务上取得了显著进展,多项子类任务达到了SOTA(最新技术)水平。多模态大模型相较于大型语言模型(LLMs),不仅能够处理文本数据,还能处理非文本数据如图像等。

Ovis在多模态权威综合评测平台OpenCompass上的表现尤为突出,其1.6-Gemma2-9B版本在30B参数以下的模型中综合排名第一,超越了MiniCPM-V-2.6等其他行业领先的大模型。Ovis在数学推理问答、物体识别、文本提取和复杂任务决策等方面展现出色表现,能够准确回答数学问题、识别植物品种、支持多语言文本提取,甚至识别手写字体和复杂数学公式。

Ovis模型的五大优点包括创新的架构设计、高分图像处理能力、全面的数据优化、卓越的模型性能以及全部开源可商用的特性。其架构设计中首次引入了可学习的视觉嵌入词表,提升了多模态任务的表现。Ovis的动态子图方案支持处理极端长宽比的图像,展现了出色的图像理解能力。此外,Ovis在多模态问答、指令跟随等任务上的表现也得到了显著提升。

在AI领域,多模态大模型的应用场景广泛,包括自动驾驶、医疗诊断、视频内容理解、图像描述生成、视觉问答等。阿里国际的AI团队已经在40多个电商场景中测试了AI能力,覆盖了跨境电商全链路,基于Ovis模型开发的应用帮助了50万中小商家对1亿款商品进行了信息优化。商家对AI的需求不断增长,近半年的数据显示,平均每两个月,商家对AI的调用量就翻一番。

Ovis模型的相关资源包括论文、Github代码库、Huggingface模型页面和Demo,这些资源为研究人员和开发者提供了进一步探索和应用Ovis模型的机会。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 1094字 | 5分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆

© 版权声明

相关文章

暂无评论

暂无评论...