文章摘要
【关 键 词】 多模态、智能体、经验复用、视觉知识、技能沉淀
openJiuwen社区正式发布了业界最早工程化落地的多模态Skill范式Skill-Omni，旨在解决当前智能体技能主要依赖纯文本、难以处理视觉和图形用户界面任务的局限性。该范式将智能体的经验从纯文本升级为包含视觉知识的多模态形式，使其能够直接复用网页和视频中的操作脉络与界面状态。 传统的纯文本技能在图像编辑和界面自动化等任务中，往往因为缺乏视觉参考而导致执行标准模糊，而多模态信息的引入显著扩大了智能体的决策信息空间，提升了其决策能力的上限。
为了实现这一目标，JiuwenSwarm平台内置了用于生成多模态技能的元技能工具。该工具支持将网页图文教程和视频链接转化为智能体可读取的经验资产。在处理网页时，系统会自动解析内容、过滤无关图像，并将关键截图与文字步骤重组；在处理视频时，系统则通过筛选关键帧和识别操作节点来提取时间轴上的核心变化。这种转化机制使得原本面向人类的图文和视频教程，被高效沉淀为智能体可调用的多模态经验库。
在技能读取与执行阶段，平台采用按需读取机制以应对上下文长度限制。系统会在运行时检测环境并动态注入提示，引导智能体在需要时主动调用视觉证据，避免了一次性加载大量图片导致的上下文过载。多模态技能在此过程中不仅作为参考资料，更成为智能体判断任务结果质量的核心视觉标准。 这一技术特别适用于图像编辑、图形用户界面自动化、视频教程沉淀以及企业知识库升级等高度依赖视觉状态和空间信息的场景。
Skill-Omni打通了从提取视觉经验到沉淀多模态技能，再到智能体按需读取与执行的完整链路。这标志着智能体的技能体系正从单一的纯文本说明向多模态经验工程体系演进，并为未来探索物理交互场景下的物理技能奠定了坚实基础。
原文和模型
【原文链接】 阅读原文 [ 2822字 | 12分钟 ]
【原文作者】 量子位
【摘要模型】 qwen3.7-max-2026-05-20
【摘要评分】 ★★★★★
相关文章
