文章摘要
【关 键 词】 模型安全、智能体、安全框架、行为安全、蚂蚁开源
随着人工智能能力的不断增强，智能体产品在快速普及的同时也暴露出频繁的安全漏洞，滥用工具与恶意代码生成等行为风险日益凸显。传统的安全防护主要依赖内容审核与漏洞修补，已无法有效应对未知风险和动态变化的业务规则。AI安全风险的源头已从单纯的内容输出转向模型行为本身，行业亟需从漏洞修补转向构建能够定义安全边界的底层安全框架。
针对这一趋势，蚂蚁集团开源了两套安全框架，旨在将安全风险扼杀在执行之前。面向智能体行为安全的双模推理护栏框架SingGuard-NSFA，将安全检查前置，通过生成式与判别式两种模式同步进行风险拦截，兼顾离线合规审计与高吞吐实时在线拦截。该框架采用轻量分类头设计，具备原生可扩展性，在多项评测基准中达到最优水平。面向多模态大模型感知的SingGuard框架，将安全规则作为运行时输入，支持不同业务域动态下发红线。其推理侧采用快慢思考分工机制，并结合RI-Mask技术，大幅提升了多模态推理与多条规则并行审核的效率。
这两套框架虽然侧重点不同，但均强调审核过程的可解释性以及应对新增风险的轻量级扩展能力，致力于成为未来智能体运行所依赖的安全基础设施。结合此前在漏洞挖掘、产品全生命周期安全方案等方面的探索，相关企业的安全布局已逐步从具体问题修复演进为体系化的底层框架建设，并获得了权威评测机构的最高等级认证，展现出清晰的工程落地能力。
随着智能体深度融入办公、开发和生活等各类应用场景，依靠补丁维持安全的模式已难以持续，建立一套能够持续适应风险变化的安全基础设施、明确人工智能时代的安全边界，已成为整个行业下一阶段发展的核心议题。
原文和模型
【原文链接】 阅读原文 [ 2120字 | 9分钟 ]
【原文作者】 量子位
【摘要模型】 qwen3.7-max-2026-05-20
【摘要评分】 ★★★★★
相关文章
