当 AI 开始替你花钱，谁来替 AI 踩刹车？

55 0 0

文章摘要

随着智能体技术的普及，AI代替用户执行支付、下单等现实操作正成为日常，但这引发了全新的系统性操作风险。在智能体时代，安全风控的核心已从验证操作者是否为本人，转变为确认AI执行的是否为用户的真实意图。由于大模型在处理外部内容与用户指令时容易混淆，攻击者可通过提示词注入等手段，诱导AI执行越权操作或窃取隐私数据。

为应对上述挑战，蚂蚁集团开源了SingGuard与SingGuard-NSFA两套安全框架，分别针对模型内容安全和智能体操作安全构建防御体系。SingGuard-NSFA专注于智能体操作安全，通过构建包含七大类、一百八十五种具体风险的安全地图，在工具调用前实施实时拦截。该框架采用轻量分类头技术，将拦截窗口控制在百毫秒以内，并结合难负样本训练，使模型能够深入理解操作意图而非仅识别表面危险词汇，显著提升了风险识别准确度与跨模型兼容性。

针对模型内容输入中存在的跨模态隐蔽恶意和变形文字绕过等威胁，SingGuard框架实现了文本、图像及多模态内容的联合审查。该框架支持在运行时动态读取新增的安全规则，采用快慢双层的混合判断模式，有效降低了推理成本并避免了模型的先入为主偏差。在多项权威评测中，其在多语言、多模态等维度的综合识别能力均处于行业领先水平，且统一处理多模态内容并未牺牲基础检测能力。

AI安全正从单纯的内容审核演变为系统级的安全基础设施，决定人工智能发展上限的不仅是模型能力，更是安全防御能力。这两套框架的开源，标志着行业在构建智能体时代新信任体系方面迈出关键一步。通过双管齐下的防御策略，不仅能确保AI在复杂多模态环境下的内容合规，更能保障其在现实世界执行操作时的意图准确与权限可控，为智能体技术的规模化落地提供了坚实的安全护栏。