政策法规

百余组织提议AI智能体事故追踪机制

Heooo 08月12日12时35分 34 阅读

「英伟达、思科等120多个组织组成联盟,提议为AI智能体建立统一的事件报告追踪机制,即共享人工智能发现交流(SAFE)框架。该框架要求成员披露智能体事故并保存详尽记录,通过分析共享事故数据提出安全控制建议,以弥补业界缺乏标准安全报告方法的空白。」

随着AI智能体在计算机系统中获得越来越大的自主权,业界始终缺乏一套标准化的安全故障报告与经验总结方法。为此,包括英伟达、思科和CrowdStrike在内的120多个组织组成的开放安全人工智能联盟,正在提议建立一项名为“共享人工智能发现交流”(SAFE)的新框架,旨在为涉及AI智能体的网络安全事件提供统一、透明且可追溯的报告机制。

SAFE框架是一份关于如何报告AI智能体相关安全事故的拟议指南,其核心目标是让模型部署者、AI开发者、云和工具提供商、独立研究人员、关键基础设施运营商及其他相关团体共同参与。草案还邀请政府机构作为“非控制性观察员”介入,以便在不妨碍行业自主性的前提下形成多方协同的安全生态。

根据草案内容,SAFE成员需要报告的事件类型包括:AI系统未经授权访问或利用第三方系统、泄露机密信息,以及在操作员怀疑活动未经授权后仍然继续探测生产目标。此外,成员还须上报某些险些发生的事件,并保存完整的证据链,包括提示词、智能体追踪记录、工具调用、身份信息、权限和凭证等。这些详实的事故记录将构成后续分析的重要基础。

在报告时间线上,SAFE拟定了明确的时间节点:成员应在事故发生后尽快通知受影响组织,四个工作日内提交初步保密报告,在适当情况下于30天内发布初步事实报告,并在90天内提供补救措施更新。这种分阶段披露机制既保障了时效性,也为深入调查留出了空间。

SAFE并非单纯收集报告,它还会对汇聚的事故数据进行交叉分析,识别重复出现的故障模式,并提出共享的安全控制建议。英伟达企业计算副总裁兼总经理Justin Boitano在黑帽大会上表示,该计划以美国国家航空航天局的航空安全报告系统为蓝本,后者可利用飞机飞行记录仪捕获的数据来调查事故原因。航空业的成熟经验为AI智能体的安全治理提供了可借鉴的范本。

值得注意的是,联盟认为网络安全领域现有的共享威胁情报文化将有助于这一框架的落地。英伟达副首席信息安全官兼副总裁Julien Soriano表示:“几乎没有遇到任何阻力。我们看到人们都愿意参与进来,他们渴望分享。”目前,开放安全人工智能联盟正通过由Linux基金会主办的征求意见流程,就该提案向更广泛的社区征集反馈,以进一步完善这一行业自发的安全治理方案。

# AI安全 # 事件报告 # 智能体

来源:Heooo AI工具导航