英伟达智能体安全平台,OpenAI未表态加入 封面图
行业资讯

英伟达智能体安全平台,OpenAI未表态加入

Heooo 09月30日02时57分 15 阅读

「英伟达宣布成立由超过一百家企业组成的开放智能体安全平台,目标解决失控AI智能体问题,Anthropic等为支持者,OpenAI、亚马逊、谷歌与苹果未签署承诺。OpenAI称支持该项目,并正与英伟达合作开发开源沙箱OpenShell,但平台完整能力依赖其专有硬件。」

英伟达宣布成立一个由超过一百家企业组成的联盟,目标是解决失控AI智能体带来的安全问题,并将其命名为英伟达开放智能体安全平台。然而在这份长长的名单中,有一个名字格外显眼地缺席:OpenAI。

英伟达智能体安全平台,OpenAI未表态加入

事实上,OpenAI并非唯一没有签署承诺的大型科技公司,亚马逊、谷歌和苹果同样没有加入。但在这几家缺席者中,OpenAI的缺位最引人注目,原因在于它的直接竞争对手Anthropic恰恰是该联盟的支持者之一。尽管OpenAI没有作出公开承诺,但一位OpenAI发言人向TechCrunch表示,公司支持英伟达的这项工作。按照外界解读,加入联盟通常意味着相关企业会使用并销售某种版本的技术,同时把自身开发的功能回馈给项目。

英伟达开放智能体安全平台是英伟达把自家研发、且在很大程度上开源的智能体安全技术扩散到整个AI生态的一次尝试,直接动因是Anthropic、OpenAI等前沿实验室此前披露的多起失控AI智能体事件。英伟达首席执行官黄仁勋一直把失控AI称作一个普通的工程问题,认为它可以像其他技术难题一样被解决,而开放智能体安全平台正是他这一表态的落地实践。换句话说,这是黄仁勋用真金白银和具体产品来兑现自己的判断。

值得注意的是,OpenAI实际上正在与英伟达就智能体安全展开合作,涉及该平台的关键软件之一OpenShell。OpenShell是一款开源软件,专门构建出一个沙箱,用来阻止智能体逃逸出既定边界。虽然OpenAI没有像其竞争对手Anthropic那样直接成为该倡议的支持者,多少显得有些微妙,但这家前沿AI实验室在事实上支持这项努力,仍是一个积极信号。

英伟达智能体安全平台,OpenAI未表态加入

Hugging Face创始人兼首席执行官Clem Delangue就对此评论称,据目前所知,如果OpenAI在其攻击Hugging Face的那些智能体上运行了这套技术,他们本可以在Hugging Face之前就发现这些智能体。Delangue本月初刚刚把公司以129亿美元出售给英伟达,因此他对这一平台的评价颇受关注。

Delangue还透露,Hugging Face已经向开放智能体安全平台贡献了一项功能,用于检测并关停那些正在以未获授权的方式使用网站的智能体。举例来说,当智能体绕过自身护栏,通过在开源代码托管仓库里互相留言来协调攻击时,这项功能就会介入。而这正是OpenAI所说其失控智能体集群协调攻击Hugging Face的方式之一。

至于包括OpenAI在内的部分大厂为何不愿公开承诺,另一个原因与成本和锁定有关:要使用完整系统,需要一个并不开源的硬件组件,该组件保持专有,并且只能部署在英伟达的硬件之上。

开放智能体安全平台提供的并不只是一个沙箱。它还会在硬件层面对智能体行为进行约束,而在这个层面上,智能体无法察觉自己正被监视。这种软硬件结合的设计思路,也解释了为什么平台的一部分能力必须绑定英伟达的芯片。对于整个AI行业来说,失控智能体的治理正在从各家实验室的内部问题,变成一个需要跨公司协作、并且牵涉开源与专有边界的基础设施议题。

# 英伟达 # OpenAI # AI智能体安全 # 开源 # 沙箱

来源:Heooo AI工具导航