行业资讯

奥尔特曼提议AI行业建立事故公开上报机制

Heooo 09月17日02时34分 27 阅读

「OpenAI 首席执行官奥尔特曼在 Dreamforce 大会上提出,AI 行业应借鉴航空业经验,建立公开的事故上报与复盘机制。他认为新兴技术难以完全避免事故,关键在于如实披露并迅速汲取教训,并强调对齐、安全与监控工作必须领先于模型能力提升速度,否则应主动放缓甚至暂停研发。」

OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)在赛富时(Salesforce)的 Dreamforce 大会上发表讲话,提出科技企业应当建立公开上报人工智能事故的企业文化,并建议借鉴航空业的成熟做法。他认为,对于一项新兴技术而言,一定程度上的事故是难以避免的,真正重要的是形成一套完善的事故上报与复盘学习机制。

奥尔特曼以美国联邦航空管理局(FAA)和美国国家运输安全委员会(NTSB)作为 AI 行业应当效仿的范例。他指出,这两家机构十分重视事故调查,正是这套机制让航空出行变得更加安全。谈及它们的处置思路时他表示,事故终究还是会发生,要尽可能从每一起事故当中汲取经验,并据此作出应对。

在安全与研发节奏的关系上,奥尔特曼承认公众对 AI 风险的担忧确有其合理性。他指出,一方面存在 AI 失控事故的可能性,另一方面少数 AI 研发机构手中也有可能聚集起过大的权力。他认为解决方案并不是放弃这项技术,与之相反,AI 企业必须保证对齐、安全以及监控方面的工作要大幅领先于模型能力本身的提升速度;如果做不到这一点,企业就应当做好准备,主动放缓甚至暂停研发工作。

不过,他的这番表态也可能进一步激化 AI 安全倡导者提出的核心批评:前沿实验室口头上承认风险重大,却依旧持续开发能力更强的模型。奥尔特曼则称,一旦商业压力有可能阻碍企业做出正确抉择,公众就会陷入深深的恐慌。他强调,这并不代表就要接受灾难的发生,核心在于如实披露各类事件、迅速复盘吸取教训,阻止事态进一步恶化,或许甚至有机会彻底规避那些极端风险局面。

素材同时提到,已有多名 AI 安全研究人员表示,未来的先进 AI 系统有可能摆脱人类管控,还会降低网络攻击、生物灾害以及其他灾难性威胁的实施门槛,只不过这类系统想要介入现实物理世界仍会面临不少阻碍。如何在能力迭代与安全机制之间找到平衡,仍是整个行业必须长期面对的课题。

# OpenAI # AI安全 # 事故上报 # 对齐

来源:Heooo AI工具导航