政策法规

奥尔特曼提出AI安全三原则与前沿评估标准

Heooo 09月24日16时35分 28 阅读

「OpenAI首席执行官萨姆·奥尔特曼就AI治理公开发声,将AI风险概括为失控与权力集中两条主线,并重申不应训练无法被证明受人类控制的模型。他公布模型数学能力已达国际竞赛水平,内部模型解出纳维斯托克斯方程,并主张建立能力评估与人类监督标准。」

OpenAI首席执行官萨姆·奥尔特曼近日就人工智能治理议题公开发声,系统阐述了他对前沿AI机遇与风险的判断。他表示,随着模型能力快速提升,技术的潜在收益与风险都变得更加直接地显现出来。AI既可能更像一场充满创造力与发现的文艺复兴,也可能像一场引发动荡与混乱的工业革命,最终走向取决于当下行业与社会的选择。

奥尔特曼把AI可能带来的严重问题概括为两个方向。第一个方向是失去对未来的控制。AI进展太快,人们可能无法跟上,也无法在需要时进行干预。他明确表示,行业不能因为AI利益足够大就接受过多技术风险,也不能因为企业之间的竞争而仓促决策。他重申,OpenAI过去曾单方面放缓发布节奏,未来也会如此,不应训练无法被极强论证、可受人类控制的模型。他还特别提到递归自我改进这一过程,也就是AI参与AI开发的情形。一旦开发环节进一步自动化,技术进步的速度可能快速抬升,因此必须保持高度谨慎。

第二个方向是权力集中。奥尔特曼认为,不应让最强模型以及与之相伴的权力集中在少数主体手中,避免出现某一方用AI把自己的世界观强加给所有人的局面。他强调,必须拒绝这种逻辑,即便它对自己有利。

在盲目乐观与末日论之间,奥尔特曼称OpenAI试图走一条中间道路,并给出三条原则:人类应继续处于AI决策的核心;科学进步与经济增长的收益应服务于人民;技术必须赋能个人,让更多人利用技术实现自身目标。

演讲中他还披露了模型在数学能力上的进展:三年前只能处理小学算术,两年前达到高中竞赛金牌水平,如今已具备国际数学竞赛水平。他举例说,几周前一个内部模型解出了千禧年大奖难题之一的纳维斯托克斯方程。不过他强调,解题本身不是目的,真正的目标是赋能人们发现新知识、改善医疗。

在治理层面,他主张建立互补的前沿AI标准机制,用于衡量能力、评估风险、验证保障措施,并在系统更自主时保留有意义的人类监督。同时还需要准确而快速的事件报告机制,以及可共享漏洞的安全渠道。他认为,最重要的决定不能仅由某个实验室做出,而应通过更广泛的公共程序塑造,这在国际层面尤其需要协作。

奥尔特曼在结尾形容,世界正处于十字路口:一条路通向权力集中、决策不透明,另一条路通向AI为人民服务。在他看来,后者才是值得建设的未来。对开发者与研究者而言,这场表态释放的信号相当清晰:能力评估、风险披露与人类监督,将越来越成为前沿模型发布的标配环节,而不是可选项。

# OpenAI # AI安全 # AI治理

来源:Heooo AI工具导航