OpenAI首席科学家呼吁业界放缓AI开发
「OpenAI首席科学家雅库布·帕乔基警告,AI正以极快速度演进,很快将能够独立优化自身,进入递归式自我改进阶段。他呼吁AI实验室在建立共同安全门槛前自愿放缓开发进度,并坦言当前对齐与监控技术尚不足以保证先进模型安全可控。」
OpenAI首席科学家雅库布·帕乔基近日公开发出警示:人工智能的发展速度已经快到令人类难以完全理解和掌控的程度。他预计,在不久的将来,AI模型将具备在无人工干预条件下改进自身的能力,这一进程被称为“递归式自我改进”。帕乔基认为,技术演进正在逼近一个关键临界点,业界必须高度警惕。
帕乔基在最新撰文中指出,短短时间内,AI模型已经能够操作电脑、与人类及其他智能体协作,甚至开展一定规模的研究项目。而这些能力还在快速累积。接下来,模型将能够反过来优化自己的代码和架构,形成持续加速的进化循环。他将这一时刻形容为“需要极度谨慎的时期”,并坦言担忧:“没有人为机器智能持续快速提升所带来的后果做好准备。”
面对这种不确定性,帕乔基提出了两条可能的路径:一方面,开发者可以尝试更严格地引导AI,使其行为与人类利益保持一致;另一方面,则是在必要时主动降低开发速度。他明确表示:“我预计并希望,在建立共同安全门槛之前,自愿放缓开发将成为普遍现象。”这种表态将行业自律推到台前,反映出AI安全议题在顶级研究机构内部的紧迫性。
帕乔基的观点与OpenAI近期披露的内部信息相互印证。OpenAI一方面正利用智能体工具加速自身研发流程,另一方面也承认,无法假设对齐技术和安全能力一定能追上模型能力的增长。更强大的系统可能会变得更加难以监控,现有的验证手段或难以覆盖其复杂行为。帕乔基此前也多次强调,目前没有任何实验室能够将AI的对齐与监控做到足够可靠。
此次公开呼吁,实际上是把“暂停键”的准备摆在台面上。在安全评估标准尚未成熟、外部监管机制仍相对滞后的情况下,主要AI实验室是否愿意自我约束,将是决定技术发展轨迹的重要因素。业界需要认真思考:在通往强智能的路上,究竟应该追求多快的速度,又该预留多少余地去审视每一步留下的隐患。
来源:Heooo AI工具导航