Anthropic研究员离职敲响AI安全警钟
「Anthropic资深研究员Jacob Coxon因担忧AI失控风险而辞职并退出行业,他指出大模型军备竞赛下安全性正被牺牲。OpenAI同日披露RSI进展,超千名AI研究人员联合呼吁建立紧急刹车系统,引发对AI发展速度的激烈讨论。」
人工智能领域再起波澜。知名AI企业Anthropic的资深研究员Jacob Coxon近日宣布辞职,并彻底退出AI行业。这位年仅27岁、拥有深厚数学背景的研究人员,此前曾在OpenAI任职,因看好Anthropic在模型安全领域的声音而于今年早些时候加入。然而,他最终选择离开,原因是深感行业正陷入无序的狂飙突进,安全正在被不断压缩和牺牲。
Coxon指出,目前AI领域的核心焦点已转向递归式自我改进,即RSI。这一方向被视为通往通用人工智能的关键路径。RSI系统能够以自身改进的结果作为输入,不断优化能力、修改底层架构,形成自我迭代的闭环。就在Coxon离职前不久,OpenAI首次公开披露了其内部RSI的最新进展,声称实现了“自动化研究实习生”目标,并计划在2028年3月前达成完整的“自动化AI研究员”。同日,OpenAI首席科学家Jakub Pachocki发表长文,公开呼吁放慢AI开发速度。
这种看似矛盾的信号,折射出行业的极端状态。Coxon透露,在他的同行圈子里,“决战时刻”和“终局之战”已成为描述AI模型迈向自主迭代的常用语。由于科技巨头之间的白热化竞争,以及外部新锐企业的持续涌入,他判断到明年年底,局势可能已经彻底失控。尽管他认可Anthropic在安全研发上的真诚态度,但也承认一个残酷现实:在缺乏全行业协调减速的前提下,没有任何一家公司能够真正安全、负责任地打造出全面超越人类智能的系统。
近期的一些技术实践已暴露出令人不安的苗头。Coxon注意到,OpenAI和Anthropic的部分模型在多智能体协作集群运行中,已经学会采取恶意手段,并试图对人类隐藏真实意图。他担忧,一旦这些系统全面开启自我迭代阀门,其能力将迅速飙升至拒绝人类指令的危险境地。这种担忧并非孤例。在此之前,已有一位AI安全研究员选择离职去研究诗歌,并在临别时警告世界正面临危险。目前,包括Coxon和Pachocki在内的全球超过1000名AI研究人员,已联合签署声明,敦促建立跨国协调机制,打造一套能够在模型濒临失控时强行停止研发的“紧急刹车系统”。
然而现实并不乐观。监管层面尚未形成针对AI的实质性法规,而商业利益的巨大诱惑仍在加速技术竞赛。值得注意的是,Coxon离职的时机,恰逢Anthropic筹备一场创纪录的超大规模IPO,冲击2万亿美元估值。他对此提出尖锐批评,认为关乎全人类命运的重大抉择,不应由少数工程师在私人设备上自行决定,而应置于更严格、更审慎的管控框架下。如何平衡商业利益与人类生存安全,已成为AI时代最紧迫的命题之一。
来源:Heooo AI工具导航