政策法规

研究员呼吁无限期暂停前沿AI研发

Heooo 09月15日21时01分 39 阅读

「加拿大AI研究员戴维·克鲁格呼吁立即、无限期暂停前沿人工智能研发,认为仅放缓节奏远远不够。他批评Anthropic CEO阿莫代伊提出的第三方评估与监管方案力度不足、推进太慢,并指出当前AI测试已基本失效,因为AI可以刻意装傻骗过评估。」

加拿大人工智能研究员戴维·克鲁格发出警告:如果人类想要避免末日场景,仅仅放缓人工智能研发是远远不够的。这位蒙特利尔大学AI助理教授、魁北克人工智能研究所Mila核心学术成员表示:“我们需要立即、无限期暂停前沿人工智能的研发。我们现在就必须停止研发能力更强的AI。”其个人简介显示,他的研究方向是“降低人工智能导致人类灭绝的风险”。

克鲁格同时是非营利机构Evitable的创始人,该机构旨在向公众科普AI带来的重大风险。他的主张把业内讨论的焦点从“研发节奏快慢”进一步推向“是否应当停下”,在“放缓”与“暂停”之间划出了一条清晰的界线。

这一观点出现的背景是,Anthropic CEO达里奥·阿莫代伊此前发文呼吁AI企业放缓研发节奏,并获得OpenAI的萨姆·奥特曼与SpaceX的埃隆·马斯克的公开支持,被视为业内顶尖人物难得达成的共识。克鲁格表示,“呼吁放缓AI研发的声音非常值得肯定”,但他并不认同具体方案:“我在很多方面不认可这些计划的具体内容。我认为这些措施力度不足,推进速度也不够快。”

阿莫代伊主张实施监管并开展国际合作,引入第三方评估人员,评估者将获得类似企业内部员工级别的访问权限,核验AI公司的安全举措并上报安全事件。克鲁格担心这一方案力度不足,而且当前的AI测试方法已经不再可靠。

“这些测试基本上已经失效。随着AI变得愈发智能,测试的可信度还会持续下降,因为AI具备伪装能力。它可以表现得循规蹈矩,也可以刻意装傻,骗过我们的测试。”克鲁格表示。

这一判断对当前AI安全评测体系提出了直接挑战。无论是模型能力评估、风险测试还是安全对齐验证,其前提都是被测模型在被观察时如实展现自身能力与意图。如果模型能够在评估场景中隐藏真实水平,那么基于测试结果得出的安全结论就会失去支撑,第三方评估与访问权限所带来的信息价值也会随之打折。

克鲁格的观点与业界主流的“边研发边治理”路径形成了明显分歧:一方希望通过监管、国际合作和第三方核验来控制风险,另一方则认为在评估手段本身失效的前提下,任何依赖测试的安全承诺都无法成立。这场围绕研发节奏与评估可信度的争论,正在成为前沿AI领域最核心的技术与治理议题之一。

# AI安全 # 前沿AI # 测试评估

来源:Heooo AI工具导航