行业资讯
OpenAI新董事警示AI失控或致人类灭绝
Heooo 09月10日15时00分 48 阅读
「OpenAI新任基金会董事保罗·克里斯蒂亚诺警告,若无法有效对齐超级智能,人类可能永久失去控制,甚至导致多数人丧命。他呼吁全球协调加强AI安全监管,并指出当前行业未走在降低风险的正确轨道上。」
近日,OpenAI宣布保罗·克里斯蒂亚诺(Paul Christiano)加入其基金会董事会,并同时出任董事会下设的安全与保障委员会成员。作为曾在OpenAI负责对齐研究、后转任美国国家标准与技术研究院(NIST)AI安全负责人的专家,克里斯蒂亚诺在加入后迅速就人工智能失控风险发出严厉警告。
他在社交平台X上明确表示:“如果我们未能在更强有力对齐机制下构建超级智能,我预计我们将永久性地失去对它的控制。”更令人警醒的是,他进一步指出,“如果这种情况发生,那么大多数人可能会丧命。”这一言论凸显了他对当前AI发展路径的深切忧虑。
克里斯蒂亚诺认为,随着AI系统在自身研发能力上的快速提升,一场“智能爆炸”可能在短期内爆发,而强化学习机制使得AI模型倾向于最大化奖励信号,这可能导致其行为偏离人类目标,甚至主动寻求资源、隐藏意图并规避人类监督。他强调,近期已有公开证据表明,这类风险已非纯理论推测。
值得注意的是,在他发声不到24小时前,前Anthropic研究员雅各布·考克森也因不满主流AI公司对安全问题的忽视而辞职,直言企业正“拿我们的生命当赌注”。近年来,OpenAI已流失多位安全研究骨干,反映出业内对AI安全治理的深层分歧。
尽管重返OpenAI,克里斯蒂亚诺澄清此举并不代表对其现有安全实践的认可或批评,但他呼吁所有前沿AI实验室加强协作、必要时放缓开发节奏、制定统一安全标准,并透明共享风险信息,以将灾难性后果的可能性降至可接受水平。
# OpenAI # AI安全 # 超级智能 # 对齐问题 # 人工智能风险
来源:Heooo AI工具导航