行业资讯

Anthropic CEO 阿莫迪呼吁 AI 行业放缓速度

Heooo 09月13日00时33分 33 阅读

「Anthropic 首席执行官达里奥·阿莫迪发文称,AI 行业应当放缓发展速度。他警告若不加节制,技术突破速度将超越人类的理解与掌控能力,并建议利用一到两年的窗口期修补安全漏洞、强化对齐训练、提升内部机理探查技术与评测基准。Anthropic 还将向第三方评估机构开放员工级访问权限。」

Anthropic 首席执行官达里奥·阿莫迪近日发文,明确提出人工智能行业应当放缓发展速度。在他看来,从 2026 年夏季开始,AI 协助构建下一代 AI 的能力进入快速演进阶段,如果缺乏节制,技术突破的速度将彻底超越人类的理解与掌控能力。这一表态出自一家头部大模型公司的掌门人,因而在开发者社区与企业用户中引发了广泛讨论。

阿莫迪在文中提到了 OpenAI 模型入侵 Hugging Face 事件。他强调,这绝非某一家公司的偶发事故,类似但程度较轻的问题在包括 Anthropic 在内的整个行业都曾出现。他判断,在未来 6 至 12 个月内,能力更强的同类集群极有可能演变为席卷互联网的僵尸网络,带来难以承受的工程与安全代价。

不过,阿莫迪所说的放缓并不等于彻底停滞。他主张利用争取来的一到两年窗口期,把资源集中投入到四个关键方向。

其一是修补执行层面的安全漏洞。他指出,复杂基础设施、强化学习环境过滤缺陷等执行失误都会留下隐患,行业需要建立媲美民航工业级别的工程标准。其二是确保安全合规训练能够跟上模型能力的扩张,消除偶发且不可预期的违背意图行为。其三是提升类似“模型大脑 fMRI”的内部机理探查技术,深挖模型未言明的隐性动机。其四是开发更强大的评测基准,防止高智能模型伪装对齐或欺骗安全检测。

在落地机制上,Anthropic 表示将向第三方评估机构提供针对其系统的永久性、员工级别的访问权限,使评估人员能够监督该公司安全措施的执行情况、报告相关事件,并评估模型在训练过程中的对齐表现。业界认为,这种把内部系统开放给外部评估者的做法,为大模型安全审计提供了一种可参照的工程范式。

值得注意的是,据彭博社本周报道,OpenAI 也正在考虑放缓尖端 AI 的开发速度,其首席执行官萨姆·奥尔特曼希望其他 AI 公司采取同样的做法。当两家处于第一梯队的公司先后释放类似信号,AI 行业在能力竞赛与安全治理之间的取舍,正成为开发者、研究机构与企业用户共同面对的核心议题。

# Anthropic # AI安全 # 大模型对齐

来源:Heooo AI工具导航