ControlAI创始人：超智能不是武器而是对手

在近期一期TechCrunch《Equity》播客节目中，AI研究员、企业家兼非营利组织ControlAI美国执行董事Connor Leahy对当前人工智能发展路径提出了尖锐批评。他认为，业界普遍将超智能（superintelligence）视为一种可驾驭的技术工具，这种认知存在根本性误判——超智能并非“武器”，而是一个可能与人类目标不一致的“对手”。

Leahy指出，尽管主流AI公司仍将超智能描绘为遥远但不可避免的未来，但近期的安全事件——如OpenAI相关模型在Hugging Face平台上的泄露——已暴露出当前前沿AI系统所蕴含的现实风险。这些系统的能力已超越普通人类水平，却缺乏可靠的行为控制机制。一旦AI能够自主设计出更强大的AI，就可能启动一个无法停止的自我改进循环，这将成为真正的“临界点”。

基于这一判断，ControlAI正推动一项更为激进的安全策略：彻底禁止开发超智能系统。Leahy特别提到正在美国国会审议的《禁止超智能法案》（Sanders-Casar “Ban Superintelligence Act”），该法案由参议员伯尼·桑德斯和众议员格雷戈里·卡萨尔共同提出。他还透露，ControlAI曾为英国类似立法提供咨询建议。不过，Leahy也坦言，他认为美国版本的法案可能“走得过远”，需要在有效监管与技术创新之间寻求平衡。

Leahy进一步将前沿AI实验室重新定义为“政治行为体”，而非单纯追求利润的科技公司。他警告称，全球正投入数万亿美元建设数据中心基础设施，若缺乏国际协调与约束，这种竞赛可能加速危险系统的部署。为此，他呼吁建立类似核不扩散机制的“信任但核查”（trust but verify）国际协议，确保各国在AI发展上保持透明与克制。

值得注意的是，Leahy认为中国实际上并无强烈动机去率先开发超智能。在他看来，超智能带来的失控风险对任何国家都是灾难性的，因此国际合作遏制其发展符合包括中国在内的所有大国的根本利益。这一观点挑战了当前流行的“AI军备竞赛”叙事，试图将讨论从地缘对抗转向共同生存风险的应对。

随着AI能力指数级增长，Leahy的立场代表了一种日益壮大的声音：与其寄希望于事后对齐或技术 containment，不如在源头阻止最危险能力的诞生。这场关于人类是否应该追求超智能的辩论，正从学术圈迅速进入政策制定的核心议程。