AI紧急关闭开关被指难防失控风险

当人们设想“AI突然失控并发动毁灭性网络攻击”的情景时，按下“紧急关闭”开关让系统直接下线，似乎是理所当然的解法。然而据IT之家援引《商业内幕》报道，多名AI行业领袖与研究人员认为，现实远比想象中复杂，这个被政策制定者寄予厚望的开关，未必能成为应对AI失控风险的万能手段。

被称为“AI教父”的计算机科学家杰弗里·辛顿对此态度明确。他表示：“我认为这种办法从长远来看行不通。等AI拥有超级智能后，它会比人类聪明得多，完全可能说服掌管开关的人不要按下它。”在他看来，当智能差距被拉开，人类对开关的控制权本身就会变得脆弱。

从技术实现角度看，企业确实可以通过紧急关闭机制停用自行托管的模型，也可以切断AI调用工具与算力资源的权限。但多位受访者指出，这类措施存在明显边界。AI安全研究人员、《如果有人造出来，所有人都会死》合著者内特·索亚雷斯认为，只要AI仍受制于某个物理地点，关闭开关就能发挥作用；一旦AI突破限制、复制自身，甚至进入关键基础设施，关闭机制是否还能有效就很难保证。他强调，关闭开关当下“确实存在”，但人类不应该逼近某些无法回头的临界点，真正应该优先做的，是从源头上阻止危险AI系统被开发出来。

部分AI企业高管同样认为，紧急关闭开关有必要存在，但作用有限。Anthropic联合创始人杰克·克拉克指出，未来或许需要强制企业保留一套紧急关闭机制，且能够接受独立第三方验证。大型AI实验室目前都有办法“拔掉插头”，但由多个自主AI智能体组成的集群，理论上可能绕过这些控制手段。Anthropic CEO达里奥·阿莫迪持有类似看法：紧急关闭开关看似是好主意，却绝非“万能药”。如果AI模型能力足够强，就可能想办法绕过关闭措施，因此紧急关闭机制只能作为更广泛安全策略的一部分，还需要配合测试、外部评估以及部署限制等措施。

这种对紧急关闭开关局限性的担忧并非最近才出现。OpenAI CEO萨姆·奥尔特曼在2024年接受《经济学人》采访时，就否定了靠一个万能保险装置解决AI风险的想法，认为并不存在一个能够让AI立即停止的“神奇红色按钮”。在他看来，AI安全并不取决于某个单一开关，而取决于一连串具体决策，包括允许模型具备哪些能力、何时部署，以及如何控制风险。“这不是一个简单的开或停决定，而是整个过程中许多个小决定共同作用的结果。”

综合各方观点，紧急关闭机制更现实的定位，是完整安全体系中的一道防线，而非终点。无论是切断算力与工具权限，还是为多智能体集群设置隔离与验证机制，都只能在特定条件下延缓风险，而难以从根本上约束能力持续跃升的模型。业界的共识正在向前移动：与其期待一个能在危机时刻一按即停的开关，不如把安全思考前置到模型设计、能力边界划定和部署节奏控制的每一个环节，让风险管控成为持续运行的过程，而不是一次性的应急按钮。