加州要求专家组研究AI紧急停止机制
「加州州长纽森签署行政令,要求召集AI专家在两个月内提出方案,研究建立AI紧急停止开关机制,在系统发生重大问题时能立即将其关闭;同时推动更严格法律,要求独立第三方机构为AI企业制定全面安全方案并开展安全审计。纽森还提出可能召集州议会特别会议处理AI问题。」
据IT之家消息,加利福尼亚州州长加文·纽森签署了一份关于人工智能监管与安全的行政令,希望在“为时已晚之前”采取行动。按照这份行政令的安排,加州将召集一批AI专家举行会议,并在两个月内提出方案,用于进一步完善AI安全与防护相关法律。
行政令中最受关注的一项内容,是要求专家组研究建立AI“紧急停止开关”。所谓紧急停止开关,指的是当人工智能系统在运行过程中出现重大问题或失控风险时,能够被立即关闭的应急机制。对于越来越多被嵌入关键业务流程的大模型与智能系统而言,这类可中断、可回退的能力,被视为安全底线的组成部分。
除紧急停止机制外,专家组还需要研究制定更严格的法律,要求由独立第三方机构为AI企业制定全面的安全方案,并进驻企业开展安全审计。这意味着AI企业的安全能力评估,可能从主要依靠企业自行说明,转向由外部独立机构参与并实地核查。
纽森在随行政令发布的声明中表示,必须加快推进实质且负责任的人工智能监管工作,并强调相关推进要认真,但速度也必须足够快。此外,他还提出,可能专门召集一次州议会特别会议来处理人工智能问题。
从技术治理的角度看,紧急停止开关与第三方安全审计属于两种不同层面的手段。前者针对系统运行中突发的单点风险,偏向应急处置;后者面向企业整体的安全体系与开发流程,偏向事前评估与事中持续监督。两者叠加,试图覆盖AI系统从开发、部署到上线运行的全过程。
值得关注的是,行政令给出的时间窗口只有两个月,专家组需要在较短周期内拿出可供落地的方案。后续这些方案能否转化为具体的法律条文,审计机制又将如何与AI企业现有的模型训练、评测与发布流程衔接,仍需持续观察。
来源:Heooo AI工具导航