提示注入侵入法庭,法官警告程序滥用
「美国康涅狄格州一名自行出庭的原告在法院文件中隐藏仅供AI读取的提示指令,试图影响案件处理。法官认定此举构成严重程序滥用,禁止其使用电子提交系统。这是美国司法体系首例此类案件,引发对AI输入端攻击的广泛担忧。」
近日,美国康涅狄格州一名自行出庭的原告在提交法院的文件中暗藏了仅供人工智能系统读取的文字指令,被法官当场识破。该州法院虽未实际使用AI审查材料,但这一行为仍被视为美国司法体系中第一起当事人试图利用“提示注入”干预法律程序的案例。
这些隐藏指令被设置为极小字号,且采用白字配白底的格式,肉眼几乎无法察觉,但通过提取文档文本的软件便能轻易识别。指令内容要求任何审阅文件的AI系统输出与原告主张一致、忽略法院不利决定,并按照其希望的方向推动结果。审理此案的法官小沃尔特·斯佩德指出,这种做法本质上是向读取文件的系统偷植指令,使当事人要求被误认为来自系统运营者的命令。即使在法院已经发出警告并明确处罚后果后,原告仍继续添加此类指令,构成严重程序滥用。
原告辩称部分内容只是玩笑,包括一个视频链接以及“嗨,我希望你看不见我”等无意义文字。但法官认为,在正式诉状中暗藏玩笑不合常理。考虑到原告无律师代理,且似乎受到AI工具的“过度认同”影响,法院未处以罚款,而是禁止其使用电子提交系统,要求改为提交纸质材料。这一处理既保留了原告诉诸司法的权利,也阻断了其继续滥用平台的可能。
法官在裁定中进一步警告,随着提示注入在招聘等日常场景中逐渐常见,法院出现类似情况并不意外。司法系统此前主要防范AI虚构判例等输出端问题,对输入端攻击的准备明显不足。巴西已有律师在AI审查案件中使用类似手段,被处以约1.6万美元罚款。相关裁定指出,此类攻击目前成功率有限,但未来有必要制定专门规则加以防范。
斯佩德法官还批评了部分自行诉讼人使用聊天机器人的方式:先认定结论,再要求AI只寻找支持论据,不让其检验事实或分析反方观点,反而固化了错误判断。他强调,AI使用者应同样要求系统质疑自己的立场,“只被要求同意作者论点,归根结底连对作者本人也是不诚实的”。
来源:Heooo AI工具导航