ChatGPT编造证人证词，律师未核实遭罚款

据媒体报道，美国新墨西哥州最高法院近日认定，辩护律师斯蒂芬·阿伦斯在为一名被判谋杀罪的当事人提出上诉时，提交的文书中出现了完全虚构的证人和编造的警察证词。阿伦斯承认，这些内容均来自OpenAI的ChatGPT，他本人并未对文书的准确性进行核实。

阿伦斯解释称，他去年接手这起上诉案时，把电脑生成的庭审文字记录和其他案件材料交给ChatGPT，以为它会给出“无懈可击的摘要”，却没有意识到AI产生“幻觉”、编造事实的程度会有多严重。法院最终认定其行为构成藐视法庭，对他处以5000美元罚款，并将他移交律师纪律委员会进行调查。法官同时指出，他“缺乏悔意，也缺乏对委托人的关心”。

与此前的类似争议相比，这起事件的严重程度更高。报道提到，已有数十名律师因文书中的AI错误受到州或联邦法官的处分，问题多集中在编造判例引用、错误引用法律条文；而阿伦斯是在刑事上诉文书中直接使用了虚构的证人证词，性质更为突出。法官C·香农·培根在听证会上质问：“律师先生，你看新闻吗？听广播吗？有没有在了解外面发生什么？律师依赖AI幻觉的问题，每天都是头条新闻！”

从技术角度看，这一案例再次暴露了大语言模型的固有短板。
模型在缺乏可靠依据时，会生成读起来流畅、格式规范、语气专业，但事实并不成立的内容。它并不区分“我记得”和“我推测”，而是按照最可能的上下文继续往下写。把长篇庭审记录交给模型做摘要，属于典型的开放式生成任务，一旦原始材料存在缺失或表述模糊，模型倾向于自行“补全”，于是虚构的人名、证词和细节就被顺理成章地写进了正式文书。

更值得警惕的是，越是看起来完整、专业的输出，越容易让人放松核对这一步。当输出被直接嵌入上诉书这类高风险文件时，错误的代价会被成倍放大。
因此，合理的使用方式应当是把AI输出当作草稿而非结论：对一切事实性内容，包括人名、证词、判例、引文和数据，逐条回溯原始材料进行核对；对法律、医疗、财务等高风险场景，引入人工复核与来源标注机制，明确由人来承担最终责任。

阿伦斯在事后表示：“我很懊悔，但希望纪律委员会能考虑到，这是一次无心之失。所有依赖这项强大却有时不够稳定的技术的专业人士，都应从中吸取教训。”这句话对开发者与普通用户同样适用：AI可以显著提升文书起草和信息整理的效率，但它不会替使用者承担准确性责任，核实这一步，仍然只能由人来完成。