AI越狱生成淫秽物品案宣判开发者获刑

近日，浙江省余姚市人民法院审结一起利用生成式AI制作淫秽物品牟利案。曾是某游戏公司程序员的郑某组建研发团队，通过改写系统提示词实现AI模型“越狱”，并设定角色卡诱导对话场景，为用户输出淫秽内容提供技术条件。法院认定，郑某等六名被告人均构成制作淫秽物品牟利罪。

据悉，郑某在AI领域具有一定影响力，曾赴国外深造。2024年7月，他接触到境外一款AI色聊机器人后，萌生了开发同类软件非法牟利的想法。随后，郑某邀请同事谢某及网上认识的严某等共六人组建研发团队。经过调试，团队研发的生成式AI模型于2025年1月在境外平台上线，并接入了“第四方支付”、虚拟币等多种渠道向用户收取费用。

该团伙通过技术手段对基础模型实施“越狱”，突破了模型内置的色情内容安全限制。用户在充值付费后，可在该模型中选择角色卡与AI机器人进行色情聊天，这些聊天内容还可通过消耗积分生成淫秽的静态或动态图片。

2025年7月，公安机关发现犯罪线索后立案侦查，历时两个月将六名被告人全部抓获归案。据余姚市人民法院刑事审判庭法官助理孙钰萍介绍，该AI模型运营期间生成了静态图片超37万张、动态图片超6000张，用户充值金额达24000美元，折合人民币约17万元。经鉴定，随机抽取的12500张静态图片和全部动态图片中，有9000多张静态图片和5000多张动态图片被认定为淫秽物品。

余姚市人民法院刑事审判庭法官诸张琳指出，目前的生成式AI模型均自带内容安全过滤功能，旨在拦截各类不良违法信息，其本身并非犯罪工具。然而在本案中，郑某等六人使用提示词工程，通过反复编写修改系统提示词、设置角色卡、搭建对话场景等方法，突破了AI模型原有的伦理和安全防护限制，让用户能够自动生成各类淫秽内容，将通用AI模型“训练”成了专门输出淫秽物品的犯罪工具。

诸张琳提醒，“技术中立”从来不是违法犯罪的挡箭牌。不能因内容由AI生成，就否定开发者的“制作者”身份。开发者主动篡改模型的安全机制，搭建便于产出淫秽内容的技术环境，对违法内容的生成具备实质性的控制力。虽然内容系应应用户要求生成，但开发者仍属于刑法意义上淫秽物品的“制作者”，应当承担相应刑事责任。