网信办治理AI换脸与魔改名著乱象

中央网信办近日公布了“清朗·整治AI应用乱象”专项行动第二阶段的最新治理成果，集中对利用人工智能技术制造虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出问题进行深度整治。数据显示，专项行动开展以来，全国累计清理违法违规信息超过561万条，查处违规账号4.9万余个，处置违规网站及应用程序2400余个，有效遏制了AI技术被滥用的势头。

在具体执行层面，北京、上海、浙江、广东等地网信部门结合本地实际推出精准举措。北京指导平台升级内容审核策略，提升对新型违规内容的识别与处置能力；上海推动企业自查自纠，并推出AI应用“知识普及包”以增强公众防范意识；浙江对属地重点平台实施“一企一策”合规指导，依法查处问题突出的AI应用；广东则通过重点平台工作例会开展点对点督促整改。

作为内容生态的关键环节，抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣和淘宝等主流平台强化技术赋能，通过优化多模态识别模型、动态扩充人脸与声纹库、上线人脸实时治理系统等手段，大幅提升违规内容的智能检测效率，并累计发布了46期相关治理公告。

在源头防范上，豆包、元宝、千问和文心一言等头部大模型平台严格把关语料审核机制，全面落实AI生成合成内容标识要求，从源头防范违规信息生成。华为、小米、OPPO和vivo等应用商店也收紧开发者准入规范，对在架应用进行频繁抽检，拦截了大量违规App。

官方此次还通报了多起典型违规案例：部分账号利用AI技术“魔改”《三国演义》《西游记》等名著，恶意颠覆人设、虚构低质猎奇剧情博取流量；部分账号合成虚假灾害与救援画面，或打造AI数字人虚假带货；还有账号借助“换脸”“换声”冒充公众人物生成低俗视频谋利。针对未成年人，还有平台传播“毒动画”和儿童“邪典”视频，部分不法分子利用AI“托管”软件充当网络水军。相关违规应用已依法受到警告、罚款、下架或关停等处置。

网信部门表示，未来将持续关注AI生成合成内容的新风险，常态化防范技术滥用，为清朗网络空间提供保障。此次治理也提醒AI开发者和平台运营者，必须将合规与伦理置入产品设计的前置环节，确保技术向善。