AI应用乱象专项整治持续推进
「中央网信办通报“清朗·整治AI应用乱象”专项行动进展,累计清理违规信息561万余条,查处账号4.9万余个,处置违规应用2400余个。各平台强化多模态识别、声纹库等技术手段,豆包、元宝、千问等大模型严格源头审核,并公布AI魔改、换脸假冒等典型案例。」
近年来,人工智能生成合成技术快速发展,在带来创新便利的同时,也滋生了虚假信息、低俗内容、仿冒侵权等问题。为应对这些挑战,监管部门持续推进AI应用领域专项治理行动,重点聚焦利用AI制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出乱象。根据最新通报,该行动已取得阶段性成果,累计清理违法违规信息561万余条,查处相关账号4.9万余个,处置违规网站、应用程序等2400余个。
针对AI技术滥用手段不断翻新的情况,各地网信部门遵循属地管理原则,推出针对性治理策略。北京方面指导平台升级审核策略,提升对违规内容新型变体的识别处置能力;上海督促平台自查自纠,并推出AI应用“知识普及包”,帮助公众识别潜在风险;浙江对重点平台实施“一企一策”合规指导,并依法查处问题突出应用;广东召开重点平台工作例会,对多款应用的违规问题开展点对点督促整改。
在技术赋能层面,抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台进一步强化多模态识别模型建设,动态扩充人脸库、声纹库和违规样本库,上线人脸实时治理系统等工具,显著提升对AI生成内容的智能检测与拦截效率。这些措施使得利用换脸、变声等手段实施的违规行为难以遁形,累计发布各类治理公告46期,体现出平台侧在内容安全技术上的持续投入。
值得关注的是,大模型服务提供方也在源头治理中发挥关键作用。豆包、元宝、千问、文心一言等平台严格把关原始语料内容审核,强化AI生成合成内容标识要求的落实,从源头上防范违法违规信息的生成与传播。与此同时,华为、小米、OPPO、vivo等应用商店制定了严格的开发者准入规范与上架要求,并对在架App进行抽检复测,有效拦截违规应用进入用户视野。
专项行动还通报了多起典型违规案例,集中反映出当前AI滥用行为的复杂形态。例如,部分平台账号利用AI“魔改”《三国演义》《西游记》等经典名著,颠覆重要人物设定,虚构低质猎奇剧情以博取流量;有账号通过AI合成虚假灾害现场与救援画面,编造不实社会热点,或打造AI数字人进行虚假宣传带货,误导老年群体;另有账号使用“换脸”“换声”技术假冒公众人物,生成低俗舞蹈、拥抱接吻等图片视频并借机营销牟利。此外,一些账号批量发布AI生成的恐怖诡异、暴力低俗内容,甚至制造未成年人怀孕、打架等不符合其年龄特点的画面,以及传播“毒动画”、儿童“虐向”“邪典”视频,对未成年人身心健康构成严重威胁。
对于“AI魔改”“毒动画”等新现象,监管部门亦给出了明确定义。所谓“魔改”,是指对经典影视作品进行二次创作,但部分创作者利用AI技术对名著进行无底线改编,产出低俗猎奇内容,这类内容也被形象地称为“数字泔水”。而“毒动画”则表现为表面采用儿童动画形式,实则在画面与情节中夹杂暴力、恐怖或软色情不良元素,极易对未成年人产生潜在危害。
本次专项行动通过从内容清理、账号处置、应用下架到平台技术升级等多维度协同治理,有效遏制了AI生成合成内容乱象的蔓延。未来,监管与行业将持续关注AI技术应用中出现的新情况、新风险,及时调整防范策略,防止技术被滥用、恶用,推动人工智能在安全合规的轨道上健康发展。
来源:Heooo AI工具导航