Discord承认AI审核误封八千用户 封面图
行业资讯

Discord承认AI审核误封八千用户

Heooo 07月08日03时31分 6 阅读

「Discord近期承认其AI审核系统存在漏洞,导致超过8000名用户因上传无害图片(如电子表格、棋盘、游戏纹理及纯色背景)被错误封禁。该问题自5月起影响账户,周末新增200例后团队修复。所有受影响账户正逐步恢复。事件凸显AI辅助审核的挑战,系统通过匹配已知有害内容数据库工作,但易产生误报。尽管有人工复核环节,漏洞却绕过直接封禁。用户反映网格图案易触发误判,因曾用于隐藏违规内容。Discord承诺加强防护,但用户呼吁停止不公的AI封禁。」

社交平台Discord近日公开承认,其AI审核系统存在严重漏洞,导致大量用户因上传完全无害的图片而被错误封禁。据公司官方声明,自今年5月以来,已有超过8000名用户受到此问题影响,其中仅上周末就有200名新增误封案例。这一事件再次引发了业界对AI辅助内容审核可靠性的广泛讨论。

Discord在社交媒体平台X上发布详细说明,解释了问题的根源。公司的自动化安全系统通过将用户上传的内容与已知有害材料数据库进行匹配来识别违规信息。这种相似性匹配技术虽然旨在高效拦截非法内容,但本质上容易产生误报。按照正常流程,系统标记可疑内容后,应由人工审核员进行最终判断。然而,此次漏洞导致系统在标记的同时,直接触发了账户封禁操作,绕过了人工复核环节。

受影响的用户上传的图片类型五花八门,包括电子表格截图、棋盘图案、游戏纹理贴图,甚至白色和灰色的透明背景图片。这些在人类眼中毫无问题的图像,却被AI系统错误地归类为有害内容。许多用户对此感到困惑和愤怒,尤其是那些依赖Discord进行工作沟通、游戏社区管理或维持远程社交关系的用户。一位游戏开发者表示,他因上传游戏纹理被误判,导致账号被封,严重影响了他的工作沟通。

Discord承认AI审核误封八千用户

在社交媒体上,不少用户推测,Discord的AI系统对网格状图案变得异常敏感,是因为这类图案此前曾被不法分子用于掩盖或伪装色情及儿童剥削内容,以规避自动检测。系统在“学习”过程中可能过度强化了对这类视觉特征的警惕,导致大量合法图片被误伤。用户JDBRYANT在X上发帖称:“我的账户因AI自动审核的一个漏洞被错误封禁,它把我的游戏纹理检测为儿童性虐待材料。我是一名游戏总监,需要Discord进行所有沟通。”

Discord并非唯一面临AI审核难题的平台。去年,Instagram和Facebook群组的用户也曾报告过大规模账户无故被封的情况,许多人认为这与自动化系统的误判有关。随着各大平台越来越依赖AI来规模化识别非法或辱骂性内容,如何平衡审核效率与准确性,成为一个日益严峻的挑战。

Discord在承认问题的同时表示:“我们正在努力建立更好的防护措施,以确保此类事件不再发生。”公司承诺所有受影响的账户正在逐步恢复中。然而,这一事件已经对用户信任造成了损害。有用户直言:“因为这种不公平的事情失去Discord账户,可能带来毁灭性的打击,并严重影响用户。每天都有数百万用户受到虚假AI封禁的影响。这必须停止。”

Discord承认AI审核误封八千用户

此次事件再次证明,AI审核系统虽然能大幅提升内容审查效率,但在处理复杂、模糊或具有上下文依赖性的内容时,仍然存在显著短板。完全依赖自动化决策,尤其是在涉及账户封禁等严重后果的操作中,可能会带来不可预见的风险。业界普遍认为,未来AI审核的发展方向应是更智能的人机协作,而非单纯追求自动化率。Discord此次的漏洞修复和用户恢复工作,只是解决这一系统性问题的第一步。

# AI审核 # Discord # 误封 # 内容审核 # 人工智能

来源:Heooo AI工具导航