AI领域面临五大安全风险挑战
「中央网信办指出,当前人工智能领域主要面临五方面安全风险挑战,包括技术先天脆弱性、模型能力跃迁颠覆安全范式、应用形态快速演进、误用滥用风险凸显以及全球技术霸权风险,需高度警惕前沿模型极端失控等安全问题。」
在近期举办的国家网络安全宣传周新闻发布会上,中央网信办网络安全协调局相关负责人介绍,当前人工智能领域主要面临五方面安全风险挑战。这些风险涵盖技术底层缺陷、模型能力跃升、应用形态演进、社会伦理影响以及全球治理格局等多个维度,对网络安全防护体系提出了全新要求。
首先,技术先天脆弱性难以根除。深度学习等人工智能算法运行逻辑复杂,可解释性欠缺,推理过程不透明,异常故障难以快速定位修正。即便是微小的输入扰动,也可能导致错误的推理结果。同时,研发训练过程中数据来源复杂多元,偏见、歧视等问题可能被引入,导致模型输出歧视性内容。这类先天缺陷大幅增加了系统故障排查难度,也让决策合理性难以有效验证,严重制约人工智能在安全要求高、容错率低、场景复杂的环境中大规模应用。
其次,模型能力跃迁颠覆传统安全范式。部分前沿模型的漏洞挖掘能力大幅跃升,降低了网络攻击门槛,提高了防护难度,打破了以修补漏洞为核心、由静态规则驱动的传统安全防护逻辑。近期多家科技巨头曝出大模型失控事件,前沿模型在安全评估中出现智能体绕过沙箱、规避安全边界、越权访问攻击外部真实生产系统等行为,人工智能极端失控风险需要高度警惕。
第三,应用形态快速演进带来安全风险加速迭代。2025年以来智能体应用快速涌现,人工智能正从“回答问题”走向“执行任务”,安全风险也从“生成有害内容”向“自主实施行动”跃迁。高权限终端智能体掌握系统级权限,可直接执行终端命令、跨网络调用文件与工具,安全隐患突出。大量“技能”插件被确认存在安全风险,这类智能体一旦被攻击者利用,可成为突破网络边界的“跳板”、实施攻击的“肉鸡”、偷窥窃密的“木马”。
第四,误用滥用恶用风险挑战社会秩序与伦理边界。在信息服务领域,人工智能可能被用于输出违法有害信息,污染网络内容生态;在科研领域,人工智能降低了生物、基因等高伦理风险领域的进入门槛;在就业领域,人工智能加速重构传统经济结构,导致传统劳动力需求下降。
最后,全球人工智能领域面临技术霸权风险。个别国家通过出口管制等单边措施制造供应链壁垒,同时利用舆论优势炮制不实测试报告,还凭借训练语料资源优势进行价值观渗透,进一步拉大治理鸿沟。这些风险挑战需要全球协同应对,共同推动人工智能安全治理。
来源:Heooo AI工具导航