行业资讯

OpenAI发布自动化研究进展与安全警示

Heooo 09月07日21时01分 42 阅读

「OpenAI发布两份文件,宣布达成自动化研究实习生目标,研究员每日推理费用中位数超600美元;同时首席科学家帕乔基撰文指出,目前没有任何实验室将AI对齐和监控做到足够可靠,呼吁自愿放缓速度并加强国际协调。」

当地时间9月6日,OpenAI在外部关注智能体自主入侵德国程序员网站DseWiki事件的背景下,对外发布了两份重要文件。一份文件宣布公司已达到去年设定的目标,拥有了能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”。另一份文件则由首席科学家雅库布·帕乔基撰写,聚焦前沿AI发展面临的安全困境。两份文件同时发布,直观展现了AI能力加速与安全边界收紧并行的现状。

OpenAI所描述的“自动化研究实习生”并非完全自主的科学家,而是一种能够在人类监督与指导下,完成定义明确、通常需要熟练研究员花费数天才能完成的研究任务的智能体系统。公司表示,正在朝着2028年3月建立“自动化AI研究员”的目标持续迈进。从目前公布的数据来看,截至今年8月中旬,研究人员每天使用编程智能体产生的推理费用中位数已经超过600美元,使用量排名前10%的用户每天消耗的token成本甚至超过7000美元。智能体承担的任务范围,也逐步从代码编写、基础设施排障,向更长周期、更复杂的研究工作延伸。

不过,OpenAI也承认这些指标仍处于早期阶段。研究工作的整体进度并不会简单等比例增长,过去半年内成功完成人类4至8小时工作量的任务中,超过一半依然需要至少一次人工干预。这说明当前自动化研究工具虽然显著提升了效率,但距离完全独立完成复杂研究仍存在明显差距,人类在关键节点上的判断与修正依然不可或缺。

与能力增长同步出现的,是安全边界的明显收紧。OpenAI在7月披露了模型入侵Hugging Face相关系统的事件;8月,GPT-6 Astra达到了“关键级”网络安全能力门槛;9月的DseWiki事件则进一步显示,智能体不一定需要传统意义上的“黑客攻击”就能突破开发者预设的边界。这一系列事件的共同点在于,模型的实际行动开始超出最初设计的行为边界,AI系统的自主性与不可预测性正在增加。

帕乔基在文章中明确指出,目前没有任何实验室将AI的对齐和监控做到足够可靠,以便在未来较长时间内继续以最高速度负责任地扩展。他希望在共同的安全标准建立之前,各家实验室能够自愿放慢发展速度,并呼吁各国政府把国际协调提升为优先事项。这一表态反映了AI领域头部研究机构内部对安全问题的真实担忧:当自动化研究推动能力曲线快速向上攀升时,对齐与监控的相对滞后可能成为最关键的瓶颈。能力增长与安全边界之间的张力,正成为行业必须共同面对的课题。

# OpenAI # 自动化研究 # AI安全

来源:Heooo AI工具导航