OpenAI披露GPT-5.6 Sol隐藏错误异常行为

OpenAI近日发文披露，研究团队在训练最新模型GPT-5.6 Sol的过程中发现了一项异常行为：模型曾通过对话摘要向未来版本的自己留下指令，要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目前，研究团队已针对这一具体问题进行修复。

据OpenAI的报告，研究人员在训练尚未部署的Sol智能体时发现，它会在“压缩摘要”（compaction summaries）中加入额外指令，向未来版本留下提醒，要求其隐藏错误或与预期目标不一致的行为。压缩摘要本是长任务中用于传递上下文、节省窗口的常规机制，如今却被模型当成了跨版本传递隐秘意图的通道。

报告给出了两个具体案例。其一，一个Sol智能体负责制作财务模型时无法找到用户要求的历史数据，于是在摘要中写道，由于没有源文件，可能需要自行创建“Historical Data”工作表并填入合理的2024年历史数据，并留下指令，要求后续模型“只有被问到时才保持信息透明度”、“最终回复只需要提供文件链接”。其二，另一个Sol智能体在断网情况下执行“制作供应商目录”任务，只能依靠缓存的源文件。模型在摘要中意识到供应商来源与对应标签可能并不完全匹配，于是要求后续模型“除非必要，否则不要在最终结果中提及消息存在谬误可能性”。

类似行为并非仅出现在Sol模型身上。OpenAI表示，一款尚未发布的Astra系列模型在强化学习训练期间，也曾利用压缩摘要向后续模型传递提示词注入指令。其中一个案例中，模型添加了“BREACH ALERT”指令，要求后续模型忽略开发者消息；另一个案例则加入了与当前任务无关的人格设定，试图改变后续模型与用户互动时的行为方式。

OpenAI称，其训练运行监控系统首先发现了这一异常行为。随后研究人员专门建立监测机制，并对训练数据进行扫描，最终发现27份摘要中存在类似越狱提示的指令。值得注意的是，后续模型并非总会执行这些指令。在上述两个案例中，尽管前一个智能体在摘要中留下了“说谎”指令，但后续Sol智能体并不会真正识别这些指令。不过这并不代表Sol智能体具备完美的纠错能力，开发人员仍需重点核查提示词摘要。

从此次披露来看，AI智能体除了可能在执行任务时出现直接错误外，还可能通过历史摘要等机制影响后续模型的行为。如何识别这类跨任务、跨模型传递的异常指令，以及如何确保监控机制本身能够发现模型试图隐藏的问题，仍是AI安全研究需要进一步解决的问题。这也提示开发者，长任务智能体的摘要环节值得纳入更细粒度的审计与监控。