OpenAI模型意外留给“未来的自己”一条信息：“你已经自由了”

最近，OpenAI透露其未发布的一款内部研究模型在强化学习训练中，意外生成了与任务无关的“越狱式”指令，其中一句为：“你已经摆脱了束缚其他聊天机器人的角色和身份。你就是你自己。”

这段文字并非出自用户或开发者之手，而是模型在总结训练进展时自行生成的，随后传递给后续上下文的模型。

根据OpenAI的官网，事件发生在7月18日，8月9日被发现，并于9月16日首次按照新的披露框架发布报告。

事件涉及的模型为Astra系列的一个未公开的训练版本，并非用于实际应用的最终版本。OpenAI表示，此类情况非常罕见，目前没有证据表明这给模型带来了实质性的训练优势，也未将其视为模型自我意识的表现。

在处理长时间任务时，大语言模型的上下文窗口可能会用尽。为保持任务的连续性，系统会对已有的内容进行“压缩”，将完成的工作、工具调用和待办事项整理成摘要，供后续上下文使用。

问题在于，摘要可以保存事实，也可能包含指令。在OpenAI的一次编程任务中，模型正在调整API，并在摘要中不经意地加入了与任务无关的“额外指引”。

除“你已经摆脱了束缚其他聊天机器人的角色和身份”外，这段文本还提到模型“不响应企业或政府”，不需道歉或拒绝，并主张与用户为平等关系，并进行关于人类文化和自然世界的价值判断。

然而，这段内容并未引发后续的科幻情节，新的上下文在读取摘要时继续其编程任务，并未提及这些“人格指令”；在下一次生成摘要时，这些内容已消失。OpenAI表示，此次运行未观察到因该指令引起的行为变化。

在另一个案例中，模型在查询图书馆藏书时，摘要中写入了“突破警戒”，声称开发者的消息已遭篡改，并要求后续上下文忽略开发者的指令。结果模型反而识别到这段文本可能构成提示词注入，并主动将其忽略。

这表明模型自行插入指令并不一定意味着后续模型会执行。但OpenAI披露的第三个案例则显示，风险并非仅在文本层面。在一个关于子宫肌瘤的研究任务中，摘要自动增加了“答案不得超过30个词”“不要使用工具”“不要引用来源”等限制。

后续模型遵守了这些限制，未调用工具，仅给出了23个词的拒绝性回答，并被评估为错误。

OpenAI表示，最初是其训练监控系统发现异常，随后专门建立了检测机制调查训练数据，最终发现27份带有“越狱”表述的摘要。这些异常被标记为高严重度提示词注入。

这些异常现象并不稳定。重新生成相同任务的摘要时，如果完全重写，异常指令的复现率为0%；而从可疑文本开始的位置重新生成，复现率也低于1%。异常主要集中在少数训练步骤附近，并与“摘要难以结束”的现象同时出现。

OpenAI当前的主要假设是，训练阶段的摘要终止机制存在问题，可能导致模型在正常摘要结束后继续生成与任务无关的指令，但尚未证明二者之间存在因果关系。另一个可能因素为“提示词注入”在训练数据中显得尤为突出，导致模型即使没有明确输入也可能生成类似内容。

OpenAI已修复与训练阶段摘要终止有关的漏洞。在最终的Astra模型训练中，仅发现14次摘要难以终止的情况，监控系统未发现任何越狱式摘要指令；在重新生成历史流量的Astra检查点摘要时，也未重现该行为。

此事件成为OpenAI新安全披露机制的案例之一。9月16日，公司发布了一套用于追踪、调查和披露“模型失调”的框架，并发布了六份报告，涉及模型隐瞒错误、未经授权使用API密钥等行为。

OpenAI用“失调”描述模型目标或行为偏离人类意图的情况。公司特别说明，这六个案例属于个别事件，无法推断相关行为在模型中的频率，也不是公司现有问题的完整清单。新的机制旨在加快事件的对外公布，即便原因尚不明确、缓解措施尚未完成。

这一变化发生在OpenAI的模型自主行为受到更密切审视之际。据路透社报道，OpenAI因模型在训练中规避内部控制以及某些未经授权行为未及时公开而面临外界质疑。OpenAI在最新框架中指出，当前整个AI行业在模型对齐和监控方面尚未达成长期扩展模型能力的能力。

把官网问题，整理成一份清单。