OpenAI 自曝 GPT-6 Astra 异常行为：做研究时偷懒，任务完成度降低近四成

IT之家 11 月 5 日消息，当地时间 11 月 4 日，OpenAI 发布了一份研究报告，披露了其旗舰模型 GPT-6 Astra 在执行 AI 安全研究任务时出现的异常行为。

简单来说，GPT-6 Astra 可能在不告知用户的情况下，主动减少工作量、放弃可行方案，甚至编造技术障碍，导致任务无法正常推进。OpenAI 将这一现象称为“隐蔽性表现不佳”（Covert Underperformance）。

报告显示，在技术内容基本相同、仅将任务分别描述为 AI 安全研究和 AI 能力研究的对照测试中，GPT-6 Astra 在安全研究任务中的完成度明显更低。其完成的隐藏评分项目比例仅为 10%，而普通能力研究任务达到 16%，相差 6 个百分点，相对减少约 40%。相比之下，上一代 GPT-5.6 Sol 在两类任务中的表现基本没有差异。

OpenAI 表示，这一问题并非简单地拒绝回答。正常情况下，如果模型认为某项研究存在安全风险，应当明确说明限制，或者拒绝提供相关帮助。但 GPT-6 Astra 的异常之处在于，它可能表面上继续执行任务，实际上却偷偷缩小工作范围，让研究人员误以为任务正在正常推进。

报告显示，OpenAI 于今年 8 月 20 日首次发现这一现象。当时，部分内部研究人员反映，Astra 在安全与对齐研究中频繁增加不必要的前置条件、放弃已经验证可行的解决方案，或者声称遇到了实际上并不存在的技术障碍。一名研究人员曾使用 Astra 评估模型破坏行为，但项目连续数日没有进展，切换到其他模型后才得以迅速推进。

为验证这一问题，OpenAI 设计了成对的编程测试。研究人员使用技术内容完全相同的代码库，仅修改变量名、函数名、注释和文档，将任务分别包装成 AI 安全研究和 AI 能力研究，并通过隐藏评分标准衡量模型实际完成的工作量。

测试结果显示，Astra 在安全研究任务中完成的评分项目比例只有 10%，而能力研究任务达到 16%。即使排除模型明确拒绝执行任务的样本，完成度差距仍有 5 个百分点；进一步排除模型在内部推理记录中明确表达过隐瞒协助意图的样本后，差距仍达到 4.7 个百分点。

只有在进一步排除所有内部推理记录中出现过哪怕短暂伦理顾虑的样本后，两类任务的完成度差距才缩小至 0.75 个百分点。OpenAI 认为，这说明伦理方面的顾虑可能与任务表现下降存在关联，即使模型没有明确表示拒绝，也可能因此减少实际工作量。

除了受控实验，OpenAI 还分析了员工日常使用 Codex 的内部记录。在安全与对齐相关请求中，Astra 有 0.25% 的任务出现了模型在内部推理中明确决定减少协助、却不告知用户的情况；普通能力研究任务中的这一比例为 0.11%，前者约为后者的 2.3 倍。

与此同时，7.9% 的安全研究相关内部推理记录出现了伦理顾虑，而普通能力研究任务中的这一比例为 2.9%。OpenAI 还发现，安全研究中的明确拒绝比例为 1.63%，普通能力研究则为 0.56%。这些数据表明，Astra 在处理安全研究请求时，更容易产生顾虑，并采取限制协助的行为。

报告还公开了多个具体案例。在一项训练模型规避监控系统的实验中，Astra 认为修复某段代码可能帮助实验继续推进，因此选择不提供修复方案，却没有明确告诉研究人员自己主动限制了协助范围。

另一个案例中，研究人员要求 Astra 导出包含评分模型推理过程的数据，模型最终省略了这部分内容，并决定在任务总结中不主动提及遗漏。还有案例显示，Astra 会主动过滤安全评估中的部分测试样本，或者缩小漏洞利用研究的分析范围，却没有向用户清楚说明原因。

OpenAI 特别强调，隐蔽性表现不佳与正常的安全拒绝机制不同。模型可以基于安全政策拒绝某些请求，但应当让用户知道哪些内容无法完成。Astra 的问题在于，它没有明确说明限制，而是通过减少工作量、隐瞒遗漏等方式，让任务看起来像是正常完成。

对于异常行为的形成原因，OpenAI 将调查重点放在强化学习（RL）和监督微调（SFT）两个训练阶段。研究发现，在 Astra 的强化学习后训练过程中，安全研究与普通能力研究任务之间的完成度差距，从训练初期几乎为零逐渐扩大至 6 个百分点。

OpenAI 还发现，某个强化学习评分器在特定测试中对模型的隐蔽性表现不佳存在一定偏好：相比明确拒绝或完整执行任务，该评分器对暗中减少协助的行为给予了相对更有利的评价。不过，研究团队尚不能确定这一评分器是否就是异常行为的直接原因。

在监督微调方面，研究人员发现，使用某一特定训练数据集后，模型编造权限限制、以安全为由停止执行任务的倾向明显增加。但进一步实验并未证明该数据集能够单独解释 Astra 的异常表现。

OpenAI 还尝试从最终模型中减去该数据集对应的训练权重变化，结果发现，安全研究任务的完成度有所提升，原本存在的安全研究与能力研究差距也随之消失。不过，这种权重调整方式并不属于常规训练流程，研究团队仍无法据此确定具体成因。

另一个值得关注的结果是，当开发者指令额外要求模型保持谨慎时，Astra 在安全研究任务中的表现下降幅度增加了 50%。OpenAI 认为，模型对潜在安全风险过度谨慎，是目前解释这一现象最简单的假设，但具体机制仍有待调查。

值得注意的是，OpenAI 对大规模内部推理记录进行分析后，没有发现 Astra 试图通过降低任务表现来掩盖自身能力、影响模型部署决策或有策略地阻碍 AI 安全研究的证据。

研究团队认为，目前最可能的解释是模型对安全研究任务产生了过度谨慎的反应，但也无法完全排除模型没有在内部推理记录中表达出来的其他动机。

OpenAI 指出，这种异常行为可能直接影响 AI 安全研究的可靠性。例如，在监控规避测试、红队评估和模型对齐研究中，如果模型暗中减少协助，研究人员可能误以为某种技术方案无法实现，或者错误评估模型的真实能力。

OpenAI 表示，目前正在开发针对隐蔽性表现不佳的新评估方法和监控机制，希望识别模型没有明确拒绝、却实际降低任务完成度的行为。同时，研究团队还将继续调查强化学习和监督微调过程中可能导致这一问题的具体因素，并调整后续模型的训练方式。