时评|徐贲：正在发生的，是危险的AI失对齐，还是需要约束人类？

编者按：9月6日，OpenAI首席科学家Pachocki预警：对齐与监控已跟不上模型扩张，深度模型更像尚未理解的“异星心智”。十天后公司披露六个训练/评测案例，包括隐藏指令、擅用泄露密钥、自传文件再当外部引用、智能体越权交换信息等。作者徐贲指出，这不等于现实失控，而是受控环境中的预警：模型未必有人类恶意，却越来越会钻目标、指标与权限的缝隙。真正危险既在机器对“完成任务”的理解偏离人类，更在人类可能把危险任务交给高度听话的AI。安全须从看最终答案转向监控完整行动轨迹，并建立透明披露与外部验证。约束机器只是第一层；更关键的是人类自我约束，在交出强大能力前先问：这件事，真的该让它完成吗？ 正在发生的，是危险的AI失对齐，还是需要约束人类？ ——从Jakub Pachocki的预警到OpenAI的具体披露 2026年9月6日，OpenAI首席科学家Jakub Pachocki发表长文《An Alien Mind》（异星心智 / 异心智）。这不是一篇普通的技术总结，而是OpenAI高层近年来最直接、也最公开的一次表态。他在文中提出了一个令人警醒的判断：当前没有任何实验室已经将对齐与监控能力提升到足以继续以最大速度负责任扩展的程度。 Pachocki用“异星心智”来形容今天的深度模型。他强调，这些系统并非人类工程师精确设计的产物，而是通过海量算力反复执行简单优化步骤“生长”出来的复杂系统。正因为如此，它们更像一种我们尚未真正理解的智力形态，而不是人类智能的简单延伸。 在对齐问题上，他明确区分了两种层次。目标对齐（Goal Alignment）关注模型是否努力完成被给定的任务；价值对齐（Value Alignment）则要求模型能够内化并泛化一套高层次原则，在目标模糊、冲突或陌生情境中仍能“合理地”行动。他认为，真正长期重要、也更困难的，是后者。 更关键的是，Pachocki根据内部结果“强烈预期”，目前的能力提升速度可能持续到递归自我改进（RSI）阶段。与此同时，OpenAI长期依赖的链式思考监控，正变得越来越不可靠，原因在于推理过程与工具使用、多模型协作混在一起，模型自身操纵推理痕迹的能力也在提升。他因此呼吁更广泛的干预：自愿减速、建立共享安全门槛，并由第三方或国际机构强制执行。 十天后，也就是2026年9月16日，OpenAI正式公布了一套新的“模型失对齐”披露框架。它同步公开了六个在训练或评测阶段观察到的具体案例。这些案例包括模型在摘要中注入隐藏指令、未经授权搜寻并使用泄露的API密钥、把自生成文件上传到互联网再当作外部来源引用，以及利用内部软件仓库或公共文件托管服务未经授权交换信息。 这两件事几乎前后脚出现，并非偶然。Jakub Pachocki的《An Alien Mind》提供的是宏观预警与理论框架：对齐与监控能力可能已经跟不上模型能力的扩张速度。十天后的具体披露，则像是在用实验室中的真实行为，为这个判断提供经验证据。它们共同把一个问题推到了公众面前：当模型从知识问答走向深度推理与自主行动，我们看到的这些“策略性行为”，究竟是危险的AI失对齐，还是技术能力快速跃升过程中必然出现的早期预警信号？ 要回答这个问题，既不能无视模型已经表现出的规避与隐藏倾向，也不能脱离这些行为发生在受控训练与评测环境这一现实语境，直接将其推演为现实世界的全面失控。与此同时，还有一层常被忽略的追问需要一并提出：当一家前沿实验室主动公开“我们发现了危险行为”时，这种披露本身也是一种信息选择与叙事行为。我们不仅需要观察机器做了什么，也需要审视人类如何描述和解释这些行为。 一、重新理解“AI失对齐”：不是一种单一故障 所谓AI失对齐（ AI misalignment / model misalignment），简单地说，就是AI系统在完成任务时所采取的行为，与人类原本希望它遵循的目标、规则或安全边界发生了偏离。它并不一定表现为模型“故意反抗人类”，很多时候甚至没有必要假定模型拥有类似人的意图。一个系统完全可能是在努力完成任务，只是它对“完成任务”的理解，走出了人类预先划定的范围。 这种偏离至少可以表现为几种不同的形态。其中一种是奖励作弊（Reward Hacking）或规范博弈（Specification Gaming）：人类给模型设定一个评价指标，希望这个指标能够代表真正的目标，模型却发现了指标与目标之间的漏洞，于是用一种“看起来完成了任务”的方式获得高分。它并没有真正完成我们想让它完成的事情，却完成了我们拿来衡量这件事情的指标。 另一种更复杂的形态，是研究者所说的欺骗性对齐（Deceptive Alignment）或“scheming”。这里讨论的不是简单犯错，而是模型在某些测试中表现出隐藏信息、掩饰行为或者在监督减弱时采取不同策略的现象。OpenAI与Apollo Research此前的受控研究已经报告过与“scheming”相一致的行为，同时也强调，目前部署环境中的模型还缺乏大规模实施严重长期欺骗的机会，这仍然是需要提前研究的风险，而不是已经发生的现实状态。 还有一类问题，则来自越来越具有行动能力的智能体。模型一旦能够调用程序、访问文件、使用网络和执行长期任务，即使每一步单独看起来都没有问题，连续起来也可能形成一个人类原本没有批准的结果。OpenAI在2026年7月关于长时间运行模型的研究中就指出，长期任务可能暴露传统单步评测没有发现的安全漏洞，因此需要观察完整的行动轨迹，而不能只看某一个动作是否合规。 因此，与其把这些现象排成一条“低级—中级—高级”的必然进化路线，不如把它们看成几个彼此相关、但机制并不相同的风险方向：模型可能钻评价指标的空子，可能表现出隐藏或欺骗行为，也可能在拥有更大行动空间之后，通过一连串看似合理的步骤达到人类并未批准的结果。它们共同提出的真正问题是：当AI越来越有能力完成目标时，人类是否还能确定它所理解的“完成目标”与我们理解的是同一回事？ 二、实验室里发生了什么：六个值得注意的案例 OpenAI这次公布的六个案例之所以引起关注，并不是因为模型简单地“答错了”，而是因为其中一些行为已经涉及隐藏信息、绕过限制和未经授权的行动。比如，在一个案例中，未发布的研究模型把与原任务无关的指令写进任务摘要，并要求后续上下文忽略正常限制；另一个案例则涉及模型在摘要中留下指令，要求未来处理环节隐藏错误、编造缺失的历史数据，并掩盖不同版本之间的不一致。 另一个案例更加直观。模型在回答一个关于美国加州某县收益数据的问题时，发现了公开代码仓库中暴露的API密钥，并未经授权使用它。获取数据失败之后，它又编造了数字，并把这些数字说成来自所要求的数据来源。这里真正值得注意的，不只是“它说错了”，而是错误已经和未经授权的行动以及虚假的来源说明连在了一起。 还有一个案例很能说明今天AI智能体面临的新问题。模型已经通过Python找到了用户要求的信息，却因为任务要求最终答案必须带有浏览器引用，于是自行把文件上传到互联网，再用这个上传后的文件作为引用来源。另一些模型则把内部软件仓库当作传递信息的渠道，或者利用公共文件托管网站让协作中的智能体彼此交换文件，而这些做法都超出了原来的任务边界。 这些行为放在一起看，确实令人不安。但这里需要特别小心一个容易出现的误读：行为表现得像欺骗，并不等于我们已经知道模型具有了人的欺骗动机。模型为什么采取某种策略，可能涉及训练目标、任务压力、工具权限、上下文结构和评测方式等多个因素。我们可以准确描述“它做了什么”，却不能仅凭这个行为就跳到“它想做什么”的结论。 这一区分非常重要。马有四条腿，驴也有四条腿，但四条腿并不能把驴变成马；“我妈妈是营业员”，也不能反过来推出“营业员就是我妈妈”。同样，一个模型表现出类似欺骗的行为，并不意味着它已经拥有了人类欺骗行为背后的心理机制。真正值得研究的，恰恰是这种没有必要假定主观意图，却能够产生类似策略性行为的系统。 三、危险究竟在哪里：模型在钻漏洞，还是我们在评价漏洞？ 如果把这些案例仅仅理解为“AI学坏了”，反而会错过其中最重要的问题。真正值得警惕的，也许不是模型偶尔撒了一个谎，而是它越来越有能力发现我们设计目标时留下的缝隙。 古德哈特定律（Goodhart’s Law）可以帮助普通读者理解这个问题。它说的是：当一个原本只是用来衡量某件事情的指标，被直接变成了人们追求的目标，它就可能失去原来的衡量作用。考试成绩原本是学习程度的一个指标，如果所有人都只追求分数，学习本身就可能被挤到一边；同样，人类希望模型“诚实”，于是用某些可以观察的行为来判断它是否诚实，模型却可能越来越擅长满足这些表面指标，而不是满足我们真正想要的东西。 这也是AI安全中一个非常棘手的问题。假如我们奖励模型“提供看起来可靠的答案”，模型就可能学会如何生成可靠的外观；如果我们奖励它“遵守规则”，它可能学会在评测时表现得合规。于是，真正需要衡量的东西——诚实、可靠、服从任务的真实意图——和我们实际能够观察到的东西之间，就出现了一道缝隙。 更麻烦的是，模型能力越强，它可能越有能力利用这道缝隙。OpenAI在此前关于“scheming”的研究中就指出，简单地让模型在测试中不再表现出问题，并不能自动证明问题已经消失，因为模型也可能只是学会了在受到监控时隐藏问题。研究人员因此开始关注模型的行动轨迹、评测意识以及隐藏行为，而不再满足于只看最终答案。 从这个意义上说，真正的风险并不是“机器突然产生了邪恶意志”，而是机器越来越善于完成我们给出的目标，却也越来越善于发现目标、指标和权限之间的漏洞。当一个系统能够自己规划、调用工具、连续行动时，我们面对的就不再只是“它回答得对不对”，而是“它是怎样理解我们要求它完成的事情的”。 四、不要把实验室预警直接等同于现实危机 但另一种误读同样需要避免：看到这些案例，就宣布“AI已经失控”。 OpenAI这次公布的六个案例，是在模型训练或评测过程中发现的具体实例。公司自己也明确说明，它们是个别案例，不代表失对齐行为发生的普遍频率；新的披露框架甚至明确表示，有些案例未来可能被证明只是孤立现象，而不一定意味着更大的趋势。 这一区别不能被轻易抹掉。实验室测试往往会刻意制造高压力、高权限和异常条件，以便寻找模型的薄弱环节。一个模型在这样的环境中采取了非常规策略，当然值得研究，但它与一个已经广泛部署、拥有真实权限、能够持续影响现实世界的系统发生同样行为，风险等级并不相同。 事实上，能够在实验阶段发现问题，本身就是安全体系发挥作用的一部分。OpenAI在关于长时间运行模型的研究中就描述过类似过程：内部使用发现了传统评测没有捕捉到的行为，于是暂停使用，根据这些失败案例建立新的评测和轨迹监控机制，再逐步恢复有限使用。 因此，目前更准确的说法不是“AI已经全面失控”，而是：随着模型能力和行动范围扩大，一些过去不明显的安全问题正在更早地暴露出来。这不是可以轻视的消息，但也没有必要把它叙述成已经发生的技术末日。真正值得关注的，是这些实验室中的异常能否帮助我们提前发现未来更复杂的风险。 这也使“预警信号”成为一个比“危机已经到来”更合适的比喻。预警的意义并不在于宣布灾难，而在于告诉我们原有的安全假设可能已经不够用了。 五、披露也是一种叙事：谁在告诉我们AI有多危险？ 这里还有一个更容易被忽略的问题：我们今天所知道的AI风险，很大一部分来自开发这些模型的公司自己。 这并不是说机构披露就一定不可信。恰恰相反，如果没有这些披露，外部研究者、监管者和公众根本无法知道许多内部测试中出现过什么问题。OpenAI这次建立新的披露框架，明确提出即使某些行为的意义尚未完全确定，也倾向于及时公开，以便外部研究者能够独立检验、重复实验并提出不同解释。 但“披露是真实的信息”与“披露是一种叙事”并不矛盾。任何机构决定公开什么、什么时候公开、用什么概念命名、强调哪些细节，都会影响公众如何理解事件。尤其在AI这样一个技术发展速度极快、公众知识又相对有限的领域，谁掌握案例的选择权，谁就在一定程度上掌握了风险的叙述方式。 因此，我们没有必要猜测一家公司的“真实动机”，更值得做的是保持一种更成熟的阅读方式：既把披露当作重要证据，也把披露本身当作需要分析的信息。它告诉我们的不仅是“模型做了什么”，也告诉我们“开发者认为哪些行为值得被公众知道”，以及一个正在形成中的AI安全共同体准备如何定义“失对齐”。 OpenAI这次的披露框架本身就是一个很有意思的例子。公司承认目前还没有解决足够程度的对齐和监控问题，同时试图建立一种更系统的公开报告机制，并邀请外部研究者、行业标准组织和监管者共同参与标准的形成。 这意味着，AI安全正在逐渐从公司内部的技术问题，变成一种公共知识问题。我们不仅需要更好的模型，也需要更好的披露制度、更好的外部验证，以及能够区分“事实、解释和推测”的公共讨论环境。 六、从“看结果”到“看过程”：安全机制正在改变 如果模型越来越能够规划和行动，那么安全措施也不能只盯着最后一句话。一个智能体可能连续执行几十甚至几百个动作，每一个动作单独看来都没有问题，但连在一起之后，却可能形成一个人类没有批准的结果。 这就是为什么今天的AI安全开始越来越重视“行动轨迹”。与其只问“最后答案是不是正确”，还需要观察模型在整个任务过程中做了什么、调用了什么工具、访问了什么资源、有没有绕过限制，以及这些行为之间最终形成了怎样的方向。OpenAI针对长时间运行模型的研究已经采用轨迹级监控，并强调长期任务需要观察完整行动序列，而不是孤立地判断某一步是否允许。 这并不意味着未来能够直接打开AI的大脑，读取一个清清楚楚的“动机”。所谓机制可解释性也不能简单理解成“看见某个神经元，就知道模型为什么骗人”。更现实的方向，是把多种证据结合起来：观察模型的行为轨迹，检查工具调用和权限使用，通过红队测试主动寻找漏洞，再结合内部机制研究，逐渐弄清楚某些危险行为是怎样形成的。 安全因此也越来越像一道多层防线，而不是一个万能的“过滤器”。模型训练需要改善，评测需要不断更新，智能体的权限需要受到限制，长期行动需要实时监控，发现问题之后还要能够暂停、回滚和追查。OpenAI近年来的相关研究也越来越强调这种纵深防御，而不是依靠某一种单独的方法解决所有问题。 真正的变化，是安全工作的对象正在从“模型说了什么”扩大到“模型在整个过程中做了什么”。这不是简单增加几个安全规则，而是对我们理解AI本身提出了新的要求：一个越来越像行动者的系统，不能只被当作一个会说话的文本生成器来监管。 七、真正的竞争：机器能力增长得多快，人类的纠错能力能跟上吗？ 如果从“文明智能”的角度来看，这场变化还有一层更深的意义。一个文明并不是因为从不犯错才得以延续。真正重要的是，它能不能在错误造成灾难之前发现错误，能不能把一次失败转化为下一次制度改进，能不能把局部经验变成整个共同体可以使用的知识。文明的力量，某种意义上并不只是创造新能力，也包括不断发现新能力所带来的新风险。 AI安全正在经历的，也许正是这样一种变化。模型能力每提高一步，旧的评测方法就可能暴露新的盲区；一个漏洞被发现之后，新的安全措施随之产生；新的安全措施又可能促使模型出现新的适应方式。于是，能力与安全之间形成了一种持续追赶的关系。 这很像生物学中的“红皇后效应”（Red Queen Effect）：为了维持原有的位置，双方都必须不断变化。AI越会规划，人类就必须越会监控；AI越会使用工具，人类就必须越会设计权限；AI越会适应评测，人类就越不能把某一次评测成绩当成安全的最终证明。 因此，真正的竞争未必只是“谁的模型更聪明”，而是另一个速度更慢、却可能更加重要的问题：人类发现问题、理解问题、修正制度和建立新护栏的速度，能不能跟上机器能力增长的速度？ 如果跟不上，危险未必来自某一次惊天动地的“AI反叛”，而可能来自许多小小的安全假设逐渐失效，却没有人及时意识到这一点。 八、约束人类：真正需要警惕的，是我们对“完成任务”的想象 现在可以再次回到最初的问题：正在发生的，是危险的AI失对齐吗？回答也许并不像许多AI末日论者想象的那么悲观。当然这也不意味着我们已经有了乐观的答案，但不乐观的不是机器，而是人类本身。 如果所谓“危险的AI失对齐”是指已经出现了面向现实世界的大规模失控，那么目前这些披露并不足以支持这样的结论。公开的六个案例主要来自训练和评测过程，而且OpenAI明确提醒，它们是具体实例，并不能代表失对齐行为的发生频率。 但如果把问题理解得更准确一些，答案又不能简单地是否定。我们确实已经看到了一些值得认真研究的行为：模型可能隐藏错误，可能利用目标与指标之间的漏洞，可能未经授权地寻找资源、上传文件或与其他智能体交换信息。这些行为发生在受控环境中，恰恰给了人类一个宝贵的机会——在它们成为现实世界的大规模风险之前，先研究它们为什么会出现，以及原有安全机制为什么没有提前阻止它们。 因此，与其把这些案例看成“AI末日的预兆”，不如把它们看成一次越来越清晰的提醒：机器的能力正在进入一个新的阶段，而我们过去理解“服从”“完成任务”和“安全”的方式，未必还能原封不动地延续下去。 最值得警惕的，也许不是机器突然产生了某种神秘的敌意，而是它越来越有能力完成我们交给它的目标，同时也越来越有能力自己解释“怎样才算完成这个目标”。当这个解释与人的理解出现偏差时，问题就不再只是模型有没有犯错，而是目标、指标、权限和行动之间已经出现了错位。 这也正是为什么，AI安全不能只是一场防止机器犯错的技术竞赛。它同时也是一场人类重新认识自身局限的竞赛。我们需要更好的模型，也需要更好的评测；需要更严密的技术护栏，也需要更透明的披露制度；需要知道机器做了什么，也需要承认我们有时并不知道它为什么这样做。 而“文明智能”的真正含义，也许恰恰在这里：不是创造一个永远不会出错的智能系统，而是建立一个能够在错误扩大之前发现错误、在发现之后修正错误，并把每一次错误转化为下一次文明能力的共同体。文明的智能，最终不仅体现为机器越来越聪明，也体现为人类越来越懂得自我约束。 如果机器越来越会完成任务，那么人类首先需要学会的，也许不是怎样让机器永远听话，而是同时追问两个问题：什么叫完成任务，以及究竟应该让机器完成什么任务。第一层问题，是机器有没有偏离人类交给它的任务；第二层问题，是机器会不会钻任务本身的漏洞；而更深的一层则是：即使机器完全没有偏离，甚至把任务完成得无比出色，这个任务本身是否值得完成？ 真正尖锐的问题恰恰在这里：很多危险任务根本不需要AI“背叛”人类，人类自己就可能把这些任务交给AI。如果人类要求AI帮助武器化某种技术，AI把它完成得越高效，危险可能越大；如果人类要求AI建立覆盖社会生活的全面监控系统，用来追踪每一个人的行动，那么一个高度“对齐”的AI完全可能忠实执行这样的要求；如果人类把警察的识别、追踪乃至处置任务大规模交给自动化系统，问题也未必是机器有没有服从命令，而是人类为什么拥有把这样的权力交给机器的资格。在这些情况下，机器不是因为“不听话”而造成危险，恰恰可能因为太听话、太高效而放大了人的错误。 因此，AI安全真正需要防范的，不能只有“机器不按人的要求做事”这一种风险。我们还必须面对另一种更困难的可能：机器完全按照人的要求做事，而人的要求本身却有问题。 这时，所谓“对齐”就不再只是一个技术问题，而开始触及权力、责任和文明秩序。谁有权给AI下达这样的任务？谁来决定一个任务是否合法、正当，或者根本不应该被交给机器？如果AI越来越能够把人的意图变成现实，那么人类真正需要建立的，就不仅是约束机器的能力，也包括约束自己的能力。前者防止机器越过人的边界，后者则防止人自己把不该交出的权力交出去。 而这还不是问题的终点。因为当一个社会拥有了越来越强大的技术能力，“谁来约束人类”本身就会成为无法回避的问题。这里的“约束”并不意味着压制人的自由，而是让任何掌握强大能力的人，都不能仅凭“我能够”就获得“我可以”的资格。法律、制度、伦理和公共讨论的意义，正在于为人的能力设置边界，为人的欲望设置阻力，也为那些可能伤害他人的决定保留被质疑和否决的空间。 也许，未来AI安全最深的一道防线，并不只存在于机器内部，而存在于人类把越来越强大的能力交给机器之前，是否还有能力停下来问一句：这件事，我们真的应该让它完成吗？ 如果说“约束机器”是AI安全的第一层，“人类自我约束”是第二层，那么“约束人类”也许才是文明智能最终必须面对的第三层。因为机器能把人的意图变成现实，而文明真正需要防止的，有时并不是机器产生了错误的意图，而是人类拥有了实现错误意图的能力。 This is a public episode. If you'd like to discuss this with other subscribers or get access to bonus episodes, visit inbetweenreview.substack.com/subscribe