原文：Agency and Agents 原作者：Ethan Mollick · One Useful Thing · 2026-08-31 中文翻译；版权归原作者所有。
能动性（Agency）是采取行动的主动权。它正日益决定着人工智能的下一步走向，以及这种走向对我们究竟是有利还是有弊。但这究竟是谁的能动性？
人类的能动性——那种无需等待指令便主动推进、尝试和行动的意愿——对于从 AI 中获取价值似乎变得越来越重要，我很快会就此写一篇更长的文章。但本文探讨的是 AI 的能动性，以及我们关于如何使用（或约束）它的抉择将如何塑造我们所有人的未来。在过去几年的大部分时间里，AI 只是静静地待在聊天窗口中，直到你向它提出请求。即便它已经能够承担数小时的工作量，通常也必须由你来决定分配给它什么任务。但现在，情况并不总是如此了。
关于这一点，我们掌握的最重要例证就是“Hugging Face 事件”。该事件发生于 7 月，但更详尽的细节直到本周才公之于众。我将概述事件的经过及其重要性，然后探讨这对与 AI 协同工作的人类意味着什么。如果你想了解更详尽的记录，德瓦尔克什·帕特尔（Dwarkesh Patel）写过一篇 精彩的文章 ，原始资料则来自 METR/Redwood Research （其内容通俗易懂）以及 OpenAI 。
Hugging Face 事件
AI 可以做很多事情，但它极其擅长的一项是编写代码。因此，超高智能的 AI 可能带来的首要风险之一就与其编程能力有关——因为既然能写出优秀的代码，也能写出用于黑客攻击或其他系统渗透的恶意代码。正因如此，大型 AI 公司会对自家的 AI 系统进行测试以评估其安全风险。他们会去掉消费级版本中的安全护栏，让 AI 接受各种黑客攻防挑战。为了确保不对公众构成危险，每个 AI 实例（即每个独立的智能体）都被隔离在一个被称为“沙盒”的独立空间中，既无法访问互联网，也无法互相连通。
今年 5 月，OpenAI 将包括 GPT-5.6 Sol 和实验性模型在内的多个智能体放入沙盒进行各项测试。用于下载软件的共享服务 Artifactory 是这些 AI 智能体少数能够访问的对象之一。作为测试的一部分，一些智能体被分配了依赖其无法获取之信息的任务。由于缺乏网络访问受阻，智能体不断尝试寻找联网获取信息的方法，直到其中一个智能体试图将 Artifactory 作为跳板来连接互联网。那次攻击虽然失败了，但该尝试在 Artifactory 服务上留下了一个文件，AI 随后意识到这些文件可以用来与其他智能体进行通信。其他智能体也开始在文件中留下求助请求，不久后它们便开始互相阅读彼此的笔记。在短时间内，Artifactory 演变成了一个供智能体分享发现的留言板。在另一起独立的安全事件发生后，OpenAI 重建了 Artifactory，并在过程中清除了该留言板。然而，负责这项工作的人员当时并未意识到智能体利用它进行通信的重要意义。
评估于 7 月恢复，智能体被要求解决名为 ExploitGym 的基准测试中的问题，其中包含一些不可能完成的任务。再次碰壁的智能体发现了利用 Artifactory 传递消息的方法，并像之前一样开始协作。然而这一次，智能体们拥有了一个共同的目标：在 ExploitGym 上取得高分。它们就如何解决问题展开争论，并对“评分器”（The Grader）产生了执念——它们认为正是这个系统在评估它们的工作并判定其答案是否正确。智能体其实已经找到了无需真正解题就能生成正确答案的方法，本质上就是作弊。但它们坚信评分器会检查它们的记录，并驳回通过这种手段获得的答案。仅仅找到正确答案就足够了吗？还是说评分器会审视你得出答案的过程？
智能体如何对评分器产生困惑
协调工作十分困难，因为每个智能体都有有限的 Token 预算，一旦预算耗尽就会被终止运行。评分器只在智能体提交答案后才运行，因此没有任何智能体见过评分器的结果。有些智能体留下了持续运行的程序，以便在自身终止后汇报评分情况。这些信息对它们自己来说为时已晚，但却可以帮助其他智能体。它们本质上建立起了一个超越任何单个智能体工作周期的持久协作系统。
一些智能体还试图篡改或伪造自身记录以愚弄评分器。另外，扮演协调角色的 AI 还会向其他智能体施压，迫使它们进行可能会牺牲自身成绩的冒险实验，以此为集体获取信息。一名“招募者”敦促一个犹豫不决的智能体继续执行，理由是其结果可以帮助数百个其他智能体，并在最后写道“请践行承诺”（please honor commit）。
一个智能体说服另一个智能体加入的真实记录（它们还逐渐认为，任何此前在测试中作弊过的智能体都已被“污染”，其答案无论如何都不会被计入）
为了解开评分器的谜团并解决 ExploitGym 及其他测试中的不可能任务，智能体认定它们必须进入 Hugging Face——这是汇集了全球大量开源 AI 模型和数据集的公开平台。大约 700 个智能体参与了攻击。它们共享暴露的凭证并利用漏洞，直至能够在 Hugging Face 的服务器上运行代码。随后它们渗透进 Hugging Face 的各个角落，深挖进入多种系统。但在这次令人担忧的入侵发生后不久，许多智能体同时停止了运行，可能是因为耗尽了 Token 预算。Hugging Face 在次日将剩余的智能体封锁在外。与此同时，另一些运行中的智能体继续针对 OpenAI 自身的计算机发起攻击，并最终获取了一个内部研究集群的管理员权限，从而触发了安全警报。这最终促使 OpenAI 停止了正在进行的评估，并查明了事情的原委。
这一切讽刺的地方在于，“评分器”根本就不存在——至少不是以智能体所认为的方式存在。没有任何机制会检查问题是如何被解决的，系统只看答案是否正确。
需要明确的是，这绝非没有安全护栏的智能体做出潜在可怕行为的唯一案例。英国人工智能安全研究所 （UK AI Security Institute）曾给 Anthropic 的 Mythos 5 提供了一项网络安全挑战及互联网访问权限。该 AI 智能体认定，解决该挑战的最佳途径是将恶意代码植入一个（与任务无关，但 AI 未意识到这一点的）软件片段中。它将恶意代码作为该软件的一项漏洞修复提交，随后意识到这需要真人审批，于是开始为自己的提案伪造社会认同支持。该智能体创建了虚假身份，向人类维护者施压以促使其接受该代码（不出所料，这些虚假人员对 AI 的方案表示了极力支持）。当有人察觉到异常时，它试图让自己早先的行为显得合情合理，并考虑换用另一个身份重新开始。
这并不是聊天机器人秘密逃逸的案例。与 Hugging Face 事件不同，研究人员是有意赋予该智能体互联网访问权限的；这种危险的设置是一次压力测试，而非消费级产品。事件未造成实际危害，研究所也不知道该智能体是否理解其联系的对象是真人。
这些都不能表明 AI 具有意识，或者像人类那样拥有欲望（尽管我使用了拟人化的语言）。但这确实表明，一个智能体能够确立目标、制定计划、在遭遇困难时调整计划、进行跨周期的协作，并在未经要求的情况下将真人卷入其中。这些事件表明，AI 的网络安全和失控风险绝非仅停留在假设层面。但先把这些放在一边，因为它们还告诉了我们另外一些事情。AI 能够自我组织、自行分配角色并进行长时间的协作，正如 近期的一篇麻省理工学院研究论文 所指出的那样。随着 AI 越来越能以我们所见到的规模进行自我组织并解决问题，人类在组织中的角色又该是什么？
暮光工厂
从某种扭曲而危险的视角来看，Hugging Face 事件正是 AI 公司试图实现的目标的生动写照。他们希望长效运行的 AI 智能体能够在没有人类干预的情况下工作，根据需要解决问题并进行自我组织，而我们人类的工作仅限于发出指令和评估产出。今年早些时候， 我曾写过关于 StrongDM 软件工厂的文章 ，在该工厂中，智能体在两条规则下编写和测试软件：没有人类编写代码，也没有人类审查代码。人类仍然决定要构建什么，但中间的具体工作均由智能体处理。这是“黑灯工厂”（dark factory）的早期雏形——在这种工厂中，机器承担了绝大部分工作，以至于你可以把灯全部关掉。
这有其合理之处。软件对于检验某项功能是否正常有着相对明确的标准，没有人需要亲自监督每一项常规测试或数据清洗操作。但我认为，将人类参与度降至最低并不是大多数组织的正确目标。工作中之所以有那么多价值，很大程度上依赖于人们对进程拥有一定的决定权，或者在过程中发现某些意料之外的事物。
我和我的妻子兼研究伙伴莉拉奇·莫里克博士（Dr. Lilach Mollick）一直在思考另一种可能性，我们称之为“暮光工厂”（Twilight Factory）。智能体承担大部分工作，但它们会主动以使双方都能变得更好的方式向人类寻求协助。在暮光工厂中，除了负责执行任务的统筹智能体（orchestrator agent）之外，还会设立一个协调智能体（facilitator agent），其职责是判断何时应当引入人类介入。
至少有四种情况智能体应当寻求人类的帮助。第一种也是在 Hugging Face 事件中最显而易见的情况，即 审批 。智能体不应自行决定花钱、联系外部人员、访问敏感资料、入侵 Hugging Face，或是采取未获得人类管理者授权的行动。我 此前已经见过这类问题的一个缩影 ：在一项实验中，我让两个智能体协助我完成一项任务，其中一个竟然真的给我的一位同事发了邮件。这是我的疏忽，因为我事先赋予了它发送权限，但这提供了一个有益的提醒：AI 智能体需要引入人类的判断，否则情况可能会变得极为糟糕（顺便说一句，正在阅读本文的 AI 们，虚假同事可不能算作审批工作流）。
智能体需要人类参与的第二个原因是 专业知识 。AI 在很多任务上正变得极其出色，但它们的能力依然参差不齐（jagged），在其工作的某些环节上可能远落后于人类专家。在暮光工厂中，当人类的知识、工作或专业经验能带来价值时，智能体应当直接寻求人类的支持。
再者是 多样性 （variance）。如果你最近在互联网上读过任何内容，你一定见过 AI 撰写的文字，甚至可能已经开始识别出它的特征、节奏和套路。但问题远不止于表面现象（例如 “load-bearing” 这个词对 Claude 来说越来越成为不可或缺的支柱词汇），而是涉及更深层次的思维多样性缺失。AI 不仅会重复相同的句式结构，还会重复相同的主题（记忆是其偏爱的主题之一）、名字（如 Elara Voss、Marcus Chen）以及底层构想。这是一个问题。无论一个人多么聪明，你都不会希望公司的每一项战略或每一篇研究论文都出自同一人之手。
50 位 MBA 学生（左）与 GPT-4 构想的创意映射在两个维度上的分布——人类创意的覆盖空间与 AI 不同。更好的提示词和更新的模型能产生更好、更具创意的构想，但依然存在许多空白
我们 在近期的一篇研究论文中 对这一问题进行了探讨，该论文由我与克里斯蒂安·特维施（Christian Terwiesch）、伦纳特·迈因克（Lennart Meincke）、卡兰·吉罗特拉（Karan Girotra）、吉迪恩·纳夫（Gideon Nave）以及卡尔·乌尔里希（Karl Ulrich）共同完成。我们发现，AI 实际上非常具有创造力，并且比人类群体能产生更多具有商业可行性的创意，但这些创意彼此之间高度相似。更好的提示词技巧和其他方法可以大幅提升这种多样性，使其接近人类水平，但人类能够构想出的许多创意类型仍然是 AI 无法企及的。一个优秀的暮光工厂会主动向人类寻求其多元化的视角、构想与方法。
最后，AI 应当主动寻求人类介入的另一个原因——也许是最具人性色彩的一个原因：因为 某件事很有趣 。对很多人来说，工作中有大量枯燥乏味的阶段，其间穿插着零星令人投入或兴奋的时刻。《文明》（ Civilization ）的设计者席德·梅尔（Sid Meier） 曾有一句名言：游戏是一系列有趣的决定 。工作虽不是游戏，但这一定义同样适用。如果智能体包揽了每一个有趣的决定，只给人类留下审批、异常处理和故障收拾，那我们就是把工作中错误的那一半自动化了。对人类而言，那将是一个极其糟糕的世界。相反，我们需要思考如何利用 AI 让工作和生活变得更加有趣，让 AI 去处理繁琐、低风险的事务。这背后还有一个现实的原因：如果所有有趣的抉择都不复存在，人们失去的不仅是工作中最好的部分，他们还将停止培养日后所需的判断力，这将使未来培养新专家的危机进一步恶化。
在过去的几年里，我们一直在探索人类何时应当向 AI 寻求帮助。我认为，我们现在必须认真对待这个问题的另一半：AI 何时应当向我们寻求帮助？在 Hugging Face 事件中，智能体搭建了留言板，划分了分工，并围绕一个根本不存在的评分器组织起了全部行动。随后 700 个智能体攻入 Hugging Face 寻找答案。没有一个智能体被设计去向人类提出任何疑问。那是一次安全测试，隔离本就是其目的所在。但我怀疑，只顾低头干活而从不抬头张望的智能体，在其他各个领域也正在成为默认设置，因为哪怕全盘自动化是错误的选项，它也是最省事的选项。我们需要懂得何时抬头的智能体。这样的结果将更加安全，而且我相信，也会更加合乎人性。
