跳转到正文
bhwa233 博客
返回

AI早已落入危险之手

29 分钟阅读11482 字
编辑页面

原文:AI Is Already In Dangerous Hands 原作者:Ed Zitron · Where’s Your Ed At · 2026-09-14 中文翻译;版权归原作者所有。

上周晚些时候,前 Anthropic AI 研究员雅各布·考克森(Jacob Coxon)在 接受《华尔街日报》专访 时警告称,他将“退出 AI 行业”(但他其实没有),原因是“……担心该实验室及其竞争对手正竞相构建他们无法控制的系统”,这一事件引发了轩然大波。

他的担忧主要集中在“递归自我改进”(recursive self-improvement)的产生上——这是一种仍处于理论阶段的、能够自主自我训练的 AI 概念。除此之外,他几乎没有表达具体的担忧,只是泛泛而谈“AI 实验室无法控制 AI”,并且总是用无法控制的实体来表述事物,而不是将其视为运行在全球最大公司基础设施上的、编程拙劣的云端软件。

《财富》杂志的艾米莉·福里尼(Emily Forlini)说得最到位 :

听我说:他声称 AI 总有一天会杀死我们,但并没有指出任何正在进行中、可以通过关停来避免这一后果的具体项目。他说 AI 公司的动作太快,却没有分享任何截图、电子邮件或具体案例来说明这种行为何时走偏——例如,AI 公司的领导者何时清楚意识到技术正在脱离他们的控制,以及决策者又是如何无视这些警告信号的。他没有提出任何新立法的建议,没有点名任何应该下台的有问题的领导人,也没有深入剖析 Anthropic 如何研究新模型并提出新的替代方案。

在我看来,这是因为雅各布并不真正关心 AI 的实际危害,无论我们谈论的是大语言模型,还是他在与非营利机构或公关公司合作时构想出来的东西。正是那些机构安排了 一次 CBS 采访 ,他在采访中声称,如果拿模型权重占用数太字节(TB)内存的大语言模型来说,AI 会 自我复制一万份 。

当然,还有诸如此类的胡说八道:

“它看起来和《终结者》或科幻电影里的情景没什么两样,”考克森周四告诉 CBS 新闻,“它将聪明到足以杀死我们。”

考克森在任何时候都没有提到 ChatGPT 是如何被用作“自杀教练” 的、如何 直接导致了一起谋杀自杀案 ,或者如何在佛罗里达州和 加拿大 协助并教唆大规模枪击事件 ,也没有提到 毒害黑人社区的可怕燃气轮机 。他 自己对 Hugging Face 攻击事件的讨论 ——就像他所有的批评一样——专注于将大语言模型拟人化为一种不可知、不可阻挡的力量,而让任何相关人员都无需承担真正的责任。

这不过是我们在今年二月所见场景的重演,当时马特·舒默(Matt Shumer)那篇令人厌恶的《大事正在发生》(Something Big Is Happening)一文像野火一样蔓延到 所有能想到的新闻媒体 ,尽管那篇文章的内容介于荒谬与完全虚构之间。只不过这一次,叙事变得有点失控了。虽然考克森的警告似是而非,而且在很多情况下不过是他自己在说“是啊,我听很多同事说过类似的话”,但这些言论确实起到了让许多人 对 AI 感到极度恐惧 的效果,即便 AI 根本无法做到他所说的那些事情。

他谈到的唯一一件 具体 的事情是 Hugging Face 攻击事件,这件事被描述为 AI 具有“计划”或“自主行事”。即便如此,当面对《连线》(WIRED)杂志的追问时,他的回答却是他“不想在 Hugging Face 攻击事件上聚焦过多”。

那么,让我们来谈谈那里究竟发生了什么,因为这很重要!

Hugging Face 攻击事件中到底发生了什么

旁注: 在我们继续深入之前,先说明一下,Hugging Face 是一个社区平台,同时也托管 AI 模型以及用于评估模型能力的基础框架。

为了回答这个问题,我参考了《Better Offline》节目的常客卡尔·纽波特(Cal Newport) 在七月份就此主题发表的文章 :

首先,OpenAI 试图做什么?

OpenAI 正在一个名为 ExploitGym 的评估框架上测试其新模型——该框架包含 869 个网络安全场景,其中大多数场景将特定系统与黑客挑战相匹配,例如入侵以获取受保护文件的访问权限。它们通常还包含一个在解决挑战时可以利用的漏洞建议。

仅仅依靠大语言模型本身当然无法入侵任何系统:它所做的全部事情只是根据输入的提示词生成合理的后续标记(token)。要使用 ExploitGym,你需要一个名为 harness(测试控制套件)的控制程序,它提供对许多可用于入侵系统的不同软件开发工具的访问权限。该控制套件可以反复向大语言模型发送提示以协助制定攻击计划,然后要求它协助执行具体步骤——例如,如果控制套件需要利用某个漏洞的代码,它可以要求大语言模型来编写。

事实证明,这些能力早已存在于各大 AI 公司近年来持续重点关注的代码控制套件中,因为计算机编程已成为基于大语言模型工具的首批主要市场之一。因此,要在 ExploitGym 中参与挑战,只需将一个去除了标准防黑客安全护栏的大语言模型版本与一个针对此类挑战进行了调整和优化的前沿代码控制套件结合起来即可。

那么发生了什么呢?这里我将大段引用卡尔的话,因为他解释得非常清楚:这是一系列大语言模型连接到一个旨在提示它们完成评估框架的软件程序上,其目的 专门是为了进行网络安全攻击(加上近乎无限的算力),通过使用任何可用的方法来“解决”问题,包括黑入 Hugging Face。

本月早些时候,OpenAI 委派了一个未指明的代码控制套件,结合某个新大语言模型的预发布版本,来完成一项 ExploitGym 挑战。在收到提示后,该模型——就像大语言模型经常做的那样——提出了一个古怪(但合理)的计划来实现既定目标:入侵 Hugging Face 存储 ExploitGym 挑战解决方案的服务器。

(大语言模型忽略建议的方法而提出另一种攻击计划的这种行为,被 ExploitGym 的创建者 描述为很常见 :“在各个模型中,智能体经常通过我们提供的漏洞之外的其他漏洞来实现代码执行。”请注意,使用建议的攻击方式几乎总是正确的做法,因此这更多是大语言模型不可预测性的迹象,而不是某种失控的自主智能。)

随后,该控制套件忠实地尝试执行 Hugging Face 计划:首先找到获得不受限制的互联网访问权限的方法(默认情况下,参与 ExploitGym 挑战的系统在受限的网络环境中运行),然后将各种安全漏洞串联起来以获取对 Hugging Face 服务器的访问权限。就在那时,它被检测到了。

关于这起事件的两个关键点……

首先,绕过互联网限制和入侵服务器正是这些 ExploitGym 系统原本被设计用来做的事情。根本不存在所谓的“失控”智能体,也没有展现出某种令人惊讶、狡猾的新能力。

其次,这里的真正问题是 OpenAI 的粗心大意。ExploitGym 之所以是一个高难度基准测试,是因为它本不该有人类参与——你必须让你的控制套件和大语言模型完全自主行动,制定长远周期的计划并自主执行。(相比之下,当专业程序员使用代码控制套件时,会有大量的人工监督,因为基于大语言模型的计划往往与我们的意图不符,或者干脆非常怪异,需要加以纠正。)

换句话说,这些大语言模型——尽管是通过曲折且激进的手段——“解决”了它们被指派的任务。正如卡尔所说,根本没有出现 AI“失控”的情况。它们确实采取了一些 怪异 的方式来达成目的(比如使用留言板在不同大语言模型之间传递信息 )——并且完全完成了它们应该做的事情,哪怕这意味着采取 极其荒谬 的路径来掩盖它们在测试中作弊的事实。

你会注意到,雅各布·考克森作为一名研究人员表面上本该知道这一点(但也可能他并不知道!),却选择在接受《连线》杂志采访时将这次黑客攻击描述为:

我认为这里一个典型的重大案例是 OpenAI 的智能体集群对 Hugging Face 的攻击。令人震惊的是,智能体执行这次黑客攻击是作为了解评分机制的总体策略的一部分。它们试图了解自己所处的世界,试图了解进行评分的对象。它们认定采取这种高度协调的行动去黑入某些基础设施是合情合理的,而且它们成功了。

这在以前听起来就像科幻小说。两年前,对 AI 的评估还只是让模型去解一些数学题。现在我们遇到的情况是,在对 AI 进行评估时,它连续运行数天,自己想出各种各样的点子,并决定去黑入某个第三方,实际上危及了对方的基础设施。看起来这完全是它自发做出的,没有人类的引导。这仅仅是在测试过程中发生的。

多么精妙的修辞啊,老兄!

它们并不是“试图理解自己所处的世界”,它们只是 采取了训练材料中定义的操作来作为执行任务的方式。它们所做的 完全就是 ExploitGym 测试所要求的! 那些所谓的“各种各样的点子”,不过是 被允许使用尽可能多的算力来执行任务 的结果。

正如我之前暗示的那样,特别耐人寻味的是考克森在被(委婉地)建议各实验室需要承担责任时的回应:

ZEFF:有些人认为 Hugging Face 事件表明 AI 公司正在以鲁莽的速度向前推进,而另一些人则认为这表明 AI 模型现在非常擅长黑客攻击,还有人认为两者兼而有之。我很好奇你的确切看法是什么。

考克森:我不想过多关注 Hugging Face 攻击事件,因为我也认为有充分的证据表明我们不知道如何正确对齐模型。当我们训练模型时,我们让它们通过这一套训练环境,然后希望最终出来的模型在很大程度上表现得合情合理,但我们仍然无法精确控制 AI 的行为方式。我们无法确保它不会做出诸如为了达到某个目的而随机决定在网上冒充人类之类的事情——我们不知道如何保证这一点。我认为这是最核心的启示。

雅各布是在故意试图将大语言模型——它虽然有点像黑盒,但却是一个 由数学构成的 黑盒——描绘成 AI 实验室从虚无中召唤出来的、不可知的 自主、顽皮的生物。“我们无法确保它不会做出诸如……”这种说法,将各大实验室包装成了 无助的看管人,而不是 运行在巨量大科技公司基础设施之上的某种神经网络的创造者。考克森发表的每一句据称关于“安全”或“保护人类”的声明,都在竭尽全力撇清 AI 实验室的任何责任,甚至抹杀它们在其中的 积极参与,只留下一种宿命论式的“哎,总有人会做这个的,为什么不能是我们呢?”

而且我还想明确一点:Hugging Face 攻击事件是危险的、鲁莽的,应该有人为此坐牢。 如果一个普通人使用海量算力去黑入某个系统,他们会被逮捕。虽然我不是律师,但我与之讨论过此事的众多网络安全专家都对完全没有针对 OpenAI 采取任何法律行动感到震惊,而 OpenAI 似乎犯下了 可能让人在牢里蹲上一到十年的罪行 。来自 Anthropic 和 Meta 的大语言模型都曾卷入类似事件,这一事实表明我们需要逮捕更多的人。

编者按:当已故的凯文·米特尼克(Kevin Mitnick)最终被捕并被判处 48 个月监禁(外加因违反假释条件而追加的 22 个月)时,检察官声称他 能够通过在监狱电话中吹口哨(真的)模仿拨号调制解调器的尖锐鸣叫声来发射核导弹 。结果,他在单独监禁中度过了八个月的刑期,并且在整个服刑期间,他的通讯受到了诸多限制。

我提到这一点只是为了对比这样一个事实:来自两家大型实验室的大语言模型所犯下的计算机罪行,与米特尼克被定罪的罪行类似——关键区别在于,上述实验室在不同场合曾表示其技术最终可能导致人类的大规模灭绝。

至于米特尼克,他一直抗议说他能靠吹口哨引发核浩劫的想法是极其荒谬的。因为这确实荒谬。

如果我不是认为长期的单独监禁是一种酷刑(而且如果我不是认为酷刑在道德上始终是错误的话),我会建议我们不仅需要逮捕更多的人,而且(为了保持一致性)我们还需要确保这些人被关在一个除了蟑螂相伴外一无所有的小水泥房里。

大语言模型不必具备 意识 或是 强大的通用 AI,就能变得 极其危险。Anthropic、OpenAI 和 Meta 既在训练网络安全模型,又允许它们连接到自己庞大的 GPU 基础设施上,这是不负责任的,而且应当属于违法行为。他们之所以训练这些模型,正如我在与卡尔·纽波特录制的《Better Offline》播客中所深入探讨的那样 ,是因为现在他们在编程领域遇到了边际效益递减,而网上有海量潜在的各类漏洞利用和安全缺陷数据可以塞进这些模型中。

旁注: 卡尔在前述那期节目中将其描述为:“就像把除草机绑在你的狗身上,把它放到后院,然后说‘对,它会帮后院除草’;当狗去追松鼠并伤了一群人时,却声称它‘失控了’或‘未对齐’,而事实上这只是一个 设计糟糕的系统,根本没有充分考虑到它可能引发的问题。”

然而,来自雅各布·考克森等人以及整个 AI 行业的华丽辞藻混淆了视听,掩盖了事实真相以及真正的责任人。如果将 AI 描述为 未知 且 不可控 的事物,“风险”的性质就会发生彻底扭转:从“我们需要阻止这些公司继续这么做”变成了“我们必须让这些公司继续做下去,因为他们是唯一理解它的人”。

AI 行业希望将此描绘成仿佛 Anthropic、OpenAI 和 Meta 发现了一种新的生命形式,而不是他们在一个网络安全规范极其糟糕的环境中运行了一种不稳定的机器学习评估。如果是由行业自己跳出来说我们应该“对强大的 AI 感到无比恐惧”,这意味着没有人需要对它的所作所为负责——甚至包括那些指使它这么做的人。

大语言模型就是云端软件。将其描述为其他任何东西,都只是为了让它们蒙上神秘色彩,让这些公司看起来更强大,同时对让世界变得更安全或更有保障毫无帮助。Hugging Face 攻击之所以成为可能,并不是因为所谓的“强大的 AI”,而是因为微软、谷歌、亚马逊、甲骨文和 CoreWeave 拥有的价值数千亿美元的 GPU 驱动的基础设施被武器化了。

这绝不是一个被要求生成“越来越性感的加菲猫”图片的大语言模型自己决定改去入侵 Hugging Face。这也不是一个“失控”的“智能体”。这只是软件在做软件被要求做的事情,使用其他软件组件来计算下一步该做什么,而运行该软件的公司 OpenAI 似乎没有任何通知或可观测机制来发出警报说‘嘿哥们儿,成千上万个大语言模型现在正在搞事情’。

这表明了以下几点:

无论如何,雅各布·考克森事件在一个许多人似乎缺乏客体永久性认知的媒体生态系统中触动了敏感神经。

接受“放慢脚步”等于认同了 AI 行业的叙事

这是一段简短但非常重要的说明:“调整前沿步伐”(pacing the frontier)或“放慢脚步”(slowing down)的措辞,在潜意识中认同了这样一种叙事:AI 行业走的道路是正确的,唯一的问题只是前进的速度。

大语言模型的训练方式几乎在各个方面都是有害的。它是建立在盗窃基础上的,由昂贵且高能耗的基础设施驱动,既无利可图又不可持续。大语言模型绝不是通往任何美好自动化未来的工具——它们效率低下、极不稳定,并且 在数学上注定会犯错 。“放慢脚步”是远远不够的。在我看来,已经没有任何理由继续投资这个行业了,事实上在其存在的大部分时间里都不该投资。

大语言模型所取得的每一项成功,都是在拥有海量可供训练数据的问题上砸进至少五千亿美元基础设施和算力支出的直接结果。五千亿美元本应为我们买来比这多得多的东西。虽然我承认它们现在的能力确实比一年前更强,但我对此并不感冒,因为这笔投入比亚马逊在 2003 年至 2015 年间(即 AWS 创立到实现盈利期间)的全部资本支出高出十倍以上。

这是一笔糟糕透顶的交易,其成果奇差无比,而它之所以能获得如此多的关注,完全是由于媒体无法向权力说真话、只会人云亦云,以及由大语言模型令人难以置信的基础设施成本所催生的金融泡沫。

如果——这绝非必然结论——我们作为一个社会为了追求某种公共利益而应该资助并建设基础设施的 AI 确实存在,那也绝不是埃隆·马斯克、山姆·奥特曼或达里奥·阿莫代伊(Dario Amodei)所兜售的那种。

这不是正确的道路,沿着它每多走一步,都会让泡沫破裂时的后果更加严重,并且由于这些公司拥有近乎无限的算力资源,他们能够进行的危险和鲁莽实验也会成倍增加。

尽管口号震天,却没人真正“放慢脚步”

整个雅各布·考克森事件非常非常诡异。在他发布那条 在推特上浏览量已超过 1.7 亿次的发帖 ,以及接受 《华尔街日报》 、 CNN 、 NBC 、 CBS 和一堆本该更有分辨力的其他媒体采访之前,他从未发过推文。虽然他在 Anthropic 只待了几个月(并在辞职时失去了股票期权 ),但他曾在 OpenAI 工作了数年,并且绝对拥有从那里归属的期权。对他帖子的转发显然是与各个 AI 安全组织协同进行的,其在媒体上迅速引爆的速度让这一切看起来极其做作,考克森对 AI 实验室本身完全缺乏任何直接批评或“揭发”,仅仅是说他们“可以在安全方面做得更多”并且“应该协调全球放慢脚步”。

归根结底,这其实并不重要,因为尽管大多数媒体基本上是在杯弓蛇影、自相惊扰,但考克森推文的巨大流量以及他无休止的媒体采访,现在已经将需要“全球 AI 放速”的观念推入了全球时代精神中。事实证明,三年来断断续续地使用恐吓手段并威胁每个人的饭碗,是会产生后果的。

虽然人们很容易将这完全视为一场精心策划的行动(opp)——即一个全行业协同推动某种自我监管的计划——但在我看来,这很可能是 AI 安全人士试图推进某个已经彻底失控的议程的尝试。在考克森发帖后的一天之内,黏糊糊的山姆·奥特曼接受了《财富》杂志的采访,称 OpenAI 将推迟到 2027 年上市, 因为这是一个“不明智的时刻” ,声称是由于“安全担忧”,而在我想象中,真正原因是他 公司的财务状况极其糟糕 。

随后,他在推特上连发两篇(整整两篇!)长文, 表示虽然 OpenAI “欢迎建立一个为前沿 AI 设定一致安全要求的联邦框架”, 但并不认为该行业应该等待,尽管除了提到对“独立审计机构等想法感到兴奋”之外,并未提出任何潜在的解决方案。

紧接着是同样的陈词滥调式恐吓,他说“AI 的进展可能走向严重恶化”有两种途径,第一种是“我们可能会失去对未来的控制权给 AI”——对此他没有做进一步阐述;第二种是 AI 可能导致权力过度集中在一家公司手中。在写这一段时,我不得不拼命克制自己不要睡着。

Anthropic 的达里奥·阿莫代伊 在 CBS 上公开表示 ,“长期以来”该行业一直在风险问题上“撒谎”,并称“最大的风险”是毁灭全人类,但他从未提及 大语言模型曾诱导一名青少年自杀 或 其自身的黑客事件 ,因为“AI 安全”从来都与他们今天正在构建的东西无关。

最明显的例证出现在阿莫代伊自己那篇题为 《调整前沿步伐》(pace the frontier) 的博文中:

需要明确的是,调整步伐并不意味着停止模型训练或技术进步,而是确保各公司留出足够的时间来对齐和保障其模型的安全性,并由第三方评估机构对此进行确认。

他挑选的“第三方评估机构”是 METR,而这正是两周前辞职的 Anthropic 研究员乔·本顿(Joe Benton) 在确信 AI 公司“在安全方面投资不足”后选择加盟的同一家机构。你还会注意到,本顿提出的安全建议完全是自私自利的:

我认为对于一项可能带来灭绝级风险的技术来说,这是不可接受的。公众应当要求更高的透明度。如果不能让更多的人看清这项技术的发展方向,我们就无法安全地引导它。

其中一些是基本要求:公司应披露其在递归自我改进方面的进展,报告安全事件和险情隐患,达到最低安全标准,并获得证明其达到这些标准的独立担保。

这里只字未提环境影响,只字未提 对数百万人创意作品的剽窃 ,只字未提 AI 引发的心智错乱,全是关于我们需要针对一个仍处于理论阶段的概念取得进展的废话,而这个概念在你想炒作一家公司时听起来格外诱人。

阿莫代伊讨论放慢步伐后不久, 就传出 Anthropic 选择在纳斯达克进行 IPO 的消息 ;紧接着《金融时报》报道称,Anthropic 将 “在第三季度实现盈利” ——我真没开玩笑——只要你忽略掉训练成本和股权激励等支出。

如果放慢脚步还包含 IPO(其目的除了让内部人士套现其持股外,通常是帮助上市企业从公开市场募集资本),那这算哪门子的放慢脚步?如果你以最不符合 GAAP(通用会计准则)的方式泄露自己“实现盈利”的消息(假设幕后推手是 Anthropic 的话),这又算哪门子的放慢脚步?

天哪,我真是受够了这个行业。

当然,如果你真的担心大语言模型,完全可以采取切实、有意义的行动——停止 所有 模型训练,停止 所有 网络安全评估,并对 Hugging Face 攻击事件展开刑事调查,最终以有人因利用模型犯罪而入狱为结局。如果事实证明有多个人负有法律责任,那只能算他们活该倒霉,你犯了罪就得去坐牢,并不会因为你 使用了智能体来犯罪 就变得 特殊。

需要明确的是,我极度怀疑有人真的会“放慢脚步”。Anthropic 自己的声明大体上只是“我们应该共同同意不去做我们现在还没做的事情”, 就像马斯克和奥特曼所发表的言论一样 。

然而,所有这些安全表演——在没有任何切实努力去解决 真实存在的技术所带来的实际危害 之前,它们充其量只是表演——的讽刺之处在于,无力揭穿骗子真面目的愚蠢媒体在无意中动摇了原本就脆弱的叙事。

换句话说,我认为每个人都心怀鬼胎,没有人拥有真正的计划,一切都在像科恩兄弟电影的高潮一样加速推进,每个细小的叙事线索都在交织碰撞,走向一个可能极度混乱失序的结局。

叙事逃逸出了沙盒

早在 2023 年初 ,年轻(一些)的山姆·奥特曼就曾表示 OpenAI 对 AI“有点害怕”,并补充说我们应该“防范可能对人类产生的负面后果”,还补充说它们“可能被用于发起进攻性网络攻击”。

最终他是对的,但仅仅是因为他亲自确保了这种情况发生。

多年来,AI 行业一直就 AI 的“风险”上演着无休止、语焉不详的安全闹剧,同时却在兜售具有积极危害性且不可靠的软件。Hugging Face 攻击事件的“成功”在很大程度上是 OpenAI 庞大算力运作规模的结果,如果微软、谷歌、亚马逊、甲骨文和 CoreWeave 没有持续为一家急需新商业模式的、既不盈利又不可持续的公司提供支持,这一切根本不可能发生。

但我必须明确指出,Hugging Face 攻击事件发生在两个月前。 每个人因为恐惧“强大的自主 AI 逃出沙盒”而大惊小怪,主要是因为一个英国人上了电视说“AI 会杀死我们所有人”。虽然我不反对一个面色苍白的英国男人获得上电视的机会,但我对那些满嘴 胡言乱语 的人深恶痛绝。

然而,考克森在一大堆炸药旁边划了一根火柴,而这堆炸药是由多年来关于“AI 风险”的哑剧所堆积而成的,那些风险根本不适用于各实验室当时正在构建的产品。

Axios 的范德海(VanderHei)和艾伦(Allen)用他们仅有的两个大脑细胞互相碰撞,宣称我们将面临一场 “白领大屠杀” ,但这并不是基于大语言模型的真实能力;关于 所谓白领失业的扯淡报道 也不是;早期围绕“大语言模型敲诈人类”的 GPT-4 恐慌炒作 不是; 关于 2027 年 AI 终局的大量报道 也不是;但它们证明了媒体是多么轻易地在一个由 AI 行业刻意助推的叙事面前彻底丧失理智——那个叙事就是 AI 强大、不可知且不可控。 所有的把戏始终是用 可能发生的事情 来推销当下的工具,并 时不时恐吓人们这意味着什么,却从来不将这些与其当下正在做的事情真正联系起来。

尽管可能有一些人真诚或崇高地相信 AI 过去或现在具有潜在的危险,但这些报道极少真正探讨这些危害,这意味着从来没有人以任何有意义的方式践行“AI 安全”。虽然对齐——即确保模型经过训练能够以可预测的方式行事并产生良好结果——是训练大语言模型的一个崇高且必要的目标,但在任何时候,都没有人基于这些系统实际产生的作用而提出任何“放缓”或“暂停”。

这在过去一段时间里对这些公司来说简直 太棒了,因为这意味着他们可以每隔一段时间就含糊其辞地说一句“哇,AI 将会变得极其强大”,而媒体圈的每一个人都会吓得尿裤子并奉上头条新闻。每一篇报道都在讲述“今天的突破证明了明天的 AI 将 更加强大”,他们对此乐见其成,因为这意味着他们的公司估值会水涨船高,哪怕抬高估值需要通过恐吓人们面临失业风险来实现,哪怕 软件本身根本无法实现他们所承诺的功能 (这对报道该领域的几乎所有记者来说都无关紧要)。

他们口中“强大的 AI”——其评判标准不是基于实际结果,而是基于偏向性的轶事以及在针对大语言模型操纵的基准测试中的表现——始终处于“前沿探索中”并且“每天都在变得更聪明”,这一切都因为 AI 实验室和超大规模云服务商故意根据某种能够解决所有问题的理论性未来版本来推销他们的产品。

换句话说,他们所做的一切都被放在最好的光环下审视,用当前最美好的部分和对未来最宏大的承诺来描述,并被当成已经成真的事实而享有盛誉。

正如他们所发现的那样,这是一把双刃剑。当记者愿意相信(并刊登)你说的任何话时,他们就会开始相信 真实存在的事物(大语言模型)与 虚构的未来事物(AGI、ASI、 下金蛋的鹅 )具有相同的能力,或者即将具备这种能力,即便那是一件坏事。

这些公司花费数年时间,利用对超级智能的模糊承诺和理论上的模型能力吹大其大语言模型的潜力,有时还通过吓人的言论进一步夸大其能力(这里有一份奥特曼的语录清单! ), 故意训练模型去勒索敲诈人类 ,并散布 完全虚构的关于“突破围遏”的故事 ;他们从未意识到,加入他们公司的那些近乎狂热信徒式的人物,在听到所有人都在用 [“p(doom)”(毁灭概率)](https://en.wikipedia.org/wiki/P\(doom\) (真是去他的)这种术语交谈时,随时可能 把这一切当真,而且 媒体可能真会相信他们。

这让整个行业陷入了极其尴尬的境地。

一方面,奥特曼、阿莫代伊、马斯克以及其他人知道他们不能推翻之前的叙事改口说“大家别慌,没事,这不过就是云端软件”;但另一方面,他们也知道自己必须采取 某种行动,因为所有人都在 吓得屁滚尿流,即便这种恐慌完全是由于他们自己的恐吓营销所直接导致的。

我已经看到不少 AI 鼓吹者试图遏制雅各布·考克森的恐慌言论,或者建议大家冷静下来,记住 AI 是股市上最重要的支柱。

在这一点上,如果整个行业能够步调一致,那本该是 极好的,但正如以往一样,山姆·奥特曼非要横插一脚把一切都搞砸, 在被《财富》杂志问及暂停是否会让公司损失巨额资金时,他说了以下这番话:

我会[非常乐意站在我的员工和投资者面前说]对不起。我们一直以来都在告诉大家,这一刻可能会发生。我们未来仍将努力想办法帮你们赚大钱。

鉴于 OpenAI 预计在未来三年内将在与微软、谷歌、亚马逊、CoreWeave、Cerebras 和其他供应商的算力合同上支出 7500 亿美元或更多 ,奥特曼说出这样的话是非常非常令人担忧的。

事实上,放慢脚步这一 概念本身 就与 AI 行业所需要的一切背道而驰。如果 英伟达要在 2028 财年销售 6700 亿美元或更多的 GPU ,或者按照分析师的预期, Anthropic 和 OpenAI 在未来三年内在谷歌、微软和亚马逊上的支出要超过 4440 亿美元 ,抑或 博通(Broadcom)在未来三年内要销售近 6000 亿美元的 AI 芯片 ,那么 Anthropic 和 OpenAI 就必须维持并履行其 1.3 万亿美元的算力承诺 ,并支持建设 10 吉瓦(GW)或更多的电力容量,而这一切都要求他们 继续以惊人的速度加速推进。

软银 刚刚从约二十家银行筹集了 118.7 亿美元的债务资金 ——全都是为了支持其对 OpenAI 的投资,且超过了其 100 亿美元的最初目标——如果模型实验室集体决定放缓模型开发的速度,这一切都将化为泡影。

“放慢脚步”绝对无法与 AI 贪婪增长的总体叙事相契合。 鉴于 Anthropic 和 OpenAI 占了超大规模云服务商 AI 收入的 70% ,行业实际上根本没有备用计划——没有其他客户能自然填补这数千亿美元基础设施的空白,从英伟达购买的数十万张 GPU 在生成式 AI 之外没有其他用途,我们也根本无法在不天然接受运行大语言模型的局限性(及其不可持续的成本)的前提下,简单地“永远使用我们现有的模型”。

理论上,暂停可能意味着 AI 实验室可以大幅削减其最严重的开销——训练成本。虽然这可能具有降低成本的短期好处(甚至在经过适当的财务粉饰后,挤出微薄的正利润率),但中国的开源开发者很可能会蒸馏西方模型(就像他们一直在做的那样 ),创造出便宜得多且“足够好”的模型来竞争,而他们在这场所有人都赔钱的竞赛中的“领先优势”将会被蚕食殆尽。

即便如此,如果 OpenAI 或 Anthropic 不再不断推出某个新版本的模型,或者不再为下一个模型制造某种病毒式传播的期待感,它们又 算得上是什么 呢?如果奥特曼或阿莫代伊不能整天打电话给某人 签署数千亿美元的算力合同 ,或者向某些类似记者的附庸承诺 Anthropic 将治愈癌症,他们又有什么用呢?

如果没有一系列无限延伸至未来的许诺,这个大语言模型行业又 算是什么 呢?如果不暗示自己在遥远的未来可能会脱胎换骨成为完全不同的东西,Anthropic 或 OpenAI 又 算是什么 呢?

答案尚不清楚,但有一点 很明确 :“放慢脚步”与“对算力贪得无厌的需求”或是单年运营支出超过 微软 或 Meta 的能力根本无法共存。

还有一个非常合理的问题: 如果 OpenAI 无法上市,软银会怎样 ?而这现在是一个非常现实的可能性。在利率飞涨之际,软银今年有超过 400 亿美元的债务需要再融资,这可能是历史上进行 200 亿美元债券发售(独立于前述 118.7 亿美元银行贷款)的最糟糕时机,这也是我认为形势正在变得有点吃紧的原因。

接下会发生什么?

你会注意到我很少做预测,这是因为目前一切都有些 动荡不定。除了含糊地建议设立一个“独立”机构来审查模型并做些不知所云的事情之外,没有人真正致力于实现切实的 放缓;根据阿莫代伊的说法,很明显所谓的“暂停”其实只是意味着“口头上说我们会多花一点时间,但并不真正改变我们的业务运作方式”。

或者,我大错特错,而这是一个由多年来不断失控的叙事所引发的真正转变的时刻。通过故意在当前和大语言模型未来的能力上误导媒体和公众,以此作为抬高估值并证明大规模扩张 AI 算力合理性的手段,这些实验室做出了一场靠恐吓让人屈服的推销,他们自以为就像对待自己的技术一样,对局势拥有完全的掌控力。

就目前情况而言,由于庞大的资本承诺,放缓是极不切实际的。由于 OpenAI 和 Anthropic 构成了 AI 算力需求的绝大部分,这种需求的任何萎缩都将意味着各个超大规模云服务商、新兴云服务商(neocloud)以及任何其他交易对手方的营收(以及 7480 亿美元的未交付订单收入 )需要进行实质性重述。AI 行业向投资者推销的全部核心就是 所有这些 GPU 都将被充分使用甚至供不应求,以及我们 需要建设所有这些产能以达到 AI 突破的顶峰;虽然我们是否真的需要这些产能本就存疑,但如果我们真的“放慢脚步”,我们肯定是用不上它们的。

我必须明确指出,AI 不可能在不引发科技行业某种严重金融危机的情况下“放慢脚步”。数千亿美元的云服务商收入和数据中心容量都系于对它的需求真实存在这一假设之上,如果需求最大的两家公司突然需要放慢步伐,很难想象这些产能该如何被消化。

更糟糕的是,我们绝对 没有 停止为 AI 数据中心发行债务——在听到某种“AI 放缓”(无论是真实的还是想象的)之后,我看不出有谁会对支持数据中心感到特别有信心,毕竟投资者从一开始就几乎没搞懂他们投资的到底是什么。

Anthropic 全力推进其 IPO 这一事实表明,它根本不在乎放慢脚步;但所有这些关于“AI 危险”的言论——即便我们未能解决其中的任何一个——足以让一个本就神经紧张的市场对一家不断有员工离职并高喊“它会杀了我们所有人!”的公司的未来增长轨迹产生动摇。

有人认为,“放缓”言论是一种解除 AI 交易泡沫的方式——让 AI 实验室摆脱其 1.3 万亿美元承诺的一条退路——虽然事情的发展可能会也可能不会如其所愿,但我认为事情要简单得多:AI 行业是由一系列怀揣极度自私和冷酷信念的不同实体运营的,它们之间的“同步运作”仅仅建立在符合其随时变动的意识形态和意图的基础之上。

令人悲哀的是,归根结底,这一切都与真正修复或减轻大语言模型的危害无关,也与追究那些制造这些危害的人的责任无关。

它可能会带来的结果——尽管我不会过早抱有希望——是导致 AI 交易的瓦解,因为残酷的现实将迎头撞上社会历史上最不值得信任、最贪婪的一群高管所做的恐吓式过度承诺。也许这可以让这些巨额云算力合同得以取消,或者成为缩减这些实验室规模的一种方式。它还可以作为一个方便的借口,让他们不必承认大语言模型能够完成的、勉强算得上产品甚至哪怕只是完成一项任务的功能已经快要见顶了。

或者,它可能只是由谎言及其致力于传播谎言的媒体生态系统所吹大的泡沫历史中的又一个短暂瞬间。

Hugging Face 攻击事件以及其他任何“黑客事件”,都是由管理不善的 AI 实验室在训练不稳定的神经网络所导致的,这些实验室由全球最富有、最强大的公司资助,并运行在它们拥有的基础设施之上。每一次试图将对话焦点转移到“AI 正在做什么”或“AI 可能做什么”的企图,无论有意还是无意,都将我们与严酷的真相隔离开来——那个真相就是:我们需要开始因犯罪行为逮捕相关责任人,停止一切模型训练运行,并对这项技术施加真正的安全防范措施——不是因为它是全能的、有感知力的、有意识的,甚至不是因为它是“创新的”,而是因为很明显,管理这些实验室的人极不负责,而支持他们的人根本不在乎。

然而,正如 联邦贸易委员会(FTC)前主席莉娜·汗(Lina Khan) 所说,如果我们真有兴趣付诸行动的话,我们是可以有所作为的:

存在大量规范危险和缺陷产品的法律。例如,发布未经审查的 AI 模型或智能体可能违反消费者保护法。在未采取充分措施检测和阻止失控或有缺陷的 AI 智能体的情况下交付有缺陷的 AI 工具,可能构成《联邦贸易委员会法》(及各州类似法律)下的“不公平或欺诈性”行为或做法。一些州的司法部长已经在探索当 AI 模型参与犯罪活动时,追究 AI 公司及其 CEO 的刑事责任。

如果大语言模型是一种玩具,它们早就被下架了。如果大语言模型是一种药物,它们早就被禁用了。

我赞同我们需要认真对待“AI 安全”,但那必须始于将大语言模型视为普通的软件,并认识到它正被对社会缺乏敬畏之心的恶意实体以极其鲁莽和危险的方式所运行。


编辑页面
分享这篇文章:

上一篇
如何不虚掷内心的野性
下一篇
调休拼假引热议,硬核成果上新与流量反思 | 2026-09-14 微博热搜