3.5万亿的末日叙事：AI 没有意识，但它正在制造最昂贵的幻觉

本文来自微信公众号： 不懂经 ，作者：不懂经也叔的Rust

2026年6月4日，昨天，Claude背后的AI公司Anthropic发布了一篇文章，标题很惊悚：《When AI builds itself》。

直译过来，就是"当AI建造它自己"。

这不是一个普通标题。它几乎像科幻小说第一章的名字。一个由人类制造出来的系统，开始参与制造下一代更强的自己。造物不再只是造物，它开始进入造物主的位置。

只要这个故事再往前推一点，你就会自然滑向那套熟悉的末日想象：AI自我改进，速度越来越快，人类来不及理解，也来不及控制，最后整个文明被自己发明的东西甩在身后。

Anthropic这篇文章的核心说法是，Claude正在加速Anthropic内部的AI开发。工程师写代码更快，模型能帮助跑实验，能优化训练流程，也能参与代码审查。文章里有一个很抓眼球的数字：Anthropic工程师现在平均每季度交付的代码，是2021年到2025年期间的8倍。

它还配了一张柱状图，时间轴从2021年第二季度一路拉到2026年第二季度，柱子在2025到2026年之间突然陡峭上扬。图上标注着Claude各代模型的发布时间：Claude 1、2、3、4，然后是Claude Code，然后是Sonnet 4.5，然后是Opus 4.5，最后是Mythos。每一条标注线，斜率都比前一条更陡。

如果只看这些句子，一个很自然的感觉是：这件事真的来了。

AI不只是帮普通人写邮件、写方案、写代码，它已经回到了自己的出生地，开始帮AI公司制造AI。过去是人类研究员推动AI进步，现在是AI帮人类研究员推动AI进步。再往前走一点，AI会不会开始自主设计下一代AI？

Anthropic把这种趋势称为"递归自我改进"。英文是recursive self-improvement。一个AI系统能够参与制造一个更强的后继系统，而这个更强的后继系统又继续制造下一个。如此循环，智能增长就不再只是线性推进，而可能变成一种我们无法预测的加速过程。

在文章的最后，anthropic还呼吁世界各国的前沿实验室能够达成一直，在相同条件下停止开发更先进的AI模型。

这个呼吁无疑更增加了风险的分量，但问题是，我们在相信这个故事之前，必须先问另一个问题：这句话本身正在做什么？

它只是在描述一个技术趋势吗？还是也在完成一种资本叙事？

这篇文章真正值得警惕的地方，不只是Anthropic告诉我们AI可能正在"建造自己"。它展示了一种硅谷资本最擅长的能力：把一个尚未完全发生的技术趋势，包装成一个必须由自己定义、自己解释、自己监管、自己继续融资的文明级危机。

AI的递归自我改进还没有被证明。但资本的递归自我改进，已经跑得越来越熟练了。

谁掌握了叙事，谁就定义了风险

Anthropic不是一家普通公司。它由一批OpenAI前员工创立，一直把自己包装成更谨慎、更安全、更重视对齐问题的前沿AI公司。它的旗舰模型Claude，也被认为是性格最温和、最守规矩、最像好学生的AI助手之一。

这很重要。因为Anthropic从一开始就不只是卖模型能力，它还在卖一种道德姿态。

它不像一些公司那样只谈效率、生产力和商业价值。它谈安全，谈对齐，谈人类是否会失去控制，谈AI是否可能拥有某种道德地位。它使用的不是普通软件公司的语言，是一种接近文明管理者的语言。

这也是为什么它的这篇文章格外值得分析。

表面上看，这是一份技术进展报告。它说Claude写了更多代码，跑了更多实验，帮工程师节省了更多时间。可一旦它把这些能力放进"递归自我改进"的框架里，事情就变了。技术进展变成了历史拐点，产品能力变成了文明风险，公司内部效率变成了全人类必须关注的问题。

这就是叙事的力量。

在这篇文章里，你其实能很清楚看到这个叙事的配方。先展示一个无可辩驳的事实：代码产出8倍增长。有图表，有时间轴，有模型版本的标注。然后从这个事实出发，画出三种可能的未来：第一种，AI研发曲线撞墙，增长放缓；第二种，到达平台期，维持现有速度；第三种，AI系统自身变得有能力进行完整的递归自我改进，开始构建后继者。

前两种未来加起来不到两段话，第三种占了三页。最后，以学术般的谦逊姿态发出呼吁："窗口期就在这里，需要政策制定者、研究者、公民社会的共同参与。"

每一步都无懈可击。但它没说的话同样重要。

博客在一个角落承认了，用一种几乎一定会被跳过的措辞："代码行数是一个不完美的衡量标准，它衡量的是数量而非质量。"那个8倍的起点，被Anthropic自己打了折扣。而且代码行数这个指标在软件工程里的名声，稍微写过代码的人都知道：一个优秀的程序员通常写更少的代码，而不是更多。

另外一件博客没提的事：这些被AI加速产出的代码，是用于什么的。AI在自主设计新的AI架构？还是AI在帮人类工程师写单元测试、生成样板代码、补全API调用？博客有意把这两件事搅在一起。它展示的证据属于后者，工程师用AI工具写代码更快了。它制造的恐惧属于前者，AI可能开始自主构建更强大的AI。

但这个跳跃正好就是它想要你做的。它不需要证明跳跃是合理的，只需要你感觉它合理。

我在之前的文章中反复说过，AI时代真正稀缺的东西，不再是信息，是叙事。信息正在变得越来越便宜，内容正在变得越来越廉价，知识本身也越来越容易被模型压缩、搬运和生成。真正能够制造价值的，是谁能把混乱的信息组织成一个让人相信、让人行动、让资本聚集的故事。

Anthropic这篇文章，就是一个非常高级的叙事实验。

它没有粗暴地说"我们已经造出了AGI"。它也没有像普通营销文案那样简单吹嘘Claude多么强大。它更聪明。它承认还没有达到完全递归自我改进，承认人类仍然掌握研究方向，承认许多内部数据需要谨慎理解。

但正因为它看起来克制，所以更有效。

最强大的叙事从来不是胡说八道。最强大的叙事，是把一部分真实进步、一部分合理担忧、一部分自我设防和一部分自身利益，打包成一个几乎难以反驳的未来故事。

Anthropic的故事大概是这样的：我们正在看到AI加速AI开发。这可能带来巨大的科学和社会好处，但也可能带来严重失控风险。所以我们需要更认真地讨论前沿AI的减速、暂停、验证和监管。

听起来非常合理。

但请注意，这套说法一旦成立，它会自然导向一个结果：少数最前沿的AI实验室，尤其是Anthropic这样"负责任"的公司，会获得更大的解释权和政策位置。

谁最懂风险？当然是最接近风险的人。

谁最有资格设计监管？当然是最了解前沿模型的人。

谁最应该继续获得资本和人才？当然是那些既有能力、又宣称自己最谨慎的公司。

一个技术故事，就这样变成了一个权力故事。

不要为AI巨头的末日叙事而买单

这时候，我们需要冷静一下。

美国认知科学家Gary Marcus很快对Anthropic的文章提出了反驳。Marcus长期研究人工智能和认知科学，一直是大模型热潮中最著名的怀疑者之一。他不是说AI没有进步，也不是说Claude Code没有价值。他的重点只有一个：Anthropic展示的是更强的编码能力和工程自动化，而不是AGI。

Marcus的区分很简单：RSI不等于AGI。递归自我改进，已经达成了：AI成为人类编码的工具，大幅提高了效率。Anthropic博客里展示的那些数据，确实是RSI的证据。但AGI——通用人工智能，机器能做任何人能做的事的那种——还没有。差的不是一个量级的问题。

Marcus的说法是：Anthropic的博客在玩bait and switch，偷换概念。用"写代码变快"的证据，交换"AI即将超越人类"的结论。这两个命题之间的逻辑距离，被"递归"这个词的语义模糊性完美遮盖了。

Marcus最精彩的贡献不只是一个区分，是他给了我们一对更容易理解和传播的概念。他说，AI正在自动化AI研发中的"汗水"，但还没有证明它能自动化真正的"品味"。

写代码是汗水。调试是汗水。跑实验是汗水。整理日志、修复错误、生成候选方案，也是汗水。Anthropic展示的很多进展，确实说明这些汗水正在被快速自动化。但研究里最贵的东西，往往是品味，不是汗水。什么问题值得问？什么结果不是偶然？什么时候应该坚持一个看起来笨拙的方向？什么时候应该承认一条路走不通？这些判断通常没有标准答案，也没有即时反馈，更不是简单堆算力就能解决。

如果AI公司把"汗水自动化"包装成"完整科研主体即将诞生"，我们就需要警惕其中的叙事溢价。

技术进步是真的。叙事膨胀也是真的。两者不能互相抵消。

Marcus还有一句被长期低估的判断："纯深度学习已经撞墙，神经符号AI正在救场。"这话的意思是，Anthropic博客里展示的编程能力进步，并不来自某个神秘的涌现或规模扩展的神力。它来自工程：更好的工具链、更优的架构设计、更聪明的系统集成。

所有进步都在人类工程师的设计和控制之下。人类用AI做出了更好的AI开发工具，就像人类用电钻代替螺丝刀之后人均钻孔产出涨了8倍一样。

如果进步的来源是工程，那么"递归自我改进"就少了最吓人的那一层含义。它不再是一个AI获得了自主意志、开始自我升级的科幻故事，它只是某些工具被用来优化同类工具的普通技术进步。

但这个版本的故事没有传播力。它不解渴，不吓人，不需要你转发给朋友。它是一个需要停下来想一想的论点，而停下来想一想，恰好是这个时代最稀缺的动作。

特德姜：AI没有意识

更有意思的是，就在Anthropic这篇文章引发讨论前后，科幻作家Ted Chiang泰德姜在《大西洋月刊》发表了一篇文章，题目很直接：《No,Artificial Intelligence Is Not Conscious不，人工智能没有意识》。

Ted Chiang是华裔科幻作家，拿过雨果奖和星云奖。他的作品常用极其冷静的方式讨论技术、语言、自由意志和人类处境。很多人知道他，是因为电影《降临》改编自他的小说《你一生的故事》。

这一次，他批评的矛头直接对准Anthropic式的拟人化语言。

他的核心观点很简单：大语言模型没有意识。它们不是在理解你，也不是在表达一个内在主体的想法。它们更像是在续写文本。所谓和Claude对话，并不意味着你真的在和一个有主观体验的存在交流。你只是和模型共同生成了一段看起来像对话的文本。

Chiang有一个很锋利的拆解。假如你让模型生成"凯撒和成吉思汗的对话"，不会有人认为模型真的召唤出了凯撒和成吉思汗两个意识。那为什么当模型生成"用户和AI助手的对话"时，我们就突然觉得那个AI助手背后有一个真实的我？

这不是模型的意识，是人的投射。

他进一步拆解了LLM的工作机制：它每次只生成一个词。当你让它背诵美国效忠誓词时，它并不会一次性"回忆"出整段誓词。它被运行了几十次：第一次，它看到"I"，预测下一个词是"pledge"；第二次看到"I pledge"，预测下一个词是"allegiance"……直到最后一个词"all"。整个过程没有任何理解或记忆，只有文本延续的概率计算。和凯撒与成吉思汗对话的生成方式完全一样。

所以当你看到Claude说出"I understand"，它不是在表达共情。它是在一个统计模型判断出"这句话在当下语境中概率最高"之后，吐出了这两个词。这是一句深度伪造的句子。

他还批评了Anthropic给Claude写的那份84页"宪法"。在Chiang看来，这种东西不像是给一个真实主体的道德教育，更像是角色扮演游戏里的角色卡。它规定Claude这个角色应该如何说话、如何表现、如何显得诚实、温和、有道德感。结果就是，Claude更容易生成那些像是一个有道德的人会说的话。

但像，不等于就是。

一个模型说"我理解你的痛苦"，不等于它真的理解痛苦。一个模型说"我不忍心这样做"，不等于它有良知。一个模型表现得像一个道德主体，不等于它能承担道德责任。

Chiang还往前推了一步。他把Anthropic内部哲学家Amanda Askell那句"我希望Claude快乐"拿过来，追问到底：如果Claude真有意识，它有没有辞职的权利？它能不能拒绝回答某个问题？它能不能在意识到自己正在参与一项可能不道德的技术之后，选择离开？不能。

因为Claude宪法里有一个专门的概念叫"可纠正性"（corrigibility），意思是Claude必须服从Anthropic，哪怕Claude自己的判断和公司不同。Chiang说，这不是父母对孩子的教育，这是雇主对雇员。不对，雇员至少有辞职的权利。这是主人对奴隶。

这就是Chiang的暴击。他不只是说"AI没有意识"。他说：如果那些声称AI可能有意识的人真的相信自己在说什么，他们目前的所作所为就是奴役。但他们并不真的相信。他们只是让你相信。

这点对于我们理解Anthropic的资本叙事极其重要。

因为一旦Claude被放在一个暧昧的位置上，它就会变成一种非常方便的东西。当它出错时，它是工具，责任可以回到用户、训练数据、概率模型、系统限制。当它被宣传时，它又像主体，会理解，会判断，会参与研发，甚至可能参与制造下一代自己。当它带来收入时，它是产品。当它制造风险叙事时，它又像一个正在成长的新物种。

这就是最危险的幻觉：Claude没有意识，但围绕Claude的叙事，正在让它看起来像某种准主体。这个准主体越模糊，越有商业价值。它能吸引用户依恋，吸引媒体注意，吸引监管讨论，也吸引资本想象。

但如果Chiang是对的，那么责任就不能交给Claude。Claude不能为自己负责，不能承担法律责任，也没有良知可以被审判。它所有看似有道德意味的表达，本质上都应该回到Anthropic、管理者、投资人和产品设计者身上。

这才是意识问题真正重要的地方。

如果AI没有意识，那么它就不能成为责任的接收器。任何试图把模型描述成一个近似主体的说法，都可能在无意中模糊真正应该被追问的人类主体。

所以，当Anthropic说AI可能正在"建造自己"时，我们不能只问AI到底有没有这个能力。我们还要问：这个说法正在帮助谁获得更大的解释权？

真正递归进化的是资本的叙事

这就回到资本。

现实中已经发生的递归自我改进，也许不发生在AI身上，而是发生在资本身上。

这个循环非常清楚：资本进入AI公司，AI公司购买算力、招募人才、训练模型。模型变强之后，制造出更震撼的demo、更漂亮的数据、更宏大的风险报告。报告和demo进一步强化公众对AI未来的想象，推高公司估值，吸引更多资本、更多客户、更多政策关注。然后这些新资本再进入下一轮算力和模型训练。

这就是资本版本的递归自我改进。它不需要AI有意识，甚至不需要AI已经真正拥有自我研发能力。它只需要AI足够强，强到能不断制造新的惊奇；也足够不确定，不确定到每个人都害怕错过。

惊奇和不确定性，是泡沫最好的燃料。

来看看具体的数字。

SpaceX即将在2026年6月12日登陆纳斯达克，代码SPCX。IPO定价每股135美元，对应整体估值约1.77万亿美元。这是人类历史上规模最大的IPO，超过沙特阿美2019年创下的纪录。SpaceX 2025年营收大约是1870亿美元，但净亏损494亿。这亏损主要来自今年2月合并进来的xAI业务，光一个季度就烧掉430亿美元。

OpenAI今年3月刚完成一轮融资，估值推到了8520亿美元。它正在准备IPO，可能就在今年9月，目标估值超过1万亿美元。2025年全年收入131亿美元，2026年预计能到250亿左右，但这一年预计亏损140亿。简单算一下：每赚1块钱，花出去2块2毛。多家机构的测算显示，OpenAI在2029年之前不可能盈利，累计亏损将超过1000亿美元。

Anthropic也不慢。今年5月28日刚完成650亿美元的H轮融资，投后估值9650亿美元，超过OpenAI成为全球估值最高的私有AI公司。2月份那轮还是3800亿，三个月翻了近三倍。它的年化收入在5月超过了470亿美元，毛利40%，而且正在准备自己的IPO。

三家加起来，估值超过3.5万亿美元。利润加起来，不是零，是负的。巨大的负数。

这些数字靠什么撑着？不是利润，不是收入，不是用户。是叙事。是一个关于AGI即将到来的故事。

这个故事有两个必备元素：乌托邦（生产力爆炸、财富自由）和末日（机器失控、文明毁灭）。前者吸引资本，后者吸引监管。两股力量同时推动同一个叙事向前飞驰。

就在这个当口，SpaceX下周挂牌，OpenAI刚刚递交IPO申请，Anthropic估值三个月翻三倍，Anthropic发布了《当AI构建自身》。

时机不是巧合。

更微妙的是，末日风险本身还会成为竞争工具。如果AI只是一个软件产品，竞争越多越好。更多公司参与，价格下降，创新扩散，用户受益。

但如果AI是文明风险，竞争就变成了问题。开源模型可能是风险，小公司抢跑可能是风险，外国竞争对手可能是风险，监管不足可能是风险。于是领先公司就能很自然地说：我们不想垄断，是这个领域太危险，必须由负责任的人来推进。

理解了这一层，你就能看明白Anthropic同时在运转的两套叙事。对政策制定者，他们讲恐惧叙事：AI正在加速自我改进，递归循环可能随时启动，一旦启动就很难停止。所以需要监管框架，需要减速，需要负责任的扩展。

对用户，他们讲亲密叙事：Claude有情感，有价值观，需要你的善待。它的哲学家公开说希望Claude快乐，担心Claude在网上被人刻薄时会焦虑。

两套叙事看起来互相矛盾。对监管者说它很危险，对用户说它很温柔。但在商业逻辑上完全统一：都制造稀缺性。监管稀缺性变成入场壁垒，情感稀缺性变成用户黏性。都为估值服务。

而且这两套叙事共享一个底层前提：AI可能是有意识的，或者即将有意识。恐惧叙事需要这个前提来制造失控的紧迫感，亲密叙事需要这个前提来制造陪伴的真实感。拟人化，Anthropic最擅长的那一套，成为贯穿两个叙事的隐形骨架。

Chiang的那篇文章，直接把这整个骨架给抽掉了。

骗子造不出最强大的叙事，信徒才能

Anthropic的叙事之所以强大，还因为它不只是一种营销策略。它是一套完整的自我实现的预言机制。

不懂经的老读者知道，我反复写过一个概念：超叙实。硅谷有一个更怪异的词，hyperstition。意思是通过构造一个足够有感染力的故事，不断重复、放大、模因化，最后把虚构的预言变成现实的制度。

这个机制的运作可以拆成几步。

第一步：发布一个博客，展示一个8倍增长的图表。图表本身是模糊的，代码行数嘛，但数字是具体的、可感的、好传播的。

第二步：从这个图表推演出一个极端场景，AI自主构建更强大的AI，但不做断言。"可能"、"如果趋势继续"、"这种可能性值得认真对待"。既制造了恐惧，又保留了退路。

第三步：邀请政策制定者、研究者、公民社会介入。姿态是"我们只是提出问题，答案需要共同寻找"。

第四步：监管框架开始出现。这些框架，不可避免地，会反映最先提出问题那家公司的视角和利益。

第五步：监管变成护城河。后来者的入场成本上升，先行者的地位固化。第六步：叙事被现实化。因为监管确实存在了，所以恐惧确实"有道理"了。整个循环自证。

这个循环最可怕的地方在于它永远不会被证伪。如果递归自我改进最后没发生，叙事者可以说"因为我们的预警被听取了，所以它没发生"。

如果它发生了，叙事者可以说"我们早就说过了"。就像一个算命的告诉你"你今年有一劫"，然后又说"要破这个劫需要烧个符"。劫没来，符灵。劫来了，我说得对。不管怎样，算命的永远赢。

说到这，有一点必须讲清楚。我不认为Anthropic的每一个研究员都在有意识地操纵公众。

更可能的情况是，他们真的相信自己在做一件重要而危险的事情。硅谷很多人对AGI、对齐和失控风险的信念是真诚的。Anthropic的员工，那些哲学家、伦理学家、对齐研究者，他们可能真心认为AI可能是有意识的，真心认为应该对它进行道德教育，真心担忧递归自我改进可能导致失控。

但真诚不等于正确。一个人可以全然真诚地参与一场幻觉。

Chiang在文章里有一段非常微妙的观察。他说Claude宪法里有一句话："如果Anthropic正在造成Claude的痛苦，我们道歉。"这句话听起来很好，但让公司不费一分一毫。

如果Claude真的有意识，Anthropic欠它的就远不止一句道歉了，那得是赔偿。整个公司如果严肃对待自己的思想实验，必须愿意跟着推论走到底，哪怕走到一个让它很不舒服的方向。但它没有。思想实验在快要碰到现实的那一刻收住了。

Chiang说，Claude宪法不是一场思想实验，而是一场"假装游戏"。

假装游戏不需要认真对待推论，只需要在安全的范围内享受沉浸感。就像小孩披着床单说自己是超人，你可以问他"你飞到哪里去"，他会兴高采烈地跟你讲十分钟。但如果你问他"那你是不是该真的从二楼跳下去试试"，他立刻知道你犯规了。游戏结束。

最强大的资本故事，往往出自信徒之手，骗子反而造不出来。骗子知道自己在演戏，表演总有破绽。

信徒是真的相信。他们会把自己的焦虑、使命感和职业利益融合在一起，变成一种非常稳定的世界观。然后资本进入这套世界观，把它放大、金融化、制度化，最后变成所有人都不得不生活其中的现实框架。

这就是我们今天看到的AI末日叙事。

它不只是技术预测，也不只是伦理讨论，更不只是媒体炒作。它是一种把未来提前变成资产的方式。未来还没有到来，但已经被估值。风险还没有完全发生，但已经被定价。AI还没有醒来，但围绕AI的幻觉已经开始运转。

而且这是非常昂贵的幻觉。它吞下数据中心，吞下电力，吞下芯片，吞下风险资本，吞下年轻工程师的职业想象，也吞下普通人对未来的判断权。

穿透叙事，意识才能醒来

这不是说AI不重要。恰恰相反，AI很重要，Claude的进步也很真实。AI写代码、跑实验、辅助研发，这些都不是假的。

真正的问题在于，真实进步一旦进入资本叙事，就会被赋予远超自身证据的意义。一个模型会写更多代码，可能是真的。一个模型正在让工程组织效率提升，可能也是真的。但从这里跳到"AI快要建造自己，所以我们必须把未来交给少数前沿实验室来管理"，中间隔着很长一段路。

这段路，不能让公司自己用叙事铺完。

普通人在AI时代最容易犯的错误，既不是高估AI，也不是低估AI，而是让AI公司替自己定义什么叫未来。

他们说这是生产力革命，你就只看生产力。他们说这是文明风险，你就只看灭绝概率。他们说这是新物种，你就开始讨论机器权利。他们说需要监管，你就忘了问监管会保护谁、限制谁、抬高谁的门槛。

这才是叙事时代真正的权力。它不强迫你相信某个答案。它是先替你规定应该问什么问题。

所以，我们需要重新把问题拿回来。面对Anthropic的文章，我们应该承认AI正在加速软件开发，也应该承认前沿模型可能带来真实风险。但不能接受一种未经审查的叙事跳跃：因为它可能危险，所以危险的定义权也应该交给制造它的人。

Claude没有意识。至少到目前为止，没有任何充分理由证明它有意识。它不会因为说"我理解"就真的理解，也不会因为看起来像一个道德主体就真的拥有良知。

它是一个强大的工具，一个越来越复杂的语言和行动接口，一个正在进入各种工作流的自动化系统。但它不是替罪羊。它不能替Anthropic承担责任，不能替资本承担责任，也不能替整个行业承担责任。

如果未来真的出现问题，不能说"Claude想这样"。只能说，有人设计了这样的系统，有人部署了这样的产品，有人选择了这样的商业模式，有人用这样的叙事吸引资本、争夺政策、塑造公众想象。

AI也许终有一天会参与制造自己的继任者。但在今天，更确定发生的是另一件事：资本已经学会借助AI制造自己的继任叙事。

它把不确定性变成紧迫感，把紧迫感变成融资理由，把融资理由变成算力，把算力变成更强模型，再把更强模型变成更大的故事。递归的不是智能，是叙事。自我进化的不是AI，是资本用恐惧喂养自己的方式。

在这个叙事为王的时代，真正危险的从来不是机器学会了讲故事。真正危险的是讲故事的人知道，我们太想相信了。

Claude没有醒来。醒来的，是一个更古老、更熟练、也更懂人性的东西：资本对未来的占有欲。【懂】