AI 时代，再重读《失控》

本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs

重读《失控》：它预言了机器，却错判了权力

这本书在美国出版时几乎无人问津，十六年后在中国成了圣经。今天是它的第三个时刻——而这一次，值得读的不只是它对的地方。

一、一本书的三个时刻

1994年，凯文·凯利出版《失控：机器、社会与经济的新生物学》。那一年没有Google，没有智能手机，网景公司刚刚成立，万维网上的网站数量还能被一个人数完。

书在美国的反响平平。

十六年后的2010年12月，中文版面世，然后发生了出版史上颇为罕见的一幕：一本在本土温和收场的书，在大洋彼岸被抬上神坛，被称为"互联网圣经"。微信创始人张小龙在腾讯内部演讲中反复提及它塑造了自己的产品观——产品上线后就有了自己的生命，会与海量用户互动，最终互动出什么结果，设计者控制不了。这本书甚至成了他团队选人的一道标准。

凯利本人对这个反差给过一个朴素的解释：1994年，把复杂科技类比蜂巢和昆虫对当时的美国读者太超前；而2010年的中国恰逢其时——社交媒体、开源、P2P正在兴起，书里的概念一下子对上了。

一本书的命运，往往不取决于它写了什么，而取决于读者站在哪一年。

现在是它的第三个时刻。而这一次值得读的，不只是它说对的地方。

二、"失控"从来不是机器人造反

先纠正一个几乎所有人都会犯的误读。

凯利说的"失控"，与科幻电影里的AI觉醒、机器反叛毫无关系。他讲的是一个更冷静的判断：随着技术系统变得足够复杂，它的运作方式会从机械式转向生物式。

机器依赖中央控制，生命依赖局部规则。蜂群没有指挥官却能找到花蜜，蚁群没有总司令却能建起复杂巢穴，生态系统没有设计者却能维持动态平衡。真正产生复杂行为的不是某个聪明的中枢，而是大量简单规则的相互作用。

这个判断的结论才是全书最锋利的部分：你想要一个系统具备生命般的适应力，就必须交出对它的精确控制。这不是代价，这是同一件事的两个说法。

书里那组常被引用的"神之九律"，几条最实用的正是这个意思——尊重错误，把错误当作探索机制而非缺陷；不求单一最优，而要维持多个目标之间的张力。这些不是励志格言，是复杂系统的操作规程。

三、被验证的部分：模型是长出来的

三十二年后再看，书里最惊人的验证发生在一个凯利当时不可能知道的地方。

过去的软件是写出来的。工程师逐行写下逻辑，输入决定输出，行为可以追踪，Bug可以定位到某一行。

今天的大模型不是这么来的。工程师提供的是数据、算力、目标函数和一个漫长的训练过程；最终涌现的能力，没有任何人逐行写下过。同一个问题换一段上下文、换一种提示、换一个推理长度，结果可能不同。而当智能体开始调用工具、访问数据库、多个模型协同完成任务，整个系统的行为方式确实更接近一个生态，而不是一段程序。

与之配套的是另一个已经成为事实的处境：没有任何一个人完整理解今天最重要的技术系统。研究者理解训练方法，工程师理解系统架构，安全团队理解风险边界，产品团队理解使用场景——但没有人能把全部拼在一起。

这也不是AI独有。互联网如此，金融市场如此，全球供应链如此。凯利三十年前的判断在这一点上完全站住了：系统越复杂，越不可能被任何单个个体完整掌握。

四、但涌现不等于生命

这里必须加一道刹车，因为它是当下最流行、也最省事的误读。

说大模型"像生命"是一个隐喻，不是一个机制。它不可解释，源头是统计复杂度——数千亿参数在高维空间里的相互作用超出了人类的直观追踪能力；而不是因为它拥有了自身的目标、意图或生存驱动。生物系统的适应性来自数十亿年的自然选择，其"目标"是内生的；模型的目标始终来自外部写下的损失函数和奖励信号。

这个区别很要紧。把不可解释性归因于"生命性"，会带来一种危险的解脱感——既然它像生命，那就不该期待理解，只能敬畏和共存。而如果承认它只是统计复杂度，责任就回到了工程和制度身上：可解释性研究是可以推进的，评测是可以设计的，边界是可以强制的。

"像生命"是一种描述，不是一张免责声明。

凯利本人的立场也在往这个方向移动。在2025年底的一场演讲中，他明确表示只靠现在的大语言模型走不到下一步，主张把智能看作一种"复合物"：需要与擅长逻辑演算的经典AI结合，需要补上空间智能——今天的模型熟悉关于世界的文字，却并不熟悉世界本身，用他的说法，要从word-smart走向world-smart。

这不再是生物学隐喻，这是工程学的组合思路。

五、它真正错判的地方

现在说这本书最值得讨论的部分：它错在哪里。

《失控》的整套世界观是去中心化的。自下而上的控制、分布式的存在、边缘比中心更重要——这是它反复强调的方向。1990年代的互联网也确实按这个剧本演了很久：开源、P2P、维基、博客，权力持续向边缘流动。

而生成式AI出现后，剧本反了。

训练一个前沿模型需要极其集中的算力、极其集中的资本、极其集中的数据中心和电力供应。这可能是人类历史上资本集中度最高的一项技术。产品内部越来越像生态，产业结构却越来越像少数几座垂直整合的巨型工厂。

于是出现了一个尖锐的错位：智能的内部结构变得越来越分布式，而生产智能的权力变得越来越集中。涌现发生在模型里，垄断发生在模型外。

有意思的是，凯利自己似乎最清楚这一点。当被问到对AI最担心什么时，他明确排除了失业和"AI消灭人类"，却点出两件事：武器化，以及AI究竟是开放还是封闭、属于公众还是仅被公司所有。

一位以激进乐观著称的作者，三十年后的忧虑落在了所有权上，而不是失控上。这本身就是对那本书的一次修正。

六、如果系统是长出来的，管理方式必须改

对企业来说，这不是哲学讨论，而是方法论问题。

如果系统是写出来的，管理它的方式是规格书、需求评审和单元测试——确认它做了你让它做的事。如果系统是长出来的，这套工具会大面积失效。你不再是在写代码，更像是在育种。

那么真正的控制点会转移到几个地方：目标函数写了什么（因为它决定了系统会往哪个方向长）；评测覆盖了什么（因为没被测量的能力不会被优化，也不会被发现退化）；护栏拦住了什么（因为你无法穷举它的行为，只能约束它的后果）；可观测性能看见什么（因为对长出来的系统，事后归因比事前设计更重要）。

书里那两条律在这里格外贴切。尊重错误：不要追求零故障的系统，要追求错误廉价且可被发现的系统。不求最优：单目标优化在复杂系统里几乎必然导致某个未被计入的维度崩塌，所以要刻意保留多个互相牵制的目标。

面对长出来的系统，管理者的工作不是把它设计对，而是让它错得便宜、错得可见、错得可逆。

七、接受复杂，不等于放弃问责

《失控》最容易被滥用的一句结论是：复杂系统无法被完全理解，因此我们应当学会与复杂性共存。

前半句是事实，后半句是态度，中间缺了一步。

无法完整理解一个系统，不等于无法约束它的行为。人类不完整理解人类心智，但仍然建立了法律、审计、合同和责任制度。金融市场不可被任何人完整预测，但仍然有清算所、资本充足率和熔断机制。这些制度从不假装理解系统的内部，它们只是确保系统的外部行为可被追责、可被中断。

这才是"与复杂性共存"的真正含义。它不是敬畏，而是治理。

结语

今天重读《失控》，值得带走的不是它的预言清单——它没有预见Transformer，没有预见ChatGPT，也没有预见算力会成为国家级战略资源。

值得带走的是它提出的那个交易，因为这个交易今天正被反复签署：我们每一次让系统变得更强大，都在同时让它变得更难被解释。

问题只在于，这份合同的另一半——问责、验证、可中断——有没有被一起写进去。

有些经典之所以不朽，不是因为它预测了未来，而是因为未来终于走到了它描述的位置，然后我们发现，它没能预测的部分同样重要。