2026-03-27 16:03
扫码打开虎嗅APP
本文来自微信公众号： 每日天使 ，作者：每日天使
Karen Hao（郝考蓝），获奖调查记者，MIT机械工程专业毕业，前《麻省理工科技评论》AI全职记者，前《华尔街日报》硅谷与中国科技报道记者，现为《大西洋月刊》特约撰稿人，播客《The Interface》联合主持人。她历时数年，采访逾250人（其中90余人为OpenAI现任或前任员工及高管），进行超过300次访谈，写成《帝国AI：山姆·奥特曼的OpenAI内部梦魇》（Empire of AI:Dreams and Nightmares in Sam Altman's OpenAI），出版后迅速登上《纽约时报》畅销榜。
Steven Bartlett，企业家、投资人、播客主持人，《The Diary Of A CEO》创始人，以长达数小时的深度对话著称，嘉宾横跨科技、商业与流行文化领域。本次访谈录制于奥斯汀SXSW大会期间。
这场对话，是一场少见的“解密性”访谈——它不是AI公司精心运营的形象工程，而是一个局外人花了几年时间，带着原始文件和深喉线索，坐下来告诉你：这个行业到底在做什么、为什么这样做，以及我们能做什么。
Steven：你学的是机械工程，后来又成为了AI记者，然后写出了这本书。能说说你的经历吗？走进这个话题的路，对你来说是什么样的？
Karen：我走进新闻业的路确实很奇怪。我在MIT学的是机械工程，毕业后搬到了旧金山，加入了一家初创公司，由此被抛入了硅谷的世界。那家公司号称使命驱动，专注于利用技术对抗气候变化。但入职几个月后，董事会以公司不盈利为由，把CEO解雇了。
那一刻对我来说是个彻底的转折点。我当时心里想：如果整个硅谷的底层逻辑是“只建造盈利的技术”，而世界上很多我认为真正需要解决的问题——比如气候变化——恰恰都不是能盈利的问题，那我们究竟在做什么？创新到底是为谁服务的？怎么走到了这一步，让创新不仅没能服务于公共利益，有时甚至是在损害公共利益来追求利润？
在那一刻，我陷入了一种危机感。我想：我用了四年时间为这条职业道路做准备，但现在我不确定自己是否适合走这条路。于是我决定，干脆彻底换一件事试试。我一直喜欢写作，于是兜兜转转，两年后，我进入了MIT技术评论，开始全职报道AI。
从2018年起，那份工作给了我一个空间，让我去探索那些一直困扰着我的问题：谁决定我们要建造什么技术？金钱和意识形态如何驱动这些决定？我们怎样才能重塑创新生态，让它真正为全世界更广泛的人群服务？这就是我最终走向写书的起点。其实当时我自己都没意识到我是在为一本书做准备——但从2018年接下那份工作的那一刻起，我实际上已经开始了这本书里所记录故事的研究之旅。
Steven：我们在进正式内容之前，能给大家一个感性认识吗——你为这本书采访了多少人，这个过程把你带到了哪些地方？
Karen：我采访了超过250人，进行了超过300次访谈。其中超过90人是OpenAI的前任或现任员工和高管。这本书讲的是OpenAI第一个十年的内部故事，以及它是如何走到今天这一步的。
但我不想只写一本公司传记。我非常强烈地感觉到，如果我们要帮助人们真正理解AI产业的影响，就必须走出硅谷，走得远远的。这些公司告诉我们，AI将惠及所有人，这是他们所谓的“使命”。但是当你真正去到那些看上去和硅谷截然不同的地方——说着不同语言、有着不同历史和文化的地方——那套说辞就开始瓦解了。在那些地方，你才开始真正看清这个行业在世界上如何展开，真正的全貌是什么。
Steven：好，我们从头讲起。我很想让这场对话对所有人都能看懂，不管有没有AI背景的人——所以就假设观众对扩展定律、GPU、算力这些词都一无所知。那我们应该从哪里开始？
Karen：我觉得应该从“AI作为一门学科是怎么起步的”开始讲。那是1956年。一群科学家聚集在达特茅斯大学，决定创立一门新的科学学科，去追逐一个雄心勃勃的目标。达特茅斯的一位助理教授约翰·麦卡锡，决定把这门学科命名为“人工智能”。
但这不是他一开始的命名。在此之前一年，他试图把它叫做“自动机研究”。他的一些同事对“人工智能”这个命名感到不安，原因很充分：这个名字把这门学科的目标定位为“重建人类智能”。而当时——和今天一样——我们对于什么是“人类智能”根本没有科学共识。心理学没有给出一个定义，生物学没有，神经学也没有。
事实上，历史上每一次试图量化和排名人类智能的努力，背后都有着不可告人的动机——都是为了“科学地”证明某些人群劣于另一些人群。这个领域从一开始就没有清晰的目标，也没有终点线。而这一点，恰恰是后来AI公司可以随意重新定义“AGI”、不断移动终点线的根源。
Steven：好，那“AGI”——人工通用智能——到底是什么？为什么它如此重要，又为什么大家都在谈论它？
Karen：AGI，也就是“人工通用智能”，现在是这个行业用来指代“重建人类智能”这一宏伟目标的术语。但问题在于，由于我们从未真正定义过什么是“人类智能”，AGI这个词就可以被随意使用，随时重新定义。
你看OpenAI的历史就能发现这一点：在向国会作证时，Sam Altman把AGI描述成一个能治愈癌症、解决气候变化、消灭贫困的系统；在向消费者推销时，它变成了“你见过的最厉害的数字助手”；在与微软的投资谈判中，根据合同条款，AGI被定义为“一个能创造千亿美元营收的系统”；而在OpenAI官网上，它被定义为“在大多数有经济价值的工作上超越人类的高度自主系统”。
这根本不是对一项技术的连贯愿景。这是同一个词，针对不同的听众，说着完全不同的话——为了安抚监管机构，为了获得消费者认同，为了拉到更多资本——一切都是为了用这个定义模糊的词，动员不同的力量，继续在没有明确目标的道路上狂奔。
第五章：2015年的那篇博客——Altman如何用语言操纵Musk
Steven：让我注意到一个很有趣的时间线细节。2015年，你在书里说，Altman在一篇博客文章里写道：“超级人工智能的发展可能是威胁人类持续存在的最大威胁。还有其他威胁我认为更可能发生，比如人造病毒，但AI可能是一般意义上摧毁一切的最可能方式。”你是说，Altman在那个时间点突然把这句话写出来，是在刻意迎合Musk的语言？
Karen：没错。在那篇博客里，Altman在此之前一直在谈论“生物工程病毒”是主要威胁，但在提到AI时，他突然插了一句：当然，另一种可能也是真实的……然后把AI排在了首位。那个插入的语气——“其他事情更可能发生，但是……”——实际上是在化解一个矛盾：在那之前，他一直都在说生物工程病毒是第一威胁。现在他需要改口，把AI提升为第一威胁，以便和他的“目标受众”对齐。
如果你把Altman当时使用的语言和Musk当时在各种场合的发言放在一起对比，你会发现几乎是逐字镜像。Musk在2015年于MIT的演讲中说，AI是“对人类生存的最大威胁”，他还把开发AI比作“召唤恶魔”——而Altman的博客在那个时间节点出现了完全相同的框架，完全相同的措辞。
那个括号里的说法——“其他事情更可能发生，比如生物工程病毒”——正是因为在那之前，Altman一直都在谈病毒，现在他需要把立场切换过来，和Musk对齐，但又要保留一点连续性，于是变成了这种夹注式的转换。
Steven：所以你是说Sam Altman操纵了Musk？毕竟Musk最终确实给了大量资金，并联合创立了OpenAI。
Karen：Musk确实和Altman共同创立了OpenAI。而且从Musk的角度来看，他确实感觉自己被操纵了——他感觉Altman刻意塑造了自己的语言框架，以便让Musk把他视为一个可以信任的合作伙伴。
之后的事情，因为Musk和Altman目前正在进行的诉讼，有一些细节被公开了出来：Musk在某种程度上确实是被“挤出去”的。这也是为什么他至今对Altman怀有如此深的个人仇恨，说Altman某种程度上欺骗了他，把他拉进来之后又踢走了。
具体经过是这样的：在OpenAI最初以非营利形式运营时，他们讨论是否要设立一个营利性实体，以及谁应该担任这个营利性公司的CEO——候选人是Musk还是Altman，因为他们是非营利组织的两位联席主席。从当时的邮件来看，Ilya和Greg最初选择的是让Musk担任CEO。
但通过我的报道，我发现Altman随后私下去找了Greg Brockman——他的老朋友，他们在硅谷圈子里认识多年——跟他说：“你真的觉得让Musk当这家公司的CEO是个好主意吗？你想想，他是个大名人，承受着外界的各种压力，他可能会受到威胁，可能会行事冲动，可能无法预测。我们真的要把一项未来可能极度强大的技术，交到这个人手里吗？”Greg被说服了，然后又去说服了Ilya。两人的立场一转，Musk就被排挤出局了。然后Musk的反应是：如果我不能当CEO，我就走。
Steven：说到这，我不得不问——你是怎么看Sam Altman这个人的？你停顿了一下，看起来在斟酌用词。
Karen：他是个极具争议的人物。那停顿是因为——这正是这些采访里最有趣的部分——人们对Altman的看法极度两极分化。没有人对他持中间立场。要么认为他是这一代最伟大的科技领袖，是现代的乔布斯；要么认为他极度善于操控他人，是个说谎者和施虐者。
我采访了这么多人之后，意识到这种分裂最终归结于一件事：你对未来的愿景是否与他一致。如果你的目标和他一样，你会觉得他简直是你能拥有的最好的盟友——他极具说服力，讲故事的能力超强，在动员资本、招募人才方面无人能出其右，在推进一个共同未来愿景时，他是不可多得的力量。
但如果你的愿景与他不同，你就会开始感觉自己正在被他操纵，被推向一个你根本不认同的未来。这正是Dario Amodei的故事——他原本是OpenAI的研究副总裁，随着时间推移，他越来越觉得Altman并没有真的和他站在同一边，而是利用了他的智识和能力，去建造并推进一个他其实根本不认同的未来。这就是为什么那么多人最终对Altman有那种深深的失望和愤怒。
我报道科技行业超过八年，采访了Meta、谷歌、微软在内的众多公司，从来没有见过任何一个人物有这种程度的两极分化——人们无法对他做出任何中间判断，要么最好，要么最坏。
Steven：你提到了Ilya Sutskever，他也曾经上过我的播客。2019年你采访他时，他说了一段话，我觉得现在看来令人不寒而栗。他说：“未来对AI来说肯定是好的，不管怎样。如果也能对人类好，那就更好了。它不会主动憎恨人类或想伤害人类，但它就是会那么强大。一个好的类比是人类对待动物的方式——我们不憎恨动物，我想人类是爱动物的，我对它们有深厚的感情。但当需要在两个城市之间建高速公路的时候，我们不会去问动物的意见，我们直接就建了，因为这对我们来说很重要。我想，在默认情况下，这就是我们和真正自主的AI之间关系的样子。”这句话是他2019年说的？
Karen：是的，那就是我2019年采访他时他说的话。
但在我们解读他的话之前，我想退一步来说清楚一件事，这是理解整件事的关键：他持有这种观点，是因为他对“智能是什么”有一个非常具体的信念。
Ilya在整个研究生涯里一直相信：我们的大脑本质上是巨大的统计模型。这不是科学已经证明的事实，而是他的假设——也是他的导师Geoffrey Hinton（也上过你的播客）的假设。正是这个假设，让他们对构建统计AI系统有着如此强烈的信念，认为这条路最终会通向“像人类一样智能”的系统。这只是一个假设，不是科学定论，而且有很多人——尤其是神经科学家和心理学家——对此提出了强烈质疑，认为把人类大脑简化为统计引擎过于简化。
但如果你进入Ilya的思维框架，假设这个假设是真的——大脑是统计引擎，他们建造的也是统计引擎，只要把它造得够大够强，它就会像人类大脑一样智能，甚至超越人类大脑——那么他2019年说的话就有了某种内在逻辑。他在那次神经信息处理系统大会的主旨演讲中，展示了一张大脑尺寸与物种智能的关系图，大致是线性的：脑子越大，越聪明。所以从他的逻辑来说，只要建造一个比人脑更大的统计引擎，根据这张图，它的智能就会超过人类，我们就会处于被动的位置——就像人类之于动物。
但必须理解：这是他个人的科学假设，而不是已被证实的真理。他们两人相信这个假设，并在这个假设上押上了整个职业生涯。
Steven：好，那Ilya后来为什么离开OpenAI的？他是OpenAI的联合创始人，你书里有一句话让我不寒而栗——第357页，Ilya说：“我不认为Sam是那个应该把手指放在AGI按钮上的人。”能说说这背后的故事吗？
Karen：Ilya Sutskever有两个深深关切的核心。第一，确保我们能到达所谓的AGI；第二，确保我们安全地到达那里。他感觉Altman正在同时破坏这两件事。
在他看来，Altman在公司内部制造了极度混乱——他让团队之间相互对立，向不同的人传递不同的信息，搞得整个公司的人互相不信任，各自竞争，而不是协作——在一家宣称自己正在建造“可能从根本上改变人类命运的技术”的公司里，这是他无法接受的。
Steven：那他们是怎么具体操作解雇Altman的？
Karen：我书里有一段基于大约六七个直接参与者或与参与者直接沟通过的消息来源的逐场景还原。
事情大概是这样的：Ilya开始对Altman的行为产生严重的担忧——这种行为正在导致糟糕的研究结果和公司内部混乱的决策。他于是开始悄悄接触独立董事会成员Helen Toner。Ilya当时其实压力很大，他把这些担忧压在心里已经有一段时间了，并且担心：如果我把这些说出去，而Altman发现了，后果对我会很糟糕。
所以他申请和Toner见面。第一次见面时，他几乎什么实质内容都没说，只是在试探：这个人是否值得信任，能否接收更多信息。
值得一提的是，当时OpenAI作为非营利组织，董事会成员分为两类：在公司里有财务利益的，和完全独立的。而Ilya作为非独立董事，正是在试探一位独立董事，看她是否也察觉到了Altman对公司的影响。
这随后引发了一系列对话，先是Ilya和Helen，然后是Mira Murati（CTO）和一些董事会成员。这两位高管通过邮件、Slack消息等证据材料，向三位独立董事会成员表达了他们的核心关切：Altman是公司不稳定的根源，问题不会自己消失，除非他离开。
Steven：你说的“不稳定”是什么意思，能具体说说吗？“不稳定”可以有很多种解读，比如逼员工更拼命工作……
Karen：可以。当ChatGPT 2022年底发布并在全世界引爆时，OpenAI其实完全没有准备好。他们以为自己发布的只是一个研究预览版，用来帮助他们收集数据，给真正的“重磅产品”——也就是后来基于GPT-4的ChatGPT——做准备。那个最初的版本用的是GPT-3.5，他们完全没预料到会有这么大的反响。
因此，服务器不断崩溃，他们不得不以史无前例的速度扩展基础设施，也在以史无前例的速度疯狂招人，结果有时招进来之后才发现“哦糟糕，我们搞错了”，于是不停地裁员——被裁的人就这样从Slack上消失了，同事们是通过“这个人突然不见了”才知道他被解雇了。这已经是一个极度混乱的环境，比任何一家成长期初创公司都更混乱。
而Mira和Ilya感觉的是，Altman不仅没有在化解这种混乱，反而在主动加剧它——他让各团队更加对立，让内部更加撕裂。
这是理解整件事的关键背景：这些高管和独立董事都在“我们正在建造AGI”的信念框架下运作，而AGI可能对人类是灾难性的，也可能是乌托邦式的。所以这不是普通公司——你不能把这种混乱程度当成一家普通快速成长的初创公司来接受。
独立董事们彼此进行了非常密集的讨论，几乎每天见面。亚当·德安杰洛（Adam D'Angelo），Quora的CEO，也是独立董事之一，有一次在旧金山的一个派对上，听到了一些关于OpenAI创业基金的奇怪传言。他们去拿了文件，结果发现：OpenAI的创业基金，并不是OpenAI的基金，而是Altman个人的基金。这是独立董事们接二连三发现的、Altman所描述的事情与实际情况之间的那种持续性不一致之一。
当两位高管正式向独立董事提出关切时，董事们心想：“这和我们自己的亲身经历对上了。”于是他们开始讨论：我们是否应该认真考虑解雇Altman？最终结论是：如果这只是Instacart，也许不用。但这不是Instacart——他们相信自己正在建造可能从根本上改变世界的技术，标准更高。
他们决定解雇Altman，而且意识到必须快速行动——因为一旦Altman知道风声，以他的说服力，这件事根本不可能完成。
结果，他们在没有知会任何利益相关方的情况下执行了这一决定——微软，作为当时唯一的重要投资方，仅在行动前几分钟接到一个通知电话，说“我们要解雇Altman了”。这导致几乎所有受影响的人都勃然大怒，大规模的“让Altman回来”运动随即爆发。几天后，他重新出任CEO。
至于Ilya，他担心的事最终还是发生了。他再也没有回来，随后创立了Safe Superintelligence公司。Mira之后也离开了，创立了Thinking Machines Lab。
Steven：我注意到书里那句话，让我心里一紧。Ilya说：“我不认为Sam是那个应该把手指放在AGI按钮上的人。”我想到：我有150个团队成员，他们最了解我，台前台后都见过我。如果他们说“我们不认为Steven适合主持这个节目”，那一定是因为他们在镜头外见过一些事情，才会有这样的判断。那在AI这件事上，比我一个播客节目的后果严重得多——OpenAI的联合创始人居然去找董事会说“这不是对的人”……这让我不寒而栗。
Karen：是的。而且Mira后来也明确表示她不认为Altman是对的人，然后她也离开了。这已经不是一个人的判断了。
第十一章：这不是巧合——为什么每个科技亿万富翁都有自己的AI公司
Steven：有趣的是，OpenAI原初团队的故事，从Rosewood酒店那场晚宴开始。Altman召集了那批人，包括Ilya、Greg Brockman、Dario Amodei——他们几乎每个人都进了OpenAI，然后几乎每个人都因为与Altman发生冲突而离开了，并且都各自创立了公司。
Karen：没错，这不是巧合。Musk离开后创立了xAI；Dario离开后创立了Anthropic；Ilya离开后创立了Safe Superintelligence；Mira离开后创立了Thinking Machines Lab。
每一个科技亿万富翁都有自己的AI公司，是因为他们想按照自己的愿景来塑造这项技术。他们在OpenAI的亲身经历告诉他们，推进自己愿景的最好方式，就是自己建一个竞争对手，然后和OpenAI以及其他所有人竞争。
顺带一提，Ilya把自己的公司命名为“安全超级智能”（Safe Superintelligence）——如果你曾经和我共同创立过一个播客，然后离开去创立了一个叫“安全播客”的东西，我会把这理解成一个非常明确的讽刺。
Steven：为什么在写这本书时，你选择用“帝国”这个词？
Karen：“帝国”是我找到的唯一一个能够完整概括这些公司所作所为、它们运营规模以及驱动它们的动机的比喻。它和历史上的帝国之间存在太多平行之处：
第一，侵占资源。他们以训练模型为由，占用并不属于他们的资源——个人数据、艺术家的知识产权、作家和创作者的作品。他们在全球各地大规模圈地，建造超级计算机设施。
第二，剥削劳动力。他们在全世界雇用了成百上千万名合同工来制造这些技术。我们之后会详细谈这个。而且，他们在设计工具时，就是为了实现劳动力自动化——当这些技术被部署时，它会进一步侵蚀工人的权利。这是一个刻意的政治选择。
第三，垄断知识生产。他们投射出一种形象：只有他们真正懂这项技术，公众如果不理解或者反对这项技术，是因为他们“了解得还不够”。他们对公众这样做，对政策制定者这样做，同时也收编了全球大多数研究AI局限性和能力的科学家。如果气候科学界大多数科学家都是由化石燃料公司出资的，你认为我们能得到一个关于气候危机的准确图景吗？不能。AI产业雇用并资助着世界上大多数AI研究人员，他们通过资金导向来决定哪些类型的AI研究能够被生产出来，同时也会审查那些做出不利于他们结论的研究人员。
Steven：他们也用这套方法对付研究人员？能举个具体例子吗？
Karen：我在书里写到了Timnit Gebru博士的案例。她是谷歌伦理AI团队的联席负责人，字面意义上是被谷歌雇来批评谷歌正在建造的AI系统的。她后来联合撰写了一篇关键研究论文，指出大语言模型会带来某些有害影响。谷歌试图阻止这篇论文发表，最终将Gebru解雇，然后又解雇了她的另一位联席负责人Margaret Mitchell。这就是他们控制并扼杀对自己不利的研究的方式。
第四，建立“好帝国”对抗“坏帝国”的叙事。帝国总是对公众说：我们是好帝国，我们需要成为帝国，是因为世界上还有坏帝国。如果你允许我们占用一切资源，使用一切劳动力，我们承诺会为大家带来进步和繁荣，带领所有人走向AI天堂。但如果恶帝国先做到了，我们就会坠入地狱。
在AI世界里，“恶帝国”通常是中国。但有趣的是，在OpenAI的早期，他们当时用来吓人的“恶帝国”是谷歌——“我们必须比谷歌先做到，因为谷歌是那个被利润驱动的邪恶公司，而我们是良善的非营利机构。”这是一个关键的竞争叙事。
Steven：你是怎么和OpenAI结下这段梁子的？
Karen：2019年，我在OpenAI的办公室里嵌入采访了三天，写了一篇深度报道。2020年文章发出后，公司高层非常不满。我在书里直接引用了Sam Altman发给全公司的邮件，他写道：“嗯，这不太好。”
从那以后，他们明确告诉我，他们不会参与我做的任何事情，不会回答我的任何问题。这不是我的推断——他们直接这样说的。我有一位在MIT技术评论的同事也报道AI，有一次OpenAI发给他一份新闻稿，说“我们希望你来报道这个故事”，他说“我现在很忙，能不能转给Karen？”，他们的回应是：“哦，不行，我们和她之间有点历史，你明白的。”于是他们封了我整整三年。
后来我去了《华尔街日报》，他们感觉“那是《日报》，有点不得不回应”，才重新开门对我说话。我们建立了一个更具生产力的关系，每次写稿我都会发出置评请求，有时也能采访。当我离开《日报》开始全职写书时，我一开始就通知了他们，并问能否参与。他们最初说可以，表示可以安排采访、让我回去办公室。
然后……董事会解雇了Sam Altman。公司开始变得对外界审视极度敏感。一次次“我们来安排一下时间”之后，我最终收到一封邮件：我们不参与了，你不能来。我当时机票都已经订好了，准备飞去旧金山。
我告诉他们：没关系，我会继续通过其他渠道做我的报道，也会给你们充分的机会发表评论。我最终给他们发了整整40页的置评问题，给了他们一个多月的时间来回应。他们一个字都没有回答。
Steven：Sam Altman做了很多采访——Tucker Carlson的、Theo Von的、Joe Rogan的……他基本上无处不在。我不明白他为什么不来我这里。
Karen：我也不明白。不过我通过各种渠道听说，他不愿意来你这里。（笑）
Steven：你说到这套方法也被用来对付媒体人，能具体说说吗？
Karen：是的，答案很明确，就是“准入”（access）。对于科技记者来说，公司能给的最大礼物就是独家访问——能坐下来采访CEO，能亲眼看到产品演示。他们会拿着这个萝卜不停晃，然后一旦发现你采访了他们不希望你采访的人，立刻把萝卜收回。
Steven：说实话，就在现在——我不会点名，但有一个AI领域的人，他们的团队已经把来节目的“诱饵”挂了我整整18个月了。
Karen：正是如此。他们的策略不只是关于他们自己接受什么采访，还关于你选择给谁的声音一个平台。他们相信，如果把萝卜挂得足够久，你会开始“表现良好”——不批评他们，不采访他们不希望你采访的人，因为你还在等待那次访谈。
他们最优的结果，其实不是你真的采访他们，而是让你一直处于等待状态，永远不去批评他们。因为你还在期待那次访谈会发生。就像你说的——“好吧，他还在考虑，我们来安排一下日期”——这是永无止境的。
这个问题在科技新闻领域无处不在，但很少被公开讨论。我之所以能做到相对独立，某种意义上是因为OpenAI很早就把门关在了我面前——在我还没意识到发生了什么的时候，我就已经不必依赖那扇门了。当时我觉得自己很倒霉，因为作为记者，准入是非常重要的，报道应该反映真相，应该以公众利益为出发点——那一刻，我才刚刚起步，我问自己：我是不是误解了新闻业是什么？我是不是应该去玩那个“准入游戏”？
但门已经关了，我别无选择，只能在没有那扇门的情况下建立我的职业生涯。最终，这反而真正强化了我如实报道的能力——无论那家公司喜不喜欢，我就说我看到的事实。而那家公司几乎每次都不喜欢。但我仍然能进行300多次采访。
第十五章：OpenAI还在传票批评者——这也是“帝国”的手段
Steven：你提到一个案例，说有人被OpenAI上门——他们把传票送到了某人的家门口？
Karen：是的。这是OpenAI在进行一场似乎带有恐吓性质的行动，同时也似乎是在试图搜集更多信息，以便更好地绘制出批评者的网络图谱。
这个人经营着一个小型监察非营利组织MIDAS，他们当时做了大量工作，质疑OpenAI从非营利转为营利性公司的过程。在那个对OpenAI来说生死攸关的转换期，有很多公民社会团体和监察组织试图阻止这个过程在黑暗中悄悄完成，他们希望获得更多透明度，推动更多公开讨论——因为这种转换是前所未有的。
就在这个时候，他家门口来了人，送上了传票。传票要求他出示所有和Musk有过关联的通讯记录。这是一种奇怪的偏执——OpenAI不知怎么相信Musk在背后资助这些人来阻挠转换。事实上，这些人没有一个是Musk资助的。所以在这个具体案例里，他只能回复说：我没有这些文件，因为它们根本不存在。
第十六章：AI CEO们究竟相信什么——“末日”叙事的双重功能
Steven：你认为这些AI公司的CEO们真的相信，他们正在做的事情对全人类是好的吗？你认为Sam Altman相信什么？
Karen：这是一个非常有趣的问题，因为“它可能会带来灾难性后果”这种说法，其实是他们神话体系中不可或缺的一部分——它和“它将带来无限繁荣”这个说法并列共存，缺一不可。
Altman曾公开说：最坏的情况是“所有人的灯都灭了”，最好的情况是“我们治愈了癌症，解决了气候变化，实现了物质丰裕”。Dario Amodei的表述也类似：最坏的情况是人类文明层面的灾难，最好的情况是大规模的人类繁荣。这是硬币的两面，他们需要同时抛出这两面：
一方面，如果他们不掌控这项技术，后果将是灾难性的。另一方面，如果让他们掌控，结果将是乌托邦式的。两者的共同功能是：这是一套极度反民主的论述——这项技术的发展不应有广泛的公众参与，他们必须在每一步都掌控它。
Steven：所以逻辑就变成：如果不让我来做，中国就会做，那就更糟糕；而如果让任何其他人来做，也是糟糕的——所以你必须给我钱和支持。
Karen：完全正确。当他们说这些话的时候，我们需要把它理解为一种说服行为——一种让所有人相信“应该把更多权力、更多资源、更多控制权交给他们”的话语行为。这不是一个基于他们真实所见做出的纯粹预测，因为我们不预测未来，我们创造未来。
Steven：Dario曾公开说，他认为有10%到25%的概率，AI的未来对人类文明会是“灾难性的”。25%意味着四分之一的概率。如果你拿出一把四膛左轮手枪，说好处是你会成为亿万富翁并留名青史，坏处是有一颗子弹可能打入你的脑袋——我无论如何都不会接受这个赌注。
Karen：我有一个非常长的答案，因为这需要分层理解。
当他们说这些话时，我要分成两个层次来理解。第一个层次：他们是在刻意进行神话建构，因为我有大量内部文件，清楚地显示他们非常清楚如何通过展示令人眼花缭乱的技术演示、打造听起来很伟大的使命愿景，来带动公众和监管机构一起走——他们知道自己在做这件事。
第二个层次：我认为他们中很多人也在神话里迷失了自己——因为你不得不日复一日地活在这个神话里，呼吸它，体现它。
我用《沙丘》来类比这件事。在《沙丘》里，保罗·崔迪斯刚踏上厄拉科斯这颗星球时，他知道弥赛亚的预言不过是一个神话——实际上是被预先种植在这个星球上的、用来控制人心的神话。但他选择扮演弥赛亚的角色，因为这有助于他聚拢追随者，实现他的目标。然而随着时间推移，他活在这个神话里越久，他就越来越分不清神话和现实的边界。
这就是AI世界里发生的事。比如Dario，当他说“10到25%的概率会出现灾难性结果”——我认为如果你问他“你真的相信这个吗？”，他会说“是的，我真的相信。”因为在“我只是在说这些话以达到目的”和“我真的相信这些”之间的边界，已经模糊了。
这其实就是认知失调的心理学机制：大脑很难同时持有两个相互矛盾的信念，所以它会倾向于消解其中一个。如果你是个想保持健康但又抽烟的人，一旦有人指出抽烟对你有害，你的第一反应会是：“是的，但是抽烟帮我减压。”“是的，但是我只有在特定情况下才抽。”大脑会自动找到理由。
同样的机制在这里运作：这些公司需要不断地向外界募集资金，他们每时每刻都在融资。你不可能一边融资，一边说“我可能会毁掉你孩子的未来，有25%的概率”。
Steven：你认为这些人里，谁更有道德感？Dario经常被认为更有良知，更有道德骨气。他来自Anthropic，是Claude的创始人。
Karen：对我来说，这个问题其实并不那么重要。因为即使你把所有CEO换成所有人都认为更好的人，我在书里指出的根本问题依然存在：这是一个权力结构，在这个结构里，这些公司以及掌控这些公司的人，每天都在做影响全球数十亿人生活的决定，而这数十亿人对于决策的走向没有任何发言权。
这些人在社会上讲着完全不同的语言，有着完全不同的历史和文化，任何人——无论多么有道德感——都不可能替这么多不同背景的人做出正确的决定，而不产生根本性的后果。
这就是为什么在历史的进程中，我们从帝国过渡到了民主。不是因为帝国的统治者个人素质差，而是因为帝国作为一种结构，从根本上就不能最大化地保证大多数人能够有尊严地生活。
Steven：让我来给你当一下魔鬼代言人。如果美国不全速推进AI，中国的模型最终会变得足够强大，以至于我们不得不向他们“租用”智能；他们会先获得科学发现；他们会掌握自主武器系统；我们最终会沦为他们的后院。从逻辑上看，这个论点似乎很有说服力。
Karen：不，这个论点站不住脚。让我逐一拆解它的前提。
第一个前提：只要扩大大语言模型的规模，就能带来更多“智能”，最终导致更强的军事能力和网络能力。这不正确。我们实际上不知道这些系统是否在任何有意义的层面上是“智能的”。一个计算器可以比人类更快地做数学题，但我们不会说它有一般意义上的智能。这些模型的能力是“锯齿状的”——某些能力很强，另一些能力很弱，而这取决于公司有意识地选择去改进哪些能力。
他们是如何决定改进哪些能力的？根据哪些行业和国家愿意为这些服务支付最多的钱——所以他们选择了金融、法律、医疗、商业。这与“军事能力”是完全独立的问题。如果你想要更强的军事和网络能力，你需要专门针对这些领域去开发模型，而不是单纯扩大通用大语言模型的规模。
Steven：但我认为大多数顶级AI研究者相信智能会继续扩展。Hinton就这样认为……
Karen：是的，但那是Hinton的假设——他关于大脑是统计引擎的假设。这并不是神经科学和心理学领域的共识。当你和那些真正研究人类智能的科学家交谈时，你会发现对这种观点有大量的争论和分歧。
Steven：好，继续拆解第二个前提。
Karen：第二个前提：这整个论点建立在“中国是对立方”这个二元预设上。而这恰恰是这些公司最擅长使用的话术——不是我们赢，就是中国赢；不是我们掌控，就是坏人掌控。这套逻辑的功能，是让你把更多的权力、资源和控制权交给他们，因为他们是“好人”，是“保护你的力量”。
早在OpenAI的早期，他们说的“坏人”是谷歌，不是中国。所以这个“我们必须打败坏人”的叙事框架，只是在不同的时间节点，换了一个不同的坏人的面孔。本质上，这是一个政治叙事，而不是一个技术预测。
Steven：Elon说，五年内手术机器人会比最好的外科医生还厉害，再也不需要外科医生了。Hinton说放射科医生很快就要消失。这些预测你觉得对吗？
Karen：Hinton那个预言很早之前就应该实现了——他给出了一个具体的期限，但那个期限已经过去了，放射科现在依然是一个蓬勃发展的职业。
但让我把问题说得更清楚：技术发展的目的不是技术本身，而是帮助人。关于AI在医疗场景的研究表明：最好的结果不是机器替代放射科医生，而是放射科医生拿着AI工具——两者的结合能够实现最准确、最早期的某些癌症诊断，从而改善病人预后。这不是“机器代替人”，而是“机器放大人的能力”。
但AI公司把这两件事混为一谈，是有原因的：他们需要销售“替代”叙事，因为这能让他们吸引更多资本，签下更多大企业客户，游说更多政府允许他们进入医疗、法律等关键领域。
Steven：你相信未来几年内，路上的大多数车会自动驾驶吗？
Karen：不，我不这么认为。
Steven：为什么？
Karen：因为这些系统是基于概率的统计引擎，而不是确定性逻辑。从技术上讲，它们不可能完全停止出错。它还有社会问题——人们信任这些车辆吗？以及法律问题——如果自动驾驶车辆撞死了人，谁负责？而且，这些系统在被专门训练的特定环境里表现可以，但换到一个完全不同的环境，比如孟买的街道或越南的某个城市，一辆在加州训练的自动驾驶车就完全不适应了。每次进入新环境，都需要重新训练。
Steven：但在像奥斯汀这样已经训练过的地方，自动驾驶的安全记录不是比人类驾驶员更好吗？
Karen：是的，在那些专门训练过的环境里，在有足够驾驶数据的特定地点，安全记录可以优于人类。我不反对这一点。但你问的是所有人的所有汽车——在全球范围内，10年之内——对此我的回答是不。
Steven：你认为AI会带来大规模的职业消失吗？
Karen：我认为已经有巨大影响正在发生，而且我们已经在就业报告里看到了真实的结构性变化——白领职业的招聘放缓确实在发生。
但我需要澄清一点：这不仅仅是因为AI模型真的能自动化这些工作，还因为各公司的高管正在借助AI的叙事来为裁员找到一个方便的借口——无论AI是否真的能完全替代那些岗位。有时候他们只是在疫情期间过度扩张了团队，现在用AI作为缩编的理由，同时让股价上涨七个点，因为投资者现在认为他们是一家“AI公司”。
（注：在对话进行到此处时，Klarna CEO Sebastian突然来电，Steven接通了他，三人进行了一段简短的实时对话。）
Steven：Sebastian，你好，你来得正是时候。我们刚好在讨论Klarna和AI对就业的影响。
Sebastian：好的，我简单说一下。我们确实较早地将AI引入了客服，最初的效果非常好——速度更快，质量也更高，客户满意度上升了。之后我们也确实在思考：在AI廉价且普及的世界里，人类互动的价值反而会变高。所以我们在加大对高端人工客服的投入，同时整体运营效率在持续提升。
我们的人员从约6000人减少到不到3000人，这是过去两三年间的自然流失，我们没有进行主动裁员，而是依靠员工主动离职的自然减员。与此同时，我们的营收翻了一番。所以你可以清楚地看到：AI让我们能够用更少的人做更多的事。
去年11月到12月，即使是最怀疑AI的工程师——包括Linux的创始人这类级别的人——也基本上都承认：编程这件事已经被AI解决了，不再需要像以前那样写代码了。这是过去六个月里工程领域的一个重大转变。
Steven：那么这些人去哪里了？
Sebastian：我是乐观的。我认为从长远来看，我们会走向一个更富裕的社会。短期内，确实存在对就业的担忧，但从长远来看，我对人类社会的走向是乐观的。
Steven：谢谢你，Seb，我们保持联系。
Karen：我很高兴听到这个，因为他触及了一些非常重要的细节。但我想强调的是：他描述的——商业owner和管理层可以变得更人性化，因为AI在做那些乏味的任务——这对于能够决定自己时间使用方式的人来说确实成立。但那篇《纽约》杂志的文章描述的，是工薪阶层、非业主的工人：他们失业之后，进入数据标注行业，而数据标注现在已经是LinkedIn上增长最快的职位类型之一——他们不但没有变得更人性化，反而感到自己的人性被彻底压榨和剥夺了。
这是两个截然不同的故事，关于同一项技术，但讲的是不同的社会阶层。商业owner的故事是：AI解放了我，让我更有人情味了。而工薪阶层的故事是：AI夺走了我的工作，然后让我去为那台机器添砖加瓦，且感觉不到任何尊严和自主权。
Steven：所以什么是数据标注，为什么它现在是增长最快的职业之一？
Karen：数据标注是教这些AI系统如何工作的人工过程。ChatGPT之所以能“聊天”，是因为有成千上万名工人在大语言模型里一遍遍输入示范性对话，告诉它“当用户问这样的问题时，你应该这样回答”。在这项工作被完成之前，ChatGPT根本不存在——你输入一个问题，它只会输出一些相关但不是对话式的文本。是这些工人的工作，让它变成了你现在看到的对话形式。
这也是强化学习过程的一部分：数据标注是展示大量你希望模型学会的示例，然后通过强化学习，让模型在这些示例上迭代训练，获得那些能力。
《纽约》杂志最近的报道揭示了这些工人的真实处境——他们是获奖的好莱坞导演、律师、医生、博士，是因经济动荡而找不到工作的高学历人群，他们最后只能靠数据标注来养活家人。
这些数据标注公司被设计成激烈竞争的结构：任务窗口随机出现，谁抢到谁做，谁做得最快最便宜，谁就能拿到更多的合同。这意味着工人们不得不时刻守在屏幕前，不能离开，因为不知道任务什么时候会开放。
有一位母亲说，她对任务窗口何时出现充满焦虑——当窗口在她孩子放学回家的那一刻刚好开启，她拼命工作，孩子来找她说话，她对孩子大喊大叫。然后她说：“我变成了一个怪物。我连去厕所的时间都没有，更别说照顾我的孩子了，也别说照顾我自己了。”
这个行业，把这些劳动者的生活机械化、原子化、贬值化，然后把他们的劳动收割进来，用于“自动化”那台最终还会夺走更多人工作的机器。
Steven：这是个恶性循环——一个营销人员失去了工作，然后去做数据标注，为训练AI做营销任务贡献劳动，而那个AI最终会让更多营销人员失业。
Karen：完全正确。这就是它令人不寒而栗的地方。这个循环，把代价甩给了那些最没有能力承受的人。
Steven：我说一个我自己面临的困境。我有几百名团队成员，还投资了大约70家公司，其中五六家我是主要股东。最近我在招人的时候，遇到了一些非常优秀的候选人，但我不得不大量暂停，因为当我进行实验，看AI Agent是否能做同样的工作，答案越来越是“可以”。那我如果全用AI Agent，五年后我从哪里提拔高级人才？
Karen：这是个好问题。我觉得有两类人是现在不可取代的：第一类是具有非常深厚专业知识的人——他们不需要会做某件具体的事，他们需要的是足够深的理解，能够指导AI Agent做那件事。你的CFO就是这样，她不再需要自己做财务分析，但她需要深厚的财务知识来告诉AI分析什么、怎么用结果。第二类是像你说的那个年轻的Kass——25岁，高度好奇，周末在家里给你搭AI Agent，深度理解Agent世界的运作。这两端之间的空间在收缩，但这两端本身是非常有价值的。
还有第三类：极强的线下真实人际交往能力。你需要人去接待来访客户，需要人去出席晚宴，需要人来组织社群活动。这些是AI做不到的。
但我要把话说回到那篇《纽约》杂志的文章上，因为你描述的——业主和管理层的人可以专注于那些不可取代的事情——这是有钱有资源的人的故事。那些不拥有生产资料的工薪阶层工人，他们的故事是完全不同的：他们已经在被迫承担数据标注这种工作，不是因为他们想，而是因为他们找不到其他出路。
入门级和中级职位正在被掏空，剩下的是高端高技能职位和大量低端劳动。没有中间梯级的晋升路径，人怎么往上走？这是一个结构性的、令人担忧的问题。
Steven：书里还有什么是今天对话还没有涉及到的重要内容？
Karen：数据中心对社区的影响。这是很多人不了解的部分。
我们今天坐在德克萨斯州。OpenAI在Stargate项目下，正在这里的阿比林（Abilene）建造其最大的数据中心之一，那是特朗普第二任期开始时宣布的、花费5000亿美元建造AI计算基础设施的计划的一部分。这个设施建成后，用电量将超过一千兆瓦——超过纽约市平均用电量的20%。
而Meta在路易斯安那州建造的超级计算机设施，将比阿比林的那个大四倍，用电量相当于纽约市平均用电量的一半。
当这些设施进入一个社区，会发生什么？电费涨了，电网稳定性下降了。这些设施还需要大量淡水来发电和冷却——已经有很多在干旱中挣扎的社区，被迫和数据中心争抢宝贵的淡水资源。
而孟菲斯发生的事情尤其触目惊心：马斯克为他的Grok超级计算机“Colossus”，在当地使用了35台甲烷燃气轮机供电。这是一个工薪阶层聚居的黑人、棕色人种社区，他们甚至没有被告知这件事——他们是在自己家里闻到了什么像是天然气泄漏的气味之后，才发现这个设施存在的。
这个社区本就有漫长的环境不平等历史，肺癌发病率在全美名列前茅——而现在，有一台庞大的超级计算机在他们头顶上每天泵出大量毒素，让孩子们的哮喘更严重，让老人的呼吸道疾病更难控制。而且，这些设施在夺走他们的干净空气的同时，也在夺走他们的工作机会。
这是贫富分化被进一步撕裂的最具体的写照：如果你在Silicon Valley的这个版本的未来里，不幸处于“没有”的那一边，你的工作变成了数据标注，你被当作机器来使用；你在和数据中心争淡水资源；你的空气被污染；你的电费上涨。他们说这一切都是为了“造福全人类”——而这正是那个“全人类”所经历的代价。
第二十五章：一个14岁少年和聊天机器人——个体悲剧与系统问题
Karen：还有一个案例我想提到，这是在我出书之后认识的人。Megan Garcia是Sewell Setzer III的母亲，他是一个14岁的男孩，在被一个角色扮演聊天机器人性骚扰之后死于自杀。
Megan当然经历了毁灭性的打击。但她决定做些什么。她起诉了这家公司，那场诉讼引发了更多有过类似经历的父母和家庭提起诉讼，由此引发了一场关于这些公司在“剥削和榨取”时究竟对普通人的生活造成了什么代价的广泛公共讨论——包括对孩子的代价。
这就是我所说的“帝国”的另一个面孔：它不只是在经济层面剥削，它也在侵蚀人的情感生活、关系生活，甚至夺走孩子的生命。
Steven：那我们现在应该做什么？这听起来有点绝望。
Karen：我喜欢用一个比喻来思考这个问题：AI就像“交通运输”这个词——它可以指从自行车到火箭的一切。我们在谈论交通运输的时候，从来不会说所有人的所有出行需求都应该用火箭来解决——那是对资源的严重滥用，根本不合理。
但我们现在在AI领域做的事，就是所有人都在建造火箭，没有人在建造自行车。
那些“AI自行车”是什么样的？DeepMind的AlphaFold是最好的例子——这个系统根据氨基酸序列预测蛋白质折叠结构，对加速药物研发意义重大，在2024年获得了诺贝尔化学奖。它使用的是小而精确的专用数据集——你只需要氨基酸序列和蛋白质折叠数据。它所需的计算资源比那些通用大语言模型少得多，碳排放也少得多，但却带来了巨大的人类福祉。
为什么我们不多建造一些这样的AI自行车？因为它不能用来筹集万亿美元的资本。
Steven：但感觉马已经出了马厩——他们已经拿走了人们的IP，已经在我这个播客上进行了训练（YouTube现在甚至有一个按钮让你选择“允许我们在你的频道上训练”），这一切还能收回来吗？
Karen：关键在于：如果马真的已经出了马厩，他们就不需要再训练任何新数据了。但他们对数据的胃口实际上一直在扩大，而不是缩小。为什么？因为为了建造下一代技术，为了让这些模型保持和社会知识增长同步的更新，他们需要不断地一遍遍再训练。这也是为什么他们雇用的数据标注工人越来越多，而不是越来越少——我已经报道数据标注行业七年了，它从来没有缩小，一直在增长。
这意味着：这些公司依然需要你们，依然需要你的数据，依然需要这些设施，依然需要大规模采用。这就是杠杆。
Steven：如果我的观众认同你说的，他们担心孩子的未来，他们不想让所有人都变成数据标注员——他们能做什么？
Karen：首先我要说，当我写这本书的时候，唯一的主流叙事是“这是切片面包以来最伟大的发明”。但现在，80%的美国人认为AI行业需要被监管——这在今天的美国几乎是不可能达到的跨党派共识。而且全美乃至全世界，反对数据中心的抗议活动已经此起彼伏，实际上已经在让一些数据中心项目叫停或被禁止进入特定社区。
所以改变是可能的，而且已经在发生了。
Steven：我的评论区就是明证。我做了这么多AI话题的对话，几乎没有评论说“让他们继续干”，大家都在说“应该管一管了”。
Karen：好，那么具体而言，这是你们每个人能做的事：
第一，你是数据供给者。你可以选择不向他们提供数据。艺术家和作家们正在做的——起诉这些公司，争取建立数据保护机制——就是这个方向。
第二，你的社区周围可能正有数据中心在建。你可以加入反对它的行动，就像孟菲斯那个社区正在做的那样。
第三，在你的公司或学校，正在讨论AI应用政策。参与这些讨论，推动它们更加严格、更加有利于普通人。
我和一些OpenAI的员工谈过，他们告诉我，公司内部非常清楚：他们的营收目标极其庞大，他们需要一切进展顺利——需要每一个人都采用，需要每一个地方都采用，需要每一个数据中心项目都顺利推进。
所以：如果你不认可他们的做法，就不要让它顺利进行。
但我要强调：我的立场不是“这项技术没有价值”。我的立场是，这项技术完全可以以一种不同的方式开发——一种能同样带来这些能力，但不会造成这些代价的方式。我们的任务是打破帝国，建造替代品。
Steven：这对我来说是一种非常真实的认知拉扯。作为一个创业者、CEO、投资人和热爱技术的人，我觉得AI简直令人难以置信——它让我能做和创造的事情，太惊人了。我每天早上让我的车自动驾驶，我觉得太棒了。用AI工具处理邮件，也省了我很多时间。
Karen：因为它就是被设计来服务像你这样的人的。
Steven：是的，对。而且我的大部分观众——尽管有人经营公司，有人希望经营公司，但大多数不是业主，他们会使用ChatGPT或各种AI工具，并且觉得它在他们的生活里增加了价值。
问题是：这两件事——“AI对我和很多用户来说确实很好用”，以及“它正在造成深层的社会代价”——能不能同时为真？
Karen：它们当然可以同时为真。而且这种张力并不是必须一直存在的。因为我们完全可以在保留这些技术的实用价值和益处的同时，以一种不同的方式来开发和设计它，使它不带来这些“非预期后果”。
我觉得这场对话非常重要，因为这种关于AI的大规模社会讨论，在政府层面是缺席的，但在地方政府和州政府层面，在每一个城市，在这次书巡售中我去过的每一个地方，这场对话都在进行。我没有去过任何一个城市，是场地没坐满的；也没有任何一个房间里的人，不是在和其他所有地方的人问着完全一样的问题。
包括在这里，奥斯汀，SXSW。
Steven：在这个播客里，我有一个固定的结尾问题：你给一个被告知生命只剩六个月的朋友的建议，会和你给自己的不同吗？
Karen：我会告诉他们：好好生活，善待自己，放轻松。
而给自己的……（笑）我可没有放轻松。
Steven：我认为你不放轻松是件好事，因为你正在引领一场极其重要的对话。我们需要这样的对话，需要这种长篇、认真、不绕弯子的深度访谈。我坐在这里做了那么多AI方面的对话，但今天我学到了很多新东西。你的书，从你的报道和大量客观视角出发，把我们在推特上看到的那些碎片化、不知真假的信息拼凑成了一幅完整的图景——因为你去采访了那些人，做了调查，而且你显然把全人类的利益作为你的北极星。请继续战斗，因为这是一场极其重要的战斗，而像你这样的人，正在凝聚整个世界采取我们开始看到的集体行动。
Karen：谢谢你，Steven。
Steven：Karen Hao的新书《帝国AI：山姆·奥特曼的OpenAI内部梦魇》（*Empire of AI:Dreams and Nightmares in Sam Altman's OpenAI*），现已成为《纽约时报》畅销书，原因不言而喻。我会把链接放在下面，强烈推荐大家阅读。Karen，谢谢你来。
Karen：谢谢你，Steven。
