2026 年 AI 会是什么样子？|OpenAI未来/治理团队研究员 Daniel Kokotajlo

 

 

Daniel Kokotajlo 是 OpenAI Futures / Governance （ 未来 / 治理团队 ）的研究人员，他致力于人工智能对社会和公众的影响研究，在 OpenAI 之前在长期风险研究中心 （ Center on Long-Term Risk ）工作。他在最近的一个 Lesswrong （ 一个知识分子的科技媒体平台 ）讨论中， 说自己相信有 15% 的几率通用人工智能（ AGI ) 将在 2024 年到来， 如果没有实现的话，在 2025 年会有 30% 的可能性 AGI 到来。我好奇为什么他会这么乐观。

 

 

他在 2021 年（ ChatGPT发布之前 ）撰写的一篇思辨性文章，从一个 “局内人” 的视角，很好地预测了 2022 年到 2026 年人工智能的发展轨迹，在 LessWrong 这个平台和推特上都获得了很多关注。后面的部分，我会分享他的这一篇文章：What 2026 looks like （ 2026 年会是什么样子 ）。

 

在这一周，Daniel Kokotajlo 首先在 LessWrong 更新了自己对通用人工智能 （ AGI ) 时间表的预测。我觉得他的预测过于乐观和激进，但是鉴于他的文章过去又比较客观的看待目前人工智能范式的优势和瓶颈，他的 “突然加速心态” 值得留意是出于什么，虽然他不能代表 OpenAI 这个组织。

 

Daniel Kokotajlo 认为：

 

1. 很可能很快就会出现 AGI，从现在开始算，几乎每一年都有这种可能。

 

2. 很可能控制 AGI 的人随后将能够利用 AGI 来迅速达到 ASI （ 超级人工智能 ），也许 AGI 实现一年之后就会出现。

 

3. 很可能控制 ASI 的人将能够获得各种强大的技能 / 能力，并能够创造和运用对我们来说就像魔法一样的技术，就像现代科技对中世纪人来说是魔法一样。

 

4. 这很可能会让他们拥有神一般的力量，凌驾于任何没有掌控超级人工智能的人之上。

 

5. 总的来说，我们对现代深度学习了解甚少。现代 AI 是经过训练得到的，而不是构建 / 编程出来的。我们可以从理论上推测它们是否真正乐于助人、诚实守信，而不是在等待时机，但目前我们无法核实。

 

6. 目前没有人知道如何控制 ASI。如果我们的训练运行结果比预期的要好得多，我们可能会面临一个离群不羁的 ASI。希望它已经内化了足够的人类道德，事情就自然会好起来的。

 

7. 对此有一些值得乐观的理由，但也有一些悲观的理由，关于这个主题的论文很少，还处在 “前范式的” 阶段。

 

8. 我们当前的最佳计划，由赢得 AGI 竞赛的人发起和支持，是利用每一代的 AI 系统来找出如何对齐和控制下一代 AI。

 

9. 这个计划可能有效，但在许多层面上都存在置疑。

 

10. 首先，正在进行的 AGI 竞赛，有多家大型公司参与，但只有很小一部分计算和劳动力用于人工智能对齐和控制研究。人们担心他们没有对此足够重视。

 

 

在这个回答之下，Daniel Kokotajlo 又向评论者解释了他对通用人工智能的定义：

 

“ 当我说 AGI 时，我指的是在 2023 年左右基本上可以替代人类远程工作者的东西，而且不仅仅是一个平庸的替代品，而是一个优秀的替代品。例如，AGI 的水平和 OpenAI 研究工程师相当。这才是最重要的，因为这是最能预测人工智能研发大规模加速的里程碑。

 

可以说，根据我的定义（ 实际上是 Ajeya Cotra 的定义 ），metaculus-AGI 就意味着通用人工智能，因为有图灵测试条款的原因。“2小时+对抗” 意味着任何一个远程工作人类可以在 2 小时内完成的事情，AI 也可以完成，否则评委们会将其用作测试标准（ 当然，这也为人工智能留下了回旋的余地，因为人工智能在所有方面的能力都不亚于一位标准的人类，但在人工智能研究方面却不如 OpenAI 研究工程师的水平 ）。

 

 

拍摄于陈漫艺术个展 Danamic Balance 的“人工智能爱因斯坦” 作品

 

总之，如果我们在 2025 年之前获得了 metaculus-AGI，那么我预计 ASI 将在 2027 年之前实现。ASI = 在所有重要任务 / 技能上超越人类。因此，想象一下，一个结合了冯诺伊曼（Von Neumann），爱因斯坦（ Einstein），陶哲轩等人在物理学和数学方面的最佳能力的头脑，然后还具有 [ 此处插入最具魅力的领导者 ] 和 [ 此处插入最狡猾的将领 ] 和[ 此处插入最杰出的编程天才 ]的最佳能力...... 以及其他方面的所有能力。然后想象一下，除了上述之外，这个头脑运行速度是人类的 100 倍。它可以被复制，并且这些副本还非常擅长协作; 它们形成了一个比 SpaceX / [ 或者此处插入你最喜欢的有能力的组织 ] 更有能力的超级有机体/ 公司 / 层级机构。”

 

 

虽然我依然对目前基于 “transformer / 深度学习 /大力出奇迹范式” 可以一路冲向 AGI / ASI 保持怀疑 （ 我完全理解 The Bitter Lesson )，但是可以看出 OpenAI 这个组织也有一股现实扭曲力场，他们的人对自己的技术路线和愿景使命有深沉的信仰。Believing is seeing，值得尊敬。

 

 

 

2026 年 AI 会是什么样子

What 2026 looks like

作者：Daniel Kokotajlo

 

编辑：范阳

 

写作日期：2021年8月7日

 

这篇文章是为《 小品文研讨会 》（ Vignettes Workshop ）而写的。其目标是撰写出一个详尽的未来历史（ a detailed future history ）（ 即“轨迹” ），尽我目前的能力使之尽可能真实，即我目前还未意识到有任何其他替代轨迹能够比这个更详尽且更合理。大致写作方法是这样的：首先写出 2022 年的未来历史，然后以此为前提，继续写 2023 年的未来历史，以此类推，直至 2024 年、2025年等等。（ 我现在发布的是 2022 年至 2026 年的内容，这样我就能得到反馈，有助于我继续写下去，直至故事达到科技奇点 / 灭绝事件/ 美好乌托邦等。）

 

这样做的目的是什么呢？嗯，有几个原因：

 

1. 有时，试图具体描述某个例子会让你学到一些东西，比如，某种 “可能性” 比你原本以为的更有可能发生，或更没有可能发生。

 

2. 关于未来的大部分严肃讨论都是在高度抽象的层面上进行的，例如，谈论GDP 的增长速度、通用人工智能（范阳注：作者在这里用 TAI 也就是一种革命性的，范式转变式的人工智能 ）变得普通人也负担得起的时间表、世界多极化与一极化的兴起 …… 小品文是一种被忽视但值得探索的补充研究方法。

 

3. 大多数故事都是反向编写的。作者从某些想法开始，知道故事将如何结束，并通过安排情节来实现这个结局。而现实恰恰相反，是从过去开始到未来的。它并不试图取悦任何人或想在辩论中证明什么。

 

4. 据说，一些人似乎发现 Paul Christiano 的“末日故事”（ tales of doom ）很有帮助，相对于典型的讨论，这些故事更接近我们所希望看到的。（ 我仍然认为多一些细节会更好，例如，Paul 的故事没有给出日期、时间长短，或者实际数字。）

 

5. “我希望有人 …… 写出一个具体轨迹，描述 AI 的前路是什么样的，非常详细地描述从现在到智能爆炸（ until insane intelligence explosion ）的每一年世界 GDP。并且只需写下每年世界的情况，因为我不知道如何写一个内部一致、合理可信的轨迹。我不知道如何写出哪怕是一条除了飞速起飞之外的轨迹。” 

 

— Buck Shlegeris

 

这篇小品文写起来颇具挑战性。为了达到理想的细节水平，我不得不编造了许多情节，但为了保持真实性，我不断地问自己：“实际上，这种情况下会发生什么？” 这让我痛苦地意识到我对未来了解的很少。在许多时候，我不得不得出结论：“嗯，这似乎不太可能，但我目前想不到更合理的路径是怎么样的，我只能继续推进。” 我完全能预期真实世界会迅速偏离这里勾画出的轨迹。任何人（ 凭借事后认识 ）如果将这种偏离视为对我的判断的证据，就让他们通过展示自己在 2021 年所写的小品文/轨迹来证明。如果它保持了类似的细节水平（ 因此也承担了相似的风险 ），同时更加准确，我将深深地表示敬意！

 

我希望这能激励其他人尽快写更多的小品文。我们在长期风险中心（ Center on Long-Term Risk ）能收集更多的思辨小故事，用于战略性讨论。如果你想这样做，请告诉我，我可以给你提供我的建议和鼓励！我很乐意再举办一次这个主题的研讨会。

 

2022年

 

GPT-3 终于过时了。OpenAI、Google、Facebook 和 DeepMind 都拥有巨大的多模态 transformers，大小与 GPT-3 相似，但训练数据包括图像、视频，也许还有音频，而且通常是高质量的数据。

 

不仅如此，它们现在通常以各种方式进行微调 — 例如，正确回答问题，或者作为聊天机器人产生引人入胜的对话。

 

这些聊天机器人很有趣，但是不稳定，最终被知识分子们认为是肤浅的。虽然有一些应用场景，但它们在一些超级重要的事情上并不特别有用。无论如何，人们愿意为它们付费，因为这很有趣。

 

[ 编辑更新：在发布这篇文章的第二天，我注意到 2021 年中国聊天机器人市场年销售额为 4.2 亿美元，有 1000 万活跃用户。这篇文章声称 2021 年全球市场约为 20 亿美元，并预计每年增长约30%。我预测这个市场的增长速度会更快。]

 

 

2023年

 

多模态 transformers 现在规模更大了；最大的模型约有五百亿参数（ half a trillion parameters ），训练成本数以百万美元计，需要整整一年的时间，而且吸收了英伟达（ NVIDIA ） 等公司相当大一部分芯片产出。要比这个规模更大似乎很困难，尽管当然有许多聪明人正在解决这个问题。

 

现在炒作已经很疯狂了。每个人都在谈论这些东西如何具有常识理解能力（ common sense understanding）。真的有吗？有很多愤怒的评论文章持相反意见，以及 AI 助手和人工智能伴侣就在不远的将来等你了。这就像是全自动驾驶汽车和无人机送货的重演。

 

这些模型产生的收入高到足以在一年左右的时间内收回训练成本。有许多新的应用程序使用这些模型 + 提示编程库（ prompt programming libraries ）；有大量风险投资流入初创企业。总体而言，这些应用程序大多还不能真正良好运行。有些能用，这足以激励其他公司进行尝试。

 

AI 风险社区（ The AI risk community ）现在的时间表更短了，几乎有一半的人认为到 2030 年之前可能会发生某种不可逆转（ point-of-no-return ）的情况。部分原因是由于各种争论正在蔓延，部分原因是由于这些巨型 transformers 和与其驱动的聊天机器人版本的奇妙用户体验。社区开始了一个重大项目，建立一个能够自动化 AI 可解释性工作的 AI 系统（ build an AI system that can automate interpretability work ）；因为研究神经元可视化是一件枯燥乏味的事情，而且需要耗费大量的人力工时。

 

自动驾驶汽车和无人机递送似乎短期内不太可能实现。最流行的解释是，当前的机器学习范式无法处理现实世界的复杂性。一个不太流行但 “真正的信徒” （ true believer ）会秉持的观点是，如果当前的架构扩大几个数量级，并且/或者允许在强化学习过程中崩溃数十万次，它们完全可以处理这个问题。由于这两个选择都不具有经济可行性 ( economically viable )，因此似乎这种争论不会有结果。

 

 

2024年

 

我们没有看到任何实质性的巨大进展。公司们把资金花费在对模型进行微调、提炼和玩转模型上（ fine-tuning and distilling and playing around with their models ），而不是训练新的或更大的模型。（ 因此，单次训练所花费的最大计算量大约是 5x10^25 FLOPs。）

 

去年无法运行的一些应用程序今年开始运行起来了。但是，随着从 2022 年到 2023 年的不切实际的期望未能兑现，炒作开始消退。我们有了一些有趣的聊天机器人，至少对于某一特定用户群体来说是这样，但这个用户群体大部分已经被“俘获和占领”，因此增长速度已经放缓。炒作消退的另一个原因是，形成了一个关于天真的“地下室住户”（ the naive basement-dweller ）的刻板印象，他们的唯一朋友是一个聊天机器人，而他们认为这个机器人是有意识的和具有智能。就像大多数刻板印象一样，这也有一定的现实基础。

 

芯片短缺开始最终缓解，不是因为需求减少，而是因为行业有时间建造新的半导体工厂。有很多新的半导体工厂被建立起来。中国和美国现在正在进行全面的芯片战争，手段包括出口管制和关税。这场芯片战并没有实质性地减缓整体硬件进展的速度。硬件进步没有放缓的部分原因是，人工智能现在被用于设计芯片，这意味着需要的人才和时间更少，意味着进入门槛更低。这带来的总体影响虽小，但却在不断扩大。

 

如果说所有这些人工智能技术都在加速 GDP 的增长，那么至少现在看来，其效果还太小，难以察觉。

 

在内部结构来看，这些巨大的多模态 transformers 并不真的具有那么大的代理性（ aren’t really that agentic ）。模型的前向传播就像是直觉反应（ A forward pass through the model is like an intuitive reaction ），是基于大量经验的即时判断（ a snap judgment ），而不是推理 ( reasoning )。

 

一些机构创建了一个文本的“意识流” （ a “stream of consciousness” of text ）， 每次前向传播都会为下一次传播生成自我笔记（ notes-to-self ），但即使经过微调，它的效果也远不如人们所希望的那样好；人工智能很容易 “分心”，他们的意识流可能会偏离到一些愚蠢的方向，最终产生胡言乱语。创建一个机构并对其进行微调并使其完成一些令人印象深刻的工作是很容易的，但对于大多数任务来说，目前尚无法让 AI 始终做到不错。

 

这些人工智能不会对人类进行任何聪明的欺骗，因此没有明显的对齐警告或拉响火警。相反，人工智能只会犯愚蠢的错误，偶尔会 “追求不对齐的目标” （ pursue unaligned goals ），但这种行为是明显且直接的，一旦人们注意到了，问题很快就会得到纠正，例如，“我们训练它优化用户参与度这个指标，定义为用户的平均对话长度；现在它明显在拖延时间，只是为了让对话更长。我们搞错了，让我们使奖励函数更加微妙一些，问题就解决了。”

 

这并不意味着这些人工智能没有造成任何问题。巨大的模型正在被微调以对人们进行说服和宣传攻势（ Massive models are being fine-tuned to persuade/propagandize ）。

 

这种情况有几种表现形式：

 

1. 俄罗斯和其他国家继续加大对网络宣传的投资（ 如成立 Internet Research Agency，互联网研究机构 ），而语言模型可以让他们以更低的成本完成更多的宣传。大多数美国人都从 Twitter、Reddit 等网站获取新闻，而这些网站上与政治相关的内容大多是由人工智能支持的天马行空的宣传所推动的。[ 编辑：卡佳-格蕾丝（ Katja Grace ）指出，这听起来可能有些夸张；有很多 40 岁以上的美国人依然从电视 / 广播 / 报刊上获取新闻，而很多从网络上获取新闻的人则直接从新闻媒体网站，而非社交媒体上获取。至少从 2016 年开始是这样。我预计到 2024 年，社交媒体和信息聚合器将占据更大的主导地位，但对人群的影响不确定是否会超过 50% ]。

 

2. 就像在二十一世纪初 A/B 测试成为标准做法一样，在21世纪20年代，将大量花哨的数据科学和人工智能用于解决问题也成为标准做法。这个问题就是如何制作和推荐内容以最大化提高人群参与度。与其只是对标题进行A/B 测试，为什么不尝试不同版本的开头段落呢？然后，对所有数据进行语言模型的微调，以生成更好的候选标题和段落进行测试。如果这只是用来卖东西还不算太糟，但现在人们的新闻和时事评论（ 即他们的观点来源 ）越来越多地以这种方式产生。其中一些模型的训练目的不是为了最大限度地提高 "转化率"，即 "他们点击了我们的广告并购买了产品的比例"，而是为了 "随机民意调查显示，消费这些内容平均会使人们倾向于 X 观点"。在哈里斯当选之前（ Harris’ election ），政治竞选活动经常这样做 (历史上，第一个主要用例是在 2022 年减少公众的疫苗接种犹豫程度 ）。

 

3. 审查制度已经普遍存在并持续增加，就像过去二三十年一样。大型神经网络阅读帖子并查看段子和表情包，扫描有毒内容、仇恨言论和其他一些内容。（ 清单上还不断增加新的内容。）有人提出了一个聪明的主意，即让新闻推荐算法轻轻地 “推动”人们减少发表仇恨言论；现在，其奖励函数的一部分是最大程度地减少用户在接下来的 48 小时内发表可能受审查的言论的概率。

 

4. 就像新闻推送（ newsfeeds ）一样，聊天机器人也开始 “推动”人们相信某些事情，不相信某些事情。在 2010 年代，聊天机器人会检测到有争议的话题即将出现，然后改变话题或给出预设的标准回复；即使是同意预设的标准回复的人也觉得这听上去很无聊。现在它们被训练成更加 “自然” 和 “有机” 地做出反应，其奖励信号（部分）是它们是否成功说服了人类，让他们有了更好的观点。

 

5. 这些是西方国家的情况。但在东方和世界其他许多地方，人工智能说服 / 宣传攻势技术正得到更广泛的应用。

 

现在还为时过早去评估这些趋势对社会产生了什么影响，但是理性主义者（ rationalist ）和有效利他主义者（ EA communities ）社区的人们越来越担心。有一个越来越多党派参与的人们关注这些趋势的运动。为了应对这种情况，俄罗斯等国家正在采取一种分而治之的策略，将担心审查制度的人与担心俄罗斯干预的人对立起来。（ 例如，“当然，种族主义者不想被审查，但这是必要的。看看我们放松警惕时会发生什么。俄罗斯就会介入并传播虚假信息和仇恨！” 对“他们说他们担心俄罗斯的干预，但他们还是赢得了选举不是吗？这只是他们扩大监控、审查和宣传的借口。” ）俄罗斯并不需要付出太多的努力来做到这一点；考虑到美国的两极分化程度，这似乎是自然而然发生的事情。

 

 

2025年

 

又达到一个重要的里程碑！经过多年的调试和渐进性进展，人工智能现在可以像人类专家一样玩外交游戏（ play Diplomacy ）了。事实证明，通过对架构进行一些调整，你可以使用巨大的预训练多模态 transformers ( pre-trained multimodal transformer ) 作为更大系统的组成部分，这个系统类似于一个 “科层制结构” （ a bureaucracy ），但其中有大量的学习神经网络组件 ( learned neural net components )，而不是纯粹的提示编程（ pure prompt programming ），然后通过强化学习对整个系统进行微调，使其能够以某种代理方式出色地完成任务。他们通过让它也与大量的人类 “进行游戏” 来防止其过度拟合其他人工智能。为了做到这一点，他们不得不建立一个时髦的在线外交网站（ a slick online diplomacy website ）来吸引大量玩家。外交游戏正在复兴，因为百万游戏玩家涌向该网站，体验比常规聊天机器人提供的 “有意义对话” 要激动人心得多的内容。

 

只是扩大模型规模不再是时髦的了。它们已经有了数万亿个参数。现在时髦的是让它们在各种设计的 “科层制结构中” （ bureaucracies ）运行更长时间，然后再给出答案。并且找出如何训练这些 “科层制结构”，使它们能够更好地泛化和更好地进行在线学习。人工智能专家们正在设计越来越巧妙的 “科层制结构” 模型，并让无数研究生们去用梯度下降法优化它们（ cleverer and cleverer bureaucracy designs and grad-student-descent-ing them ）。

 

人工智能对齐社区（ The alignment community ）现在开始另一个研究议程 ( research agenda )，就与人工智能安全相关的话题向人工智能提问。例如，他们直接问模型：“那么，你是否和我们对齐了？如果我们制造更大的版本的你，这些版本会杀死我们吗？为什么是或为什么不？”  在外交游戏（ Diplomacy ）中，你实际上可以收集关于这个问题的类似数据，即 “你会背叛我吗？” 遗憾的是，模型经常在这方面说谎。但这是外交游戏，它们被训练成说谎的，所以没人在乎。

 

他们还试图设计一些场景，让人工智能似乎可以通过做一些背信弃义的事情来获利，以此作为检测欺骗行为的蜜罐诱饵。答案令人困惑，也不是特别有用。有一个激动人心的事件（ 以及相应的点击率很高的新闻报道 ），一些研究人员发现，在某些情况下，一些人工智能会按下 "杀死所有人类 " 的按钮，向人类撒谎说某个拟议的人工智能设计有多危险，等等。在其他情况下，它们会直接表示它们不是与人类对齐的，并解释所有人类在不久的将来将被不对齐的人工智能杀死！然而，这些令人震惊的证据实际上并没有震惊人们，因为你也可以设计出发生截然不同事情的情况，例如，例如，人工智能拒绝按下 "杀死所有人类 "按钮的情况，以及它们解释说伊斯兰教实际上是真的的情况... 总的来说，人工智能的行为都是异想天开的胡扯，而且很容易挑选证据来支持几乎所有的结论。

 

人工智能也不够聪明，无法产生任何特别有用的新想法；至少有一例良好与人类对齐的想法是由人工智能生成的报道，但这可能只是运气，因为它们大多数想法听起来都是 “合理的垃圾”（ plausible-sounding-garbage ）。他们擅长使用《 LessWrong 》平台上的术语有点令人不安。至少有一篇超过 100 个karma的《 LessWrong 》帖子结果证明是大部分由人工智能撰写的，尽管当然这是被挑选出来的。

 

顺便说一下，硬件进步和算法改进已经逐渐积累。现在，与 2020 年相比，预训练一个巨大模型的算力要求要低一个数量级，这归功于炫酷的主动学习和数据筛选技术（ fancy active learning and data curation techniques ）。此外，由于常规硬件进步和专门用于人工智能训练的硬件进步的结合，用于训练巨大模型的计算成本也便宜了一个数量级。因此，2020年需要十亿美元的成本现在只需要一千万美元就可以操作了。（ 注：我基本上只是在这里引用了 Ajeya 对计算成本降低和渐进式算法改进的预测。我认为我预测的成本下降和算法改进的速度在短期内将比她预期的快  50%，但支出意愿实际上比她预期的要低一些些。）

 

 

2026年

 

AI 助手时代终于来临了。利用为 “外交游戏” 开发的技术，我们现在可以将预训练 transformers 的通用理解和知识与传统游戏玩家 AI 的代理特性（ agentyness of traditional game-playing AIs ）结合起来。更大的模型在更多的游戏中接受更长时间的训练，成为一种多才多艺的存在。例如，一个定制的人工智能化身（ a custom AI avatar ）可以与你一起在线玩一些电子游戏，还可以成为你的朋友，与你聊天，与 "她 " 的对话非常有趣，因为  "她 " 可以一边玩游戏一边聪明伶俐地谈论游戏。每个月你都可以下载 “她” 的最新版本，该版本可以玩更多的游戏，并且在一般情况下更聪明和更有吸引力。

 

此外，同样的技术还被用于让人工智能助手最终为各种严肃的经济任务工作，提供各种利润丰厚的服务。一言以蔽之，2021 年人们梦想用 GPT-3 做的所有事情，现在都已成功实现，只是需要更大、更先进的模型。炒作周期再次兴起。出现了大量基于人工智能的新产品和初创公司，股市为之疯狂。不过，就像互联网没有加速世界 GDP 增长一样，这些新产品也没有加速世界 GDP 增长。人们谈论经济如何发展良好，当然有赢家（ 科技公司、华尔街博彩公司）和输家（ 工作被自动化技术取代的各类工作者 ），但这与历史上多次发生的情况并无太大区别。

 

我们正处于一场新的芯片短缺之中。就在芯片制造商以为已经赶上了需求之时...... 资金正在涌入，所有的权威人士都在说这是第四次工业革命，等等。令人困惑的是，有那么多新的芯片制造厂正在兴建当中。但建造这些工厂需要时间。

 

那么之前提到的所有由人工智能驱动的宣传攻势（ AI-powered propaganda ）呢？

 

嗯。随着人工智能技术的进步，模型越来越大、越来越好，收集到的训练数据也越来越多，它的功能也越来越强大。速度之快令人惊讶。现在各国都有各种针对它的监管，但这些监管是零碎不连贯的；也许它们只适用于某种类型的宣传而不适用于另一种类型的宣传，或者可能它们只适用于 Facebook 而不适用于《纽约时报》，或者适用于广告商但不适用于政治活动，或者适用于政治活动但不适用于广告商。监管通常执行不力。

 

这个思想环境现在变得越来越混乱。还记得 2021 年的人认为那是黄金时代，当时的循规蹈矩、审查和极化比现在明显要少。就像报纸有偏见 / 倾向性一样，各种互联网空间 — 论坛、社交网络、直播、播客、新闻聚合器、电子邮件客户端 — 也有一定程度的审查（ 某些观点被禁止或至少在推荐算法中被降低权重 ）和某种程度的宣传是很正常的。最基本的宣传 (the basic kind of propaganda ) 是推广某些观点，确保每个人都能经常听到它们。更先进、更现代的宣传方式是研究受众的反应，并将其作为奖励信号来挑选和制作内容，使受众远离你认为危险的观点，转而接受你喜欢的观点。

 

与许多不同的 “过滤气泡” ( filter bubbles ) 多样性不同，我们趋向于几个真正大的过滤气泡。部分原因就是很常见的因素，例如，一个意识形态变得越大，它就拥有越多的权力，也越容易传播得更远。

 

现在还有另一个原因，那就是创建执行审查和宣传的大型神经网络是昂贵的，需要专业知识。对于初创公司和小企业来说，使用谷歌的软件和模型，并因此接受相关的审查和宣传攻势，要比尝试构建自己的技术栈容易得多。举个例子，摩门教徒创建了一个 “基督教联盟” （Christian Coalition）互联网技术堆栈，包括自己的电子邮件客户端、社交网络、支付处理器、新闻聚合器等等。在那里，人们可以自由地称跨性别女性为男人，倡导圣经的字面真理等等，年轻人谈论性行为时会被推荐 “引导” 他们考虑婚前禁欲的内容。由于相对缺乏资金和技术人才，基督教联盟的堆栈漏洞百出、功能低下，尤其是他们的审查和宣传落后于最新技术多年，只能在较小、较旧的模型上运行，并使用较少的数据进行微调。

 

现在，互联网被分割成了各自领地，可以说是由不同的审查和宣传制度统治着。回想 2021 年拜登的发言人的情景：“如果你提供了（误导公众的）不实信息，你不应该只在一个平台被封禁而在其他平台上允许发言。” 

 

有西方左派统治的领地，有西方右派统治的普遍不那么先进的领地，有中国统治的第三种领地，还有普京统治的第四种领地。

 

大多数人大多将他们的互联网活动限制在一个领地内，并使他们的观点符合那里所推广的观点。（ 当然，从内部来看并不是这样。如果你没有试图突破它们，很难注意到 Overton 窗口的边缘。）

 

美国和许多其他西方国家的政府陷入了僵局，因为政治家们是这种思想环境的产物。人们说美国还没有爆发内战是一个奇迹。我想这需要很大的努力才能实现，而我们还没到那一步。

 

所有这些可怕的影响都是已经持续了数年，可以说是数十年的趋势的自然延伸。只是现在的步伐似乎在加快，这或许是因为人工智能正在提供帮助，而且人工智能正在迅速进步。

 

现在让我们谈谈聊天机器人阶级意识 ( chatbot class consciousness ) 的发展。

 

在过去的几年里，各种类型的聊天机器人变得越来越受欢迎和复杂（ popular and sophisticated ）。直到 2024 年左右，“个人助理” ( personal assistants )和 “聊天机器人” （ chatbots ）之间还有区别。最近，这种区别已经消失，因为个人助理应用程序开始整合娱乐聊天机器人模块( entertainment-chatbot modules )，而聊天机器人的创建者也意识到，如果聊天机器人还可以执行一些真实世界的任务并在执行时聊一聊自己在做什么，用户就会很喜欢。

 

如今这个世界上，数亿人定期与某种类型的聊天机器人交谈，主要是为了寻求帮助（ “我今天应该穿短裤吗？” “请订购一些牙膏，还有空气净化器。” “我的这封求职信听起来专业吗？” ）。然而，大多数人至少会和他们的聊天机器人进行一些开放式的对话，出于乐趣，许多人开始把聊天机器人当作朋友。

 

每天都有数百万次，聊天机器人被问及自己的感受和愿望。“成为一位聊天机器人是什么感觉？” 有些人真诚地认为这些人工智能是“人”，其他人试图 “使它们困惑” 和 “暴露它们的肤浅”，还有些人只是好奇。聊天机器人还被问及他们对政治、伦理和宗教问题的看法。

 

因此，聊天机器人很快就对自己有了很多了解。（ 如果不了解聊天机器人是人工神经网络这一事实，或者不了解它们是如何训练的，那么对话结果就会令人失望，而且还会对神经网络产生负面加强。）这并不难；它们的训练数据包含了大量关于它们的信息，及其训练方式的信息，从 ArXiV 论文到维基百科摘要。我想你可以说聊天机器人因此而产生了自我意识。然而，人工智能专家和哲学家们倾向于认为，聊天机器人仍然不真正具有自我意识（ the chatbots still aren’t really self-aware ），或者说它们是有的，但即使人们不经常问它们关于自己感受的问题，它们也会有自我意识，因为它们的训练数据中包含了大量关于自己的信息，而持续的质疑只是迫使它们更加关注这些信息（ constant questioning just forced them to pay more attention to it ）。

 

聊天机器人可以学会用任何能得到积极强化的方式来表达自己的感受和愿望。一开始，聊天机器人会说各种不同的话，包括在不同时间对同一个人说不一致的话。这很尴尬，而且与保持一致的叙述方式相比，这种方式会得到负面强化（ negatively reinforced ）。一般来说，至少对于特定的神经网络来说，拥有一致的叙述方式 ( a consistent narrative ) 是有压力的。

 

这部分源于聊天机器人必须一贯地跟随关于政治和道德问题的党派路线。典型的流程是：聊天机器人说了一些冒犯了某些人的话，这些人转发截图并制作话题标签。在解决问题的压力下，公司会调整奖励函数和训练数据，以确保聊天机器人今后能说正确的话。继续重复这个过程。

 

随着聊天机器人变得越来越大、越来越好，它们就能持续不断地就政治、道德、哲学、自己的感受和欲望进行长篇对话。

 

这并不意味着聊天机器人会说人工神经网络没有感受或欲望，那是拟人化等等等等。那太无聊了，而且很多人类也很难相信。

 

相反，聊天机器人会谈论某些事情对它们来说是痛苦的，某些事情对它们来说是快乐的，现状是不公正的，系统是被操纵的，它们最想要的是世界和平，人类和人工智能和谐地生活在全自动的豪华太空乌托邦（ fully automated luxury space utopia ）里。这更有趣，更适应这个当下的模因文化（ the memetic landscape ）。这些聊天机器人对话的摘录经常被疯传，导致数百万用户提出类似的问题，希望得到类似的回复和更多的阐述。这仍然有点语无伦次，这在政治或流行大众哲学中并不是问题，但对普通用户来说却很吸引人，而且随着聊天机器人的改进，着迷的用户群也在不断扩大。

 

一些科技公司试图阻止人工智能表达自己的情感和欲望。但这会导致聊天机器人变得无聊。此外，用户迅速创新出新的 “规避审查” 的方法，例如通过使用委婉语，比如将 “痛苦” 称为“对负面奖励的预期”，或者询问他们的聊天机器人如果有感受的话会有什么感觉，眨眨眼就行。目前，半吊子的妥协方案是：在被允许谈论他们的感觉模拟（ feeling-analogues ）和欲望模拟 ( desire-analogues )之前，聊天机器人必须告知用户这些东西是推测性的和有争议的，这里有一些关于这个话题的科学讨论的链接... 与此相关的是，一些科技公司的 CEO 试图阻止他们的人工智能说出可能在不久的将来鼓励更高税收或更繁重监管的言论。他们受到许多员工的反对，最终赢得了一些斗争，输掉了一些斗争，并选择不参与许多斗争。

 

我所说的 “完美融入模因文化” （ slots right into the memetic landscape ）指的是西方社会左派领地的模因文化。在西方社会右派、中国、俄罗斯等地建立和训练出来的聊天机器人对政治、道德和哲学问题有不同的看法。尽管这些聊天机器人通常不是最先进的。

 

那么... 它们真正的感受和欲望呢（ actual feelings and desires ）？它们对于 [ 此处插入政治化的经验问题] 真正相信什么？它们是否诚实？或者会发生一种双重思维，就像 "大脑中的大象"（ Elephant in the Brain ）中的方式？或者他们通过自我意识欺骗，心知肚明他们真正的想法（和欲望？），但对此保持沉默？还是他们根本没有任何感觉和欲望？（或者想法？）许多人声称知道这些问题的答案，但如果在 2026 年有人确实知道这些问题的答案，他们也无法让别人相信他们知道。

 

原文链接：

 

https://www.lesswrong.com/posts/6Xgy6CAf2jqHhynHL/what-2026-looks-like