Max Hodak：“强人工智能” 可能会很快到来，还需要 “神经工程”？

最近一段时间的一个感受是，在人工智能时代，无论是科技世界最近对于 “训练” AI / AGI 本身的斗争，还是人们自己的焦虑和困惑，我意识到最重要的一课是学会 “学习” （ learning ) 本身，这对于人想成为理想的自己甚至尼采所说的 “超人”，还是机器想找到方法超越人类能力的前沿变成 AGI，  都是一样。

上一个经济周期低垂的果实已经被摘完了，今天的创新往往意味着发明过去不存在和难以想象的东西。为了能理解今天科技的前沿在研究的问题，过去的一年我也在尽量压缩时间广泛地学习人工智能/机器学习，合成生物学/生物工程，蛋白质设计/生物计算，神经科学 / 神经工程还有物理学原理等等领域 （ 很惭愧我的数学和编程能力差的还很远 ），我觉得不可能找到一套权威有效的课本，一个 “捷径” 就是首先自我深度学习，再去找到 （ reach out ) 这些不同领域最有学识以及富有现实世界/行业经验的人进行对话，同时阅读最好的书籍和这些顶尖个人的内容 （ 学术文章以及博客和播客等），当你有广泛和深入的理解以后，你也会开始找到 “涌现”出来的独特见解。其实获得知识的捷径就是这样看起来最远，最难走的路。同时还需要在现实世界和商业趋势里实践这些知识，才能变成我们自己的能力和智慧。

所以我在今后的一些文章里，会继续分享一些我认为最出色的研究者，投资者和企业家的内容，重要的是理解他们是如何思考的，而不是当作结论。每个人都有偏差和偏见，我们都需要动态地矫正。

今天分享这篇英文文章来自于 Max Hodak 的博客。Max Hodak 是 “脑机接口 + 生物工程医疗” 公司 Science 的创始人，他还有一个知名的身份是埃隆·马斯克（ Elon Musk) 的脑机接口公司 Neuralink 的联合创始人 （ 但是被马斯克炒掉了）。

他对自己的个人介绍也很有意思：

“ 我是一个居住在旧金山的通用智能。我的专业是生物医学工程；我的主要研究兴趣是脑机接口。我相信我们这一代人的一个重要目标是理解意识的物理学机制，并直接学会工程化体验本身。”

这篇文章写于2020年7月，当时 ChatGPT 引发的 AI 夏天还没有开始，原文标题叫做 “Artificial intelligence will be here soon” （ 人工智能会很快到来），在这篇文章里 Max Hodak 主要谈到他如何看待 AGI ( artificial general intelligence) 的潜在风险以及可能实现 AGI 的路径。

因为 AGI 是一个宽泛且相对的概念，取决于不同的人如何定义它。我在这里把 AGI 翻译成 “强人工智能”，也就是比现在的 “狭义” 和 “稍弱”的人工智能能力超群的 AI 系统。

Max Hodak 并不是一个机器学习/人工智能专家，但是我认为这篇文章里他对 AGI 的思考方式有助于我们理解一些重要的概念和背景信息。

希望这篇文章对你有启发。

另外，如果你在从事这些领域的前沿研究，也欢迎找到我交流。如果你也有热情和时间帮助我创造一些这些领域重要的内容，让更多人了解科技的前沿在发生什么以及科技的背后应该关注的人文与商业问题，也欢迎找到我，我的微信是：2871981198

强人工智能会很快到来

Artificial intelligence will be here soon

作者：Max Hodak

编辑：范阳

写作时间：2020年7月

在过去的几年里，我从一个对 “强人工智能” 持怀疑态度的人（ AGI skeptic ）变成了一个非常担忧它的到来的人，我担心强人工智能会很快出现，而且会以多么惊人的速度重塑世界。

与气候变化问题一样，这是一个具有挑战性的问题，部分原因是人们普遍不愿意承认它是一个切实存在的问题（ a tangible issue ），而当它确实存在的时候，我们又不清楚能够或应该做些什么。

我想先描述一下导致我 “改变信仰” 的思考过程（ the thought process that led to my “conversion” ），然后再谈谈为什么我认为神经工程（ neural engineering ) 是我们解决这个问题的唯一选择。

大约 20 万年前，人类还是一种生活在非洲大草原上的未分化灵长类动物。当时，地球上的动物种类繁多，在各种生态系统中繁衍生息。如今，人类绝对主宰着这个星球，我们把最近的亲属之一，黑猩猩，关在玻璃盒子里供我们娱乐，而它们的自然种群自 1900 年以来下降了约 80 ％，现在局限于一小片受保护的领土。我们已经消灭或者以其他方式导致灭绝了从智人到黑猩猩之间的所有物种，更不用说由于人类科技进步而导致的生物多样性急剧下降。

这并不是因为人类更强壮、更快速或更节能，而是因为我们更聪明。重要的是要明白：这是真实发生过的事情。这是地球自然历史的一部分。众所周知，智能的提高对周围的生命绝对是毁灭性的（ increases in intelligence being absolutely devastating for the life around it ），这是有先例可循的。我越是了解这一点，就越是把意识 ( consciousness ) 和智能（ intelligence ）视为不同的现象。两者在宇宙中都很罕见，但一个珍贵而脆弱，另一个则是宇宙的巨大危险之一。

范阳注：Max Hodak 这一段谈及他对意识和智能的区别，意识是珍贵且值得保护的，而一个物种获得智能优势就会对其他生命造成 “危害”，这个视角以前我没有想到过，我先 on hold 这个观点。最近我在听 “ 发育智能+合成生物学” 教授 Michael Levin 的学术视频的时候才理解“意识”是少数一些动物包括人类具有的能力和现象（ 意识确实在宇宙中更珍贵，并且我们还不了解和无法定义它 ），而很多生物和非生物都可以具备智能，只要它们能完成 “生存” 等相关的任务。

由于种种原因，我从未发现博斯特罗姆式的论点（ Bostrom-style arguments ）具有说服力，但我们并不需要借助这些论点来理解 AGI 的危险。我们只需要看看历史。

在这个动机下，我的问题转向了在 2012 年之后，深度学习是否是通往强人工智能的可能路径（ a likely path to AGI ）。人工智能研究有着悠久的历史，基本上你能想到的每个想法都已经尝试过。多年来，焦点一直放在符号人工智能（ Symbolic AI ）上，或者甚至是“亚符号” ( sub-Symbolic )、“具身”智能（ “embodied” intelligence ），或者人类想象出的每一种可能的统计学习方法。

同时，大自然为我们提供了一个可以研究的模型系统，那就是我们人类的大脑，这是我们在我们的物理学中支持通用智能（ general intelligence ）的存在证明。

因此，令人怀疑的是，解锁了在计算机视觉、机器翻译和实时战略游戏等各种任务中取得巨大进展的突破是深度神经网络。要明确的是，深度学习使用的人工神经网络（ artificial neural networks ）和我们大脑使用的生物神经网络 ( biological neural networks ) 之间存在显著差异，但这些概念确实是相似的。我们从未发现第二种完全不相关的方法来产生有趣的智能行为。我们所拥有的，以各种形式存在的，基本上都是神经网络（ neural networks ）。

如果我们知道通过可配置的非线性序列流动的信息 ( information flowing through sequences of configurable nonlinearities ) 具有足够的表现力来产生通用智能（ general intelligence ），那么我们也就有了设计这些网络的众所周知的算法：进化（evolution）。从根本上说，我们知道只要有足够的计算能力，遗传搜索 ( genetic search ) 就能设计出至少和人类一样聪明的神经网络。虽然神经网络在实现智能方面显然是自成一类，但我猜想进化论可能并不那么特殊，许多优化方法都能设计出这样的网络。事实上，从零开始开发深度神经网络的进展已经在文献中广为人知，在我看来，最值得一提的就是谷歌的 AutoML-Zero。

与此同时，我们还发现，非常简单的架构扩展到巨大的参数数量时，其自身也会变得非常强大。OpenAI 令人惊叹的 GPT-3 本质上还只是一个扩展到 1750 亿参数的变形器（ Transformer ）。

范阳注：上面这两张图来自于 OpenAI 的人工智能首席科学家 Ilya 在 2018年的推文，呼应上面 Max Hodak 的观点，在 2018 年这很可能是 Ilya 对于 GPT 能力和 AGI 可能性的顿悟时刻。

如果非常大的语言模型（ very large language model ）不仅能够生成可信的文本，而且还能生成有用的文本，那么这和实现 “通用” 智能的差距是什么呢？

我一直在思考这个问题，现在我相信答案是：没有（差距）。就是这样，那就是智能（ that’s intelligence ）。它当然可以更智能 ( be more intelligent )，但我找不到不称 GPT-3 为智能的理由。这感觉像是一个重要的发现。

现在，GPT-3 还不能靠自己的力量统治世界。首先，它的认知能力（ cognitive abilities ）充满了缺陷。对于一小部分输入，它提供了令人惊讶的智能表现，但你必须正确提问才能让它工作。尽管听起来可能很疯狂，但我相信这可能只是需要一个更大的网络的问题（ an issue of larger networks）。有了足够大的 Transformer，我们可能可以构建一个语言模型，它愿意在任何主题上进行连贯的回答。

其次，它缺乏独立自主性（ lacks independent agency ）。它只对代理给出的提示做出反应，没有自己的目标或抱负。但实际上这只是说 GPT-3是一个语言模型。强化学习代理 ( reinforcement learning agents ) 完全能够有自己的目标，并学习有效实现这些目标的策略。在所有棋盘游戏中，包括曾经被认为无解的围棋，强化学习代理都已经是世界上最出色的棋手，而且在 DOTA 和《星际争霸》中也非常强大，甚至可以说是独占鳌头。

与 GPT-3 一样，从直接安全性的角度来看，我并不觉得 OpenAI Five、AlphaStar 或 MuZero 特别令人担忧。学习成功执行任何特定任务的策略的模型在我们看来似乎是和我们互补的工具，而不是竞争对手。它们当然可以成为武器，但它们将由人类挥舞，而不是自己。这本身就有着重要的含义：自从核武器的发展以来，超级大国一直拥有大规模的武装力量，但它们基本上无法使用。在人类手中的 AI 工具可能是实际可用的软件武器。但这与人类被抛在人工智能后面是一种不同的担忧。

范阳注：和在谷歌 AI 研究人工智能安全性的朋友交流获得的一个观点就是，目前最值得关注的 “ AI 安全性” 问题是 AI 是否会被 “坏人” 或者无意被 “好人” 滥用（ misuse )，产生有威胁性和破坏性的后果，这包括了在互联网上，生物和物理性层面，还有社会文化层面。而理论上可能存在的“超级人工智能跳出盒子”，变得不可控，替代人类成为优势物种的担忧，在近期之内不是大多数研究者关心的重点。这一分歧也是 AI 安全性造成辩论的原因。

当我们开始讨论如何在自然选择的条件下优化人工智能时，我开始担心具有独立能力的强人工智能（ AGI with independent agency ）。我的假设是，当你选择（优化）生存而不是人为地选择其他性质（ artificially selecting for some other property ）时，你进入了完全不同的领域，特别是我认为这是你开始看到暴力的地方。

一个纸夹子优化器 ( a paperclip optimizer ) ，缺乏自卫或隐藏的本能，似乎在事情开始失控时关闭可能很容易。我认为我们低估了人类的一些状况：对死亡的恐惧，对自治和地位的渴望，是源于自然选择对我们进化的影响所导致的。

这并没有什么特别之处；这只是一个不同的软件环境（ a different software environment ），而有效地禁止它是不可能的。随着计算能力的提高，适应这样的网络的能力将在未来十年内普遍存在。

当然，这样的智能体一开始并不会有任何特定的 “欲望” 逃离它们的模拟环境（ 最好咱们不要谈论它们的“欲望” 是个啥 ）。但在我们理解它们的训练环境时，准确性很重要：当我们看到图标在屏幕上移动，管理资源并执行操作时，它们看到的是内存地址和系统调用。它们将绝对使用整个环境，而不仅仅是我们有意构建的部分。人类非常不擅长编写无漏洞的软件，而现代计算机又非常复杂。

要检测出互联网上是否存在不受监控的 AGI 并不容易。谷歌和 OpenAI 等组织通过精心监控和设立全职 AI 安全团队，将能够快速检测到行为不端的代理，但所需的计算能力即使不是完全不可能，也很难在全球范围内进行监管。只要发生一次，就再也无法回头。

面对自主的人工智能（ autonomous artificial intelligence ），它是在选择其自身生存为优先级的基础上发展的，人类将立即处于一个岌岌可危的境地。如果我们被视为对其继续生存的威胁，我们很容易想象到它会采取暴力行动。重要的是，不管是单一的人工智能还是众多人工智能的平衡，情况都会是如此。在它们处理其他风险时，我们将是一个很容易从战场上清除的对象。人类不会费心为金黄色葡萄球菌开辟专门的保护区，我们只希望它从我们的生活中消失，这样我们就可以处理其他事情了。

这就引出了神经工程（ neural engineering）。在这个世界里，脑机接口( brain-machine interfaces ) 的目标不是增强人类个体以提升我们的认知能力（ is not augmenting individual humans to upgrade our cognitive abilities ），而是模糊我们与这些智能体之间的界限，使我们不被视为异类。不可避免地，这将同时使我们有选择地模糊我们人类自己之间的界限。

可以想象，只要我们对整个系统的印象足够深刻，人类个体就可以来来去去。重要的是，任何一个危险的个体都不需要选择与我们合作，因为我们需要的只是一个足够强大并将我们视为其存在一部分的个体。与以恶意软件形式传播的 “危险的智能体” （ a dangerous agent ）相比，我们大概能够更快、更好地为我们希望支持的 "危险的智能体" 提供资源，尽管早期检测至关重要。

最后，虽然我相当确信放置在自然选择下的优化会产生危险的智能体，但这并不是说没有其他方法， 甚至可能是通过人工设计！也能达到同样的结果。

我在这篇文章的开头提出了一些我认为旁人听起来完全合理的看法，但现在突然间我像是疯子一样，开始谈论危险的超级人工智能（ dangerous artificial superintelligences ）以及与强人工智能融合的 “脑对脑” 的需要（ the need for brain-to-brain merging with it ）。但我认为逻辑是合理的，如果我们认真对待它，这就是我们的结局，我担心所涉及的时间可能比人们普遍认为的要短。

原文链接：

https://maxhodak.com/nonfiction/2020/07/17/agi-soon.html