霍普菲尔德：我如何为物理学打开AI之门

如果你读到这篇论文的标题，会不会感觉很熟悉：《具有涌现集体计算能力的神经网络和物理系统》，它听起来像是那些出现在AI顶会上，或者在Arxiv上的论文，又被各种AI媒体第一时间传播的大模型论文。

实际上，它是一篇发表于1982年的论文。仅从论文提要上看，它似乎已经具备了生成式AI、大型语言模型、ChatGPT的核心概念要素：深度神经网络、涌现、序列、泛化，大数据，甚至GPU（异步并行计算及易于适应集成电路），所有这些术语，在这篇论文发布42年之后，都已经普及成为大众熟悉的AI常识。

“具有大量简单等效组件（或神经元）的系统，其计算特性可以作为系统的集体特性而涌现，这些特性可以用于生物有机体或计算机的构建。内容寻址记忆的物理含义可以用系统状态在相空间中的适当流动来描述。该系统的模型基于神经生物学的某些方面，但易于适应集成电路。这个模型的集体特性产生了一种内容寻址记忆，它能够从任何足够大的子部分正确地提取出完整的记忆。系统状态随时间演化的算法基于异步并行处理。其他涌现的集体特性包括一定程度的泛化能力、熟悉度识别、分类、纠错和时间序列保持能力。这些集体特性对建模细节或单个设备的故障仅有微弱的敏感性。”——霍普菲尔德

这篇文章的作者，就是如今在普林斯顿执教的霍普菲尔德（John J.Hopfield）。很大程度上因为这篇论文，他发明了霍普菲尔德网络，并且与有着深度学习之父称号的辛顿（Geoffrey E.Hinton），共同获得了今年的诺贝尔物理学奖。

来源：WCC。说明：2005年世界文化理事会（WCC）为霍普菲尔德在物理、化学和生物学上的跨学科贡献及揭示了实验事实背后的概念结构，颁发了阿尔伯特·爱因斯坦世界科学奖。

不少人在问，为什么诺贝尔物理学奖，要颁发给在人工智能领域取得成就的科学家？物理学不存在了吗？要靠AI来刷存在感吗？

其实这个问题应该这样来问：为什么一位物理学家，能在人工智能领域作出奠基性的贡献？霍普菲尔德似乎比辛顿更有资格回答这个问题，因为他在开始探索神经网络与物理系统之间的关联之前，就已经是一位很有成就的固态和凝聚态物理学家、分子生物学家。他在贝尔实验室对半导体的研究经历，也告诉我们可以用集成电路来模拟人类的认知活动，构成了神经网络-物理系统的物质基础。

霍普菲尔德是如何从一位物理学家跨界到神经网络的研究（当时还不叫AI）？作者2014年为《年度评论》撰写的一篇文章，回顾了他从物理学跨界到生物物理学，然后因为一个偶然的机会对神经网络着迷，并且发表了上述著名论文的经历。他在被传统物理学放逐之后，2003年被选为美国物理学会的主席。

原文标题是《固体物理学发生了什么？》，我们节选了后半部分编译。如下。

Biological Physics，还是Biophysics

自从物理学成为科学中的一个独立学科以来，一些物理学家对生物学作出了重要贡献。19世纪的标志性人物如亥姆霍兹和伽伐尼（Helmholz and Galvani）就是典型例子，他们的贡献之所以特别值得注意，是因为这些贡献与当时物理学的前沿密切相关。

在更现代的时期，物理学家Max Delbrück、Seymour Benzer、Francis Crick和Wally Gilbert决心为主流生物学作出贡献。他们确实作出了重大贡献。然而，如果你阅读他们的主要成果，你会发现没有什么特别标志表明这些研究者受过物理学教育。尽管他们的创造力和思维清晰度堪称典范，但同时期许多对分子生物学发展有贡献的生物学或化学背景的同行也是如此。物理学期刊没有发表他们的成果，他们的生物学成就也没有在美国物理学会（APS）会议上展示。简而言之，这些科学家离开了物理学的学术圈，转而加入了生物学群体。这种转变很重要，因为正是群体共识定义了什么问题重要、什么解释框架有效，以及什么事实是无可争议的。

生物物理学现在与凝聚态物理学关联在一起。生物物理学始于一些著名物理学家，他们在对生物学（广义定义）产生兴趣的同时，也保持着与物理学根源和物理学界的紧密联系。当然，在物理系和医学院中，物理学在生物学中的应用由来已久，包括辐射生物学、膜物理学、生物物理学、生物仪器等多个领域。但在1965年之前，没有任何重要的物理系将这些活动作为其学术工作的重要、不可或缺和受人尊重的组成部分。偶尔会容忍一些特立独行者，但即使这些人也通常是在解决生物学家定义的问题。没有任何工业研究实验室或政府实验室像贝尔实验室对待固态物理那样，将物理学和生物学的广泛交叉作为主要技术焦点。

但时代在变化。X射线测定DNA和一些蛋白质结构的成功，增加了人们在原子水平上探索生命过程的兴趣，希望像理解硅晶体、p-n结或激光物理那样理解生物分子的功能特性。电子顺磁共振（EPR）、核磁共振（NMR）和激光/现代光学等实验工具的快速发展，为实验物理学家在生物学领域创造了机会。而固态物理学在识别和理解固体中许多一阶简单和明显问题方面的巨大成功，产生了一批寻找新问题的物理学家。有些人转向固体中更深入的问题；有些人转向其他具有明显物理内容的发展领域（如激光物理）。少数人转向生物物理学，在那里大多数零阶问题还没有被提出，更不用说得到解答了。

在20世纪60年代，当一个物理学家观察生物过程时，这些过程看起来似乎是有目的性的，几乎是奇迹般的。细胞分裂或思维这样的过程怎么可能仅仅是一个没有设计的系统中的简单经典物理定律呢？然而，物理学家对生命过程的神秘和表面奇迹的解释并不会在根本上涉及普朗克常数。生物学的深层奥秘在于“数量变导致质变”。这里至少存在两个时间尺度，一个是进化的时间尺度，另一个是单个生物体生命过程的时间尺度。在这两个时间尺度上，我们看到的现象都与我们在任何物理系统中看到的结果完全不同。当一个物理学家真正理解某件事时，他可以向另一个物理学家解释，使后者觉得这个结果是显而易见的。对于新兴的生物物理学领域来说，这种理解是最终的圣杯。

对生物学难题感兴趣的物理学家必须从适度的生物学目标开始追求这种理解，选择特别适合实验物理学的技术和态度的问题。George Feher离开贝尔实验室，到新成立的加州大学圣地亚哥分校物理系任教，开始了基于EPR的细菌光合作用微观机器研究。通用电气研究实验室的Ivar Giaever利用他对金属薄膜的理解来开发更灵敏的病毒检测方法。Leon Cooper从超导理论转向神经生物学的学习理论，与实验神经生物学家互动。

我提到这三个例子是因为他们都是非常成功的固态物理学家，在20世纪60年代中期就已经在生物系统中找到了他们的新问题，但他们的论文仍然保持在物理学的定量和建模世界中，固态物理学界也能读懂。生物物理学也通过在边缘地带的聚集而发展。在20世纪70年代初，Hans Frauenfelder从使用核物理作为探测局部固态环境的手段转向研究肌红蛋白中的局部场环境。他是生物物理学（他命名的）特别有效的倡导者，认为生物物质如此不寻常，以至于其性质应该为其本身而研究，这种研究不应受生物学相关性问题的束缚。

当然，从长远来看，真正不寻常的性质往往是由于进化重要性而存在的，这就从后门把生物学带了回来。物理学家应该对生物系统提出自己的问题，应该坚持为物理学家而不是为生物学家写作，这部分成为了生物物理学（biological physics）和较老的生物物理学科（biophysics）之间的知识分野。

从凝聚态物理进入生物学

选择问题是决定一个人在科学中能够完成什么的首要因素。一个支持性的环境也有帮助。因此，我最后要谈谈我自己在物理学-生物学界面的知识历程。我在科学问题上通常注意力持续时间较短（注意博学者和业余爱好者之间的细微差别，我经常越界）。因此，当我目前的问题得到解决，或被我归类为难以解决时，我总是在寻找更有趣的问题。1968年，我在凝聚态领域已经找不到适合我特殊才能的问题了。（我曾听到Linus Pauling在一次采访中就这个话题说：“我问自己，‘这是否是一个我可能会有所贡献的问题？’”承认自己的能力、风格和弱点是非常有用的。）我获得了古根海姆奖学金去剑桥大学卡文迪许实验室待了半年，希望找到新的有趣方向，但没找到适合我的。

回到普林斯顿和我在贝尔实验室半导体组的顾问工作后，我遇到了Robert G.Shulman，一位正在对血红蛋白进行高分辨率核磁共振研究的化学家。他描述了四个分散的铁原子在血红蛋白的血红素基团中心的协同氧结合。大量的物理学技术被用来研究这个分子。核磁共振、电子顺磁共振、光谱学、共振拉曼散射、X射线结构研究、穆斯堡尔光谱学——所有固态物理学的巧妙实验技术似乎都与血红蛋白有关。一段时间内，它成为物理学家理解蛋白质如何发挥功能的氢原子。Shulman想要理论方面的伙伴，所以他努力让我对这个问题以及这类研究在将生物学转变为“硬”科学方面的未来产生兴趣。

因此，血红蛋白为我提供了从凝聚态物理学进入生物物质物理学的简单入口。和固态物理学的大部分情况一样，研究重点仍然是结构和低能激发如何产生实验物理性质。科学中唯一特殊的概念是“功能”的概念：即只有一小部分性质对生物学极其重要，进化选择塑造了生物系统使其能够良好运作。“功能”这个词特别具有生物学特色，它出现在生物学和应用科学/工程学中（这些领域是为了造福人类而研究的），但在纯物理学、纯化学、天文学或地质学中并不相关。

我和Shulman的团队合作了几年，试图理解在四个相距较远的血红素基团中观察到的氧气结合平衡的协同作用能。贝尔实验室对这个研究相当支持。我的顾问工作从半导体组转到了生物物理组，只是略带讽刺地说，由于我从一个我是专家的领域转到一个我一无所知的领域，他们那年几乎不能提高我的顾问费。这评论很公平。在用统一框架解释各种实验方面取得了一些成功。[该组另一位在生物学上默默无闻的成员是Seiji Ogawa，他20年后（仍在贝尔实验室时！）因利用他在核磁共振和血红蛋白方面的专业知识发明了大脑功能性磁共振成像而成名。]

贝尔实验室的团队随后将研究重点从血红蛋白转向了tRNA（转运RNA），他们可以从核磁共振中确定二级结构的某些方面。由于缺乏将这些实验与功能问题联系起来的方法，我有些失去了兴趣。然而，我确实参加了许多外部演讲者的研讨会，他们在不太了解tRNA结构的情况下描述其生物学功能。45年后仍然印象深刻的是Herbert Weissbach关于蛋白质合成的演讲。这个两小时的讲座充满了太多物理学家无法记住的细节，包括一部古怪的电影，学生们扮演氨基酸、RNA、蛋白质等角色，最后以氨基酸学生形成链条而磷酸盐和tRNA学生消失在虚无中结束，这是我加入贝尔生物物理组的代价。我得到的唯一总体印象是，蛋白质合成过程中似乎存在高能分子的巨大浪费，这很典型地是物理学家的观点，而演讲者并未提及这点，他专注于描述组装蛋白质的线性生化途径。

分子生物学生涯

同时，我开始教授我的第一门生物物理课程。我在血红蛋白上花了太多时间。不幸的是，血红蛋白不是生物学问题的好入门，因为它最明显的物理问题是平衡问题。而生物学的本质是远离平衡的驱动系统的动力学。在学期进行到第四周时，一天晚上我下定决心要开发一个处理任何生物动力学问题的理论方法。唯一的前提是只需要基础量子力学和基本固态物理知识的水平和方式来处理。我很快意识到，从物理学的角度来看，生物学中最简单的化学反应是几乎没有核运动和化学键重排的电子转移。光合作用的早期阶段和氧化磷酸化中的一些重要过程就属于这种性质。

所以那天晚上我确定了下周的主题，并粗略解决了电子转移速率问题。这很容易做到，因为这个问题与我十年前在半导体中研究的被俘获电子-空穴复合问题非常相似。然后，发现这个简单问题在文献中没有得到适当处理，我把这个课堂练习整理成文章发表在PNAS上。（在那里我以高度简化的形式描述了理论，去掉了大部分物理学的复杂性，希望生物化学家能够阅读。）简而言之，这个问题的确定仅仅源于我的教学需求。幸运的是，它最终引起了其他人的兴趣，为许多理论和实验研究提供了起点。

然后我需要为我的课程准备第二个生物动力学问题。我在研讨会上听到了足够多关于蛋白质合成及其相关化学问题的内容，于是我转向了准确制造蛋白质的动力学问题。围绕蛋白质合成的大多数生物化学都基于锁和钥匙的描述，认为错误反应是不可能的，因为“错误的氨基酸不适配”。实际上，理解生物化学通常被视为绘制“发生什么”的问题。而“通常不发生什么”却很少被考虑。从物理学的角度来看，大多数化学反应在室温下都是可能的。相似但不同的反应只会有不同的能量，因此有不同的玻尔兹曼因子（是一个物理学概念，尤其在统计力学和热力学中被广泛使用。它描述了一个系统中具有能量E的某个状态在给定温度T下出现的概率大小。Boltzmann因子表达了状态能量与温度之间的关系，是决定不同状态分布的重要参数。）

区分实际上是基于能量差异。“A发生而B不发生”应该被替换为“A以~exp(-EA/κT)的速率发生，B以~exp(-EB/κT)的速率发生。”错误率与正确率的比值必须是exp[-(EA-EB)/κT]，其中EA-EB是区分能。我设法准备了几节课，说明为了准确的生物合成，化学反应网络不应该被推动得太快。在准备讲课的过程中，我用固态物理的方法估算了两个非常相似的氨基酸（缬氨酸和异亮氨酸，仅相差一个甲基）之间的区分能。我计算出异亮氨酸结合位点对缬氨酸的区分能力为1/50。不幸的是，生物蛋白质合成中的实验数据（来自物理学家R.Loftfield的工作）约为1/3000。这说明我把估算技术从一个领域带到另一个领域的能力还不够！

这个问题一直困扰着我。一个月后，我意识到解决这个悖论的方法是：Loftfield和我都是对的，生物学一定找到了在分子水平上校对的方法，从而将1/50的内在基本准确度提升到了(1/50)²。我很快找到了两种思考校对的方式，两种方式都需要耗散自由能。我突然想起了Weissbach的研讨会及其暗示的蛋白质合成中的能量大量使用。使用能量源驱动动力学的直接解决方案留给读者，这在分子生物学和免疫学中已经得到了实验证实。

这两个问题和论文都发表在1974年的PNAS上，奠定了我短暂的分子生物学生涯，也是加州理工学院化学和生物学部门向我提供教授职位的基础。它们对普林斯顿物理系有什么影响？我从未在物理学讨论会或固态物理研讨会上讲过这两项工作。普遍的态度是我可能在做一些有趣的事情，但对普林斯顿物理系来说涉及太多细节。1979年，当我去见物理系主任Val Fitch，告诉他加州理工学院的offer时，没有得到任何挽留。Val说对我们双方来说，我离开普林斯顿是最好的。可悲的是，他是对的，我离开了这个我热爱但不支持我的群体的安全港。

偶入神经系统

我进入神经系统层面的生物信息处理领域完全是偶然的。1977年冬天，我在哥本哈根的玻尔研究所/北欧理论物理研究所工作，这是他们零星但持续的生物学拓展计划的一部分。我安排了许多扩展性的交叉学科研讨会，但没有为自己找到新问题。回到普林斯顿后不久，Francis O.Schmidt找上了我。他经营着一个叫做神经科学研究项目（NRP）的机构，主要举办小型会议，由该项目的20名固定成员和20名根据特定主题选择的外部人员参加。Schmidt邀请我在下次会议上发言。我告诉他我对神经科学一无所知。他说没关系，“只要讲你感兴趣的”，所以我谈了生物分子准确性。听众——神经病学家、神经内分泌学家、心理学家、免疫学家、电生理学家、神经解剖学家、生物化学家——几乎听不懂我说的话。这没关系。这是个设计好的局。Frank想要在小组中加入一位物理学家，希望能找到一个会与这个学科互动并可能帮助它成为更完整科学的人。他从相对论学家John A.Wheeler那里得到了我的名字，Wheeler（由于我一直不明白的原因）一直是我坚定的支持者之一。

我被深深吸引住了。心智如何从大脑中产生，对我来说是人性提出的最深刻的问题。这个由不同才能和极大热情组成的NRP俱乐部正在探索这个问题。但这群科学家永远不可能解决这个问题，因为解决方案只能用适当的数学语言和结构来表达。NRP中没有人在这个领域游刃有余。所以我加入了这个团队。我的神经生物学基础教育是通过参加每半年一次的NRP会议，坐在他们各自领域的世界级专家旁边，他们会耐心地向我解释正在发生的事情。

1979年秋天，我开始研究简单网络中二元神经元的计算动力学。不幸的是，无论是普林斯顿物理系还是贝尔实验室生物物理部都没有适合模拟各种简单想法的计算环境（这些想法的后果难以用数学探索），所以我进展不大。我确实在NRP做了一个关于使用吸引子（微积分与系统科学的概念，一个系统在时间演化过程中趋向稳定的状态或行为，吸引子就是这个系统的最终稳态，在神经网络或计算模型中，吸引子可以代表系统的某种稳定的活动模式，例如神经元的某种激活模式）进行计算的报告。大多数人都忽视了它，尽管一个年轻的革新者后来告诉我这是一个精彩的报告，但可惜与神经生物学无关。当我现在前往神经科学学会领取2012年Swartz奖（计算神经生物学奖，这个学科30年前还不存在）时，我感谢这些经历，它们减弱了我对某些批评的敏感度。

开启物理进入神经科学之门

最终，我对自旋玻璃理论的了解（感谢与P.W.Anderson终身的交流）、加州理工学院的化学计算设施，以及一点神经生物学知识，促成了我第一篇使用“神经元”一词的论文（指1982年发表的《具有涌现集体计算能力的神经网络和物理系统》）。这为许多物理学家打开了进入神经科学研究的大门，也是我写过的被引用最多的论文。就连AT&T也很满意，因为这篇论文不仅为他们的专利池贡献了一个被频繁引用的专利，还加强了实验室神经生物物理学和凝聚态物理学之间的联系。

1997年，我回到了普林斯顿——在分子生物学系，该系当时有兴趣扩展到神经生物学领域。虽然该系没有人认为我是物理学家以外的什么人，但他们勉强意识到生物学可以使用物理学的态度和观点的注入。那时我已经偏离传统物理学太远，无法被任何物理系聘用。所以当2003年美国物理学会（APS）邀请我作为副主席候选人时，我非常惊讶。而且，我很高兴被选中并最终担任APS主席。我一直觉得我所做的研究完全符合物理学的精神和范式，即使被大学物理系排斥。我认为我的当选主要是会员的一个象征性行为，表明“这也是物理学”——或者说“这也是固态物理学”。

物理学多次不得不作出选择：是努力保持一个新的组成部分（就像是一个十几岁的孩子）在圈子里，还是将其作为一个独立的学科送入荒野。我很欣慰现在许多——也许是大多数——物理学家都将复杂系统物理学，特别是生物物理学视为家庭成员。物理学是一种看待世界的观点。

记忆以景观的方式存储

（来源：nobelprize.org）

这张图片解释了John Hopfield的联想记忆模型，以类似于塑造景观的方式存储信息。当网络接受训练时，它为每个保存的模式在虚拟能量景观中创建一个山谷。

1. 当训练好的网络被输入一个扭曲或不完整的模式时，可以比作在这个景观中滚落一个球。

2. 球会滚动直到到达一个被高地包围的位置。同样地，网络会朝着较低能量的方向发展，并找到最接近的已保存模式。

右侧显示了两个点阵图:

-上方标记为“输入模式”，显示了一个不完整或扭曲的模式。

-下方标记为“保存模式”，显示了完整的模式。

这个模型说明了神经网络如何处理并恢复不完整或扭曲的信息。它将记忆存储比喻为一个能量景观，其中完整的记忆位于能量低谷。当输入不完整信息时，系统会自动“滚落”到最接近的完整记忆状态，从而实现联想记忆和模式识别。

完整原文来源：

https://www.annualreviews.org/content/journals/10.1146/annurev-conmatphys-031113-133924