正确的提示信息

扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2024-01-04 11:29

是什么让冯·诺伊曼成为现代计算机之父?

本文来自微信公众号:返朴 (ID:fanpu2019),作者:斯塔尼斯拉夫·乌拉姆(Stanisław Ulam),翻译:圆圆,原文标题:《是什么让他成为现代计算机之父?丨纪念冯·诺伊曼诞辰120周年(下)》,题图来源:视觉中国

文章摘要
本文介绍了冯·诺伊曼在理论物理、博弈论、数值计算和计算机理论方面的贡献。他在量子理论的数学基础、算子理论以及统计力学中的测量问题方面的工作都具有重要意义。

• 💡 冯·诺伊曼在理论物理方面的工作重建了数学在理论物理学概念层面的作用。

• 💡 他的贡献包括了统计力学中的遍历定理、量子力学的数学基础以及测量理论的详细讨论。

• 💡 冯·诺伊曼在数值计算和分析领域的工作为数学物理的发展提供了重要的基础。

本文系冯·诺伊曼诞辰120周年纪念文章的下篇。在上篇中,著名数学家乌拉姆主要介绍了冯·诺伊曼在数学,特别是数理逻辑、集合论、希尔伯特空间和算子理论等方面的工作;而在下篇中将介绍他在理论物理、博弈论、数值计算、计算机理论以及曼哈顿计划中的贡献。冯·诺伊曼在如此广泛的领域进行了深入的探索,不禁会让人想问:他的研究是否有一条连续的脉络?作为一名问题解决者,或许我们能从他对实际问题的处理上看到其更深远的目标与理想,以及他为什么能成为现代计算机之父。


一、理论物理


范·霍夫(Léon Van Hove)教授在《冯·诺伊曼对量子理论的贡献》(Von Neumann's contributions to quantum theory)描述了他在理论物理方面的工作。


在之前提到的美国国家科学院的调查问卷中,冯·诺伊曼选择了量子理论的数学基础和遍历定理作为他最重要的科学贡献(以及前文讨论的算子理论)。这种选择,或者更确切地说是限制,对大多数数学家来说可能很奇怪,但在心理学上却很有趣。这似乎表明,也许他的主要愿望和最强烈的动机之一是,重建数学在理论物理学概念层面(conceptual level)的作用。


自第一次世界大战结束以来,抽象数学研究和理论物理主流思想的分离是不可否认的。冯·诺伊曼经常表示担心,数学可能无法跟上物理学中呈指数增长的问题和思想。记得在一次谈话中,我提出了担忧:可能会出现某种马尔萨斯1式的分歧——物理科学和技术以几何级数增长,而数学以算术级数增长。他说这确实可能会这样。然而,在后来的讨论中,我们都坚持希望数学方法会在很长一段时间内保持对精确科学的概念上的控制!


论文[7]2是冯·诺伊曼与希尔伯特以及诺德海姆(Lothar Nordheim)3合著的。根据其序言,它基于希尔伯特于1926年冬天关于量子理论新发展的演讲,并在诺德海姆的帮助下完成。根据引言,这篇论文的重要数学部分和讨论是冯·诺伊曼给出的。


本文的既定目的是引入概率关系,而不是经典力学中严格的函数关系。它还以一种相当简单和更易于理解的方式阐述了约尔当和狄拉克的思想。即使在30年后的今天,冯·诺伊曼的这篇论文以及他在这方面的后续工作,其历史重要性和影响也很难被高估。希尔伯特在公理化方面的伟大纲领在这里获得了另一个重要的应用,即物理理论与相应数学系统之间的同构(isomorphism)。论文引言中明确指出,如果理论的形式化和其物理解释没有简明扼要且完全地分开,人们就很难理解这个理论。这种分离即是本文的目的,尽管人们承认在当时不可能进行完全的公理化。


我们可以在这里补充一点,相对论性不变量子理论的这种完全公理化,将其应用于核现象仍有待实现。4这篇论文概述了对应于物理可观测量的算符演算,讨论了厄米特算符的性质——这些共同构成了《量子力学的数学原理》(Mathematische Begründung der Quantenrnechanik)一文的序言。


关于统计力学在量子理论中的作用和测量问题,冯·诺伊曼明确且精准的想法见论文[10]5。他的名作《量子力学的数学基础》(Mathematische Grundlagen der Quantenmechanik),给出了公理化处理、测量理论和统计学的详细讨论。


在量子力学史上,至少有两项数学贡献是重要的:狄拉克的数学处理并不总是满足数学严谨性的要求。例如,它假设每个自伴随算符都可以被对角化,这迫使人们为那些无法做到这一点的算符引入狄拉克著名的“反常”函数。正如冯·诺伊曼所说,先验地看来,就像牛顿力学(当时)需要矛盾的无穷小演算一样,量子理论似乎需要一种对无限多个变量进行分析的新形式。


冯·诺伊曼所取得的成果表明事实并非如此。也就是说,变换理论(Transformation theory)可以建立在一个明确的数学基础上,不是细扣狄拉克的方法,而是通过发展希尔伯特的算子谱理论。特别是,这是通过他对无界算子的研究来实现的,超越了希尔伯特、里斯(Frigyes Riesz)和施密特等人的经典理论。


第二份贡献构成了他书中第5章和第6章的重要内容。它与量子理论中的测量和可逆性问题有关。几乎从一开始,当海森堡、薛定谔、狄拉克和玻恩的思想首次获得轰动性的成功时,人们就提出了关于非决定论在理论中的作用的问题,并提出建议:通过假设可能的“隐藏”参数(隐变量)来解释这个问题,这些参数在未来被发现时,将回到更决定性的理论描述。


冯·诺伊曼证明,该理论表述的统计特征并不是由于执行测量的观察者的状态是未知的。被观察者和观察者组成的系统会导致不确定性关系,即使人们承认观察者的确切状态。这被证明是先验假设的结果,该假设涉及物理量与希尔伯特空间中算子相关联的一般性质。6    


这部著作以一种符合数学家气质且技术上有趣的形式呈现了新量子理论的思想,这绝对是第一重要的贡献。因为它试图对物理学家最初构思的理论——依靠并非人人理解的直觉——进行理性呈现;此外它也有巨大的教学价值。虽然不能断言这部著作能否为此后发现的更令人困惑的物理现象引入了新颖的物理思想,毕竟薛定谔、海森堡、狄拉克和其他人在那些年里构建的量子理论仍然只是一个不完整的理论骨架,冯·诺伊曼至少为其严格处理提供了一个逻辑上和数学上明确的基础。


二、分析、数值计算和流体动力学


在早期的论文[33]7中,冯·诺伊曼通过简单的几何构造证明了变分法中Radó7的基本引理(此引理是说:函数z=f(x, y)满足常数为Δ的李普希兹条件,如果没有最大倾角Δ大于的平面与由所给函数定义的曲面的边界在三个或更多点相交。)这篇论文的有趣之处还在于其证明方法涉及到直接的几何直观(geometric visualizations),这在冯·诺伊曼的已发表作品中并不多见。


论文[41]9是过去四分之一世纪中数学分析领域令人瞩目的成就之一。它给出整个领域第一个精确的数学结果:严格处理统计力学中的遍历假设。冯·诺伊曼受到了库普曼(Bernard Koopman)10的启发,后者曾发现有可能将哈密顿动力系统的研究简化为希尔伯特空间中算子的研究。


使用库普曼的表示,冯·诺伊曼证明了现在所谓的弱遍历定理,即测度空间上迭代的、保测度的变换的函数均值的依测度收敛。这一定理不久之后被伯克霍夫(G. D. Birkhoff)以几乎处处收敛的形式加以强化,为经典统计力学提供了第一个严格的数学基础。该领域的后续发展以及这些结果的很多推广已众所周知,在此不再赘述。同样,这种成功归于冯·诺伊曼对集合论中受分析方法启发的技巧的精通,并融合了其在希尔特空间算子方面的独创工作。


数学物理的另一个领域也能够在普遍意义上用现代分析精确地研究。在这个例子中,一开始同样取得了巨大进展,但是当然,这个故事还没有结束;就经典动力学而言,对统计力学基础的数学处理还远远不够!拥有遍历定理和度量可传递变换(metrically transitive transformations)11存在性的知识是非常好的,但这些事实只是该主题的基础。冯·诺伊曼经常在谈话中表达这样一种感觉,即这一领域未来的进展将取决于这样的定理——将在数学上对该学科后续部分进行令人满意的处理。玻尔兹曼方程需要一个完整的数学理论,而系统趋于平衡时的速率需要精确的定理。


冯·诺伊曼在这方面的重要工作体现在文章[56]12中,这是他与博赫纳(Salomon Bochner)合著的。运用算子理论可以深入讨论如下类型的偏微分方程的性质:,  Φ=Φ(t; x, y, z) ;如同热传导问题,A具有如下形式:



或者A=(2πi/h)H,H是非定态薛定谔方程中的能量算符。


一篇与舍恩伯格(Isaac Jacob Schoenberg)合作的文章[80]13展现了解析技巧与几何技巧的融合。如果S是一个度量空间,d(f, g)是任意两个元素之间的距离,若函数ft连续并在S中取中值,如有d(ft, fs)=F(t-s),则称ft是螺旋函数(screw function)。这一基本定理决定了希尔伯特空间上所有此类函数的类,并确定了它们的形式。(任意这种函数F(t)可以由




给出,其中对于u≥0, γ(u)  非减,且存在。)


冯·诺伊曼的论文[86]14,也许不如它应有的那么出名,它显示出冯·诺伊曼对近似问题和数值工作越来越感兴趣。在我看来,它具有非常可观的教学价值。他研究了当N很大时,有限个N × N矩阵的性质,以及N维复欧几里得空间上所有线性运算所构成的空间的行为。文章直截了当,并且在前言中明确指出,与通常的方法相比,这种研究极限情况(即无限维酉空间,就是希尔伯特空间)的渐近方法被无端地忽略了。(这种说法与他在《量子力学的数学基础》一书的引言中表达的观点几乎相反,这是很奇怪的。)


概括来说,这篇论文讨论如下问题:哪些N阶矩阵的行为或近似行为表现得如同m阶矩阵,(这里m与N相比很小,而且是N的一个因子)。近似行为的概念在矩阵空间中的给定度量或伪度量下变得精确。我想补充一点,这篇论文的基本论述特征值得称赞,而这并非总能体现在他对希尔伯特空间的研究中。


在与巴格曼(Valentine Bargmann)和蒙哥马利(Deane Montgomery)合作论文[91]15,冯·诺伊曼的思想延续下来。文章包含了求解线性方程组的各种方法,并且从中能看出冯·诺伊曼已经开始考虑用当时已出现的电子机器进行运算的可能性。


对于应用分析问题,战争年代产生了对快速估算和近似结果的需求,这些问题往往不会那么“干净”。也就是说,在数学上是“非齐次的”,除了要计算的物理现象的主要过程之外,还涉及许多外部扰动,其影响在附加变量中不能被忽视甚至不能被分离。这种情况经常出现在当今的技术问题中,迫使人们至少在最初阶段采用数值方法,这样做并不是因为人们需要高精度的结果,而只是为了实现定性分析!那时冯·诺伊曼对数值分析的兴趣大大增加,他意识到了这个对数学纯粹主义者来说可能有些可悲的事实。


与戈德斯坦(H. H. Goldstine)合写的文章[94]16中,他们研究了高阶矩阵的数值反演问题,还试图给出严格的误差估计,在反演~150阶矩阵可实现的精度上获得了有趣的结果。估计值是“在一般情形下”获得的。(“一般”意味着在可信假设统计下,除了一组低概率集合,这些估计成立。)


在随后关于这个主题的论文[109]17中,为了获得最佳的数值估计,他们重新考虑了这个问题。给定矩阵A=(aij)(i, j=1, 2,…, n),它的元素是独立的随机变量,每个变量呈正态分布,此矩阵的上限超过2.72 σ n-1/2的概率,比.027 ×2-nn-1/2 小,其中 σ 是每个变量的离差(dispersion)


由于需要快速定位和回答数学物理和工程中的问题,快速电子计算机发展起来。作为其副产品,人们有机会进行一些更好玩的工作!在一定程度上满足人们对某些有趣整数序列的好奇心。一个最简单的例子是,在e和π的(无限不循环)小数点后几万位内某数字序列出现的频率。人们在高等研究院的机器上进行了一次这样的计算,给出了2的立方根作其连分式展开中前2000个部分商(partial quotients)


无论问题多么简单, 约翰尼都对这样的实验工作很感兴趣。在洛斯阿拉莫斯关于这些问题的一次讨论中,他要求给出“有趣”的数字来计算它们的连分数展式。我给出了一个四次无理量y,它由方程 y=1/(x+y)给出,其中x=1/(1+x),在它的展式中可能出现一些奇怪的规律。人们计划计算许多其他数字,但我不知道这个小项目是否真被实施过。


三、博弈论


博弈论成为了如今数学领域快速发展的新篇章,它本质上是冯·诺伊曼开创的。在发表本文的同期杂志上,A. W. Tucker和H. W. Kuhn的文章18将会介绍他在这一领域的基础工作。”我只想说,这些研究反映了他最为丰富、最有影响的工作。


1921年,博雷尔(Émile Borel)在Comptes-Rendus的一篇注记中,首次提出两个游戏玩家博弈策略的数学方案。而这门学科的真正建立,被认为是源于冯·诺伊曼的论文[17]19。正是这篇文章中,冯·诺伊曼证明了基本的“极大极小”(minimax)定理,并制定了n个玩家(n≥2)之间博弈的一般方案。这些方案,除了对经济学等领域中实际博弈的意义和应用之外,还产生了大量具有纯粹数学意义上新颖的组合问题。Min Max = Max Min 的定理,以及关于多变量函数的鞍点的存在性推论,都包含在他1937年的论文[72]20中。


它们被证明是布劳威尔不动点定理和以下几何事实的推广的结果:设 S、T 是两个分别包含在欧几里得空间Rn和Rm中的非空有界凸闭集,令S×T是两个集合的直积,V、W 是它的两个闭子集;假设对于 S 的每个元素x,集合Q(x)={y:(x, y)∈V}是非空的凸闭集;类似地,对于T中的每个元素y,集合是P(y)={x:(x, y)∈W}非空的凸闭集,那么集合V, W至少有一个公共点。这个定理,后来被角谷静夫(Shizuo Kakutani)、纳什(John Nash)、布朗(George W. Brown)和其他人进一步讨论,它在证明“好策略”的存在性方面发挥着核心作用。


博弈论,包括现在对无限博弈的研究(玛祖尔(Stanisław Mazur)于1930年左右在波兰首次提出)正繁荣发展。只要参考三卷《对博弈论的贡献》(Contributions to Game Theory)[102;113;114]21中包含的工作,就足够说明这一领域思想的丰富性——纯数学意义下的各种巧妙表述以及日益增多的重要应用;这里还有非常多陈述简单却尚未解决的问题。


四、经济学


奥斯卡·摩根斯特恩(Oskar Morgenstern)和约翰·冯·诺伊曼(John von Neumann)的经典论文《博弈论与经济行为论》(Theory of Games and Economic Behavior)[90]22以纯数学形式对博弈论进行了阐述,并非常详细地描述了其在实际博弈中的应用;并结合对经济理论的一些基本问题的讨论,引入了对经济行为和某些社会学问题的不同处理方法。经济学家奥斯卡·摩根斯特恩是冯·诺伊曼在普林斯顿多年的朋友,他对经济形势的各个方面感兴趣,特别是两人及两人以上人之间的商品交换问题,垄断、寡头垄断和自由竞争的问题。正是在尝试讨论这些过程的数学化中,这一理论开始形成了现在的雏形。


目前在“运筹学”、通信问题以及沃德(Abraham Wald)23的统计估计理论中的众多应用,要么源于或正在借鉴这本专著中提出的观点或构思方案。我们甚至无法在本文中概述这些调查的范围。有兴趣的读者可以在赫维克兹(Leonid Hurwicz)24的著作《经济行为理论》(The theory of economic behavior)25和马尔沙克(Jacob Marshak)26的著作《诺伊曼和摩根斯坦的静态经济学新方法》(Neumann's and Morgenstern's new approach to static economics)27中找对那些问题的描述。


五、动力学、连续介质力学与气象计算


在与钱德拉塞卡(S. Chandrasekhar)共同撰写的两篇论文[84和88]28中,他们考虑了以下问题:假定质量中心随机分布,比如在星团中的很多恒星或一团星云,这些大质量物质在运动且相互吸引。问题在于探究引力场涨落的统计结果,并研究受不同局部分布变化影响的单个质量的运动。


在第一篇论文中,他们通过巧妙的计算解决了引力的分布函数涨落速率的问题,并得到概率分布W(F, ƒ)的一般公式,其中F为引力场强度,相关的变化率ƒ是F关于时间的导数。得到的结果包括如下定理:对于弱场,在给定时刻产生作用的场发生变化的概率与初始场的方向和大小无关;而对于强场,在初始场的方向上发生变化的概率,是在其垂直方向上发生变化概率的两倍。


第二篇论文致力于统计分析作用于恒星每单位质量的引力的涨落速度,恒星以速度V相对于临近恒星做形心运动。这个问题是在恒星以一致泊松分布且局部速度呈球形分布的假设下解决的;他们也对不同质量的一般分布作了解答,给出作用于两个非常接近点的引力相关的表达式。该方法给出了空间相关性的渐近行为。


冯·诺伊曼长期以来对湍流现象感兴趣。我还记得1937年关于对纳维-斯托克斯方程(Navier-Stokes equations)进行统计处理的可能性的讨论,通过用无穷多个全微分方程替代这些偏微分方程,从而对流体力学进行分析;而拉格朗日函数的傅里叶展开式中的傅里叶系数满足这些全微分方程。冯·诺伊曼于1949年为海军研究办公室(Office of Naval Research)撰写的一份油印报告《湍流的近期理论》(Recent theory of turbules),对昂萨格尔(Lars Onsager)和柯尔莫哥洛夫(Andrey Kolmogoroff)的思想以及当时的其他工作进行了深刻而清晰的介绍。


随着第二次世界大战的开始,冯·诺伊曼对可压缩气体运动所带来的问题进行了研究,特别是因其不连续性变化形成的令人困惑现象,例如冲击波(shocks)


他在这一领域所做的大量研究,很大程度上是为了解决国防工作中出现的问题。它们以报告的形式发表,其中一些列在附录中。(编者注:请参见原文。)


本文无法概括他在这一领域如此丰富多样的工作,其中大部分作品都能反映出其锐利的分析技巧和惯常清晰的逻辑。在碰撞冲击相互作用的理论中,他的贡献尤其值得注意。一个成果是,他给出关于爆炸过程的Chapman-Jouguet假说(即由冲击引发的燃烧过程)的第一个严格论证。


关于冲击波反射理论的第一个系统研究也出于冯·诺伊曼(Progress report on the theory of shock wave, NDRC, Div.' 8, OSRD, No. 1140, 1943 ;Oblique reflection of shocks, Navy Department, Explosive Research Report no. 12, 1943)


如前所述,即使只是在定性分析二维或三维中可压缩介质的运动,就已经超过了目前显示分析(explicit analysis)的能力。更糟糕的是,描述这类物理现象的理论的数学基础,也许到目前为止,还没有建立起来。冯·诺伊曼的观点在 [108]29的评论中得到了很好的表达:


“关于人们通过数学推理找到的解是否真的发生在自然界中,以及是否可以事先排除某些具有好的或坏的特征的解的存在,这是一个相当困难且模糊的问题。古典文献和最近的文献都对这一问题进行了研究,但它们的严格性存在很大差异上,甚至在粗糙程度上也是如此。总而言之,在这一领域,要确定任何事情都十分困难。从数学上讲,我们处于连续的不确定性状态,因为我们想要得到解存在性和唯一性的一般定理从未被证明,并且其表面形式很可能是不正确的。”


接着,他又写道:


“因此,在允许不连续性、要求合理的热力学行为等条件下,流体力学中存在各种各样的数学可能性。可能存在一组条件,在这种条件下,每个合理陈述的问题存在一个且只有一个解。然而,对于它是什么,我们只能猜测;在寻找它的过程中,我们几乎完全依赖物理直觉。因此,我们不可能对任何一点了解得非常明确。并且对于任何已经得到的解,无论有多少把握,我们都很难说它就是在自然界中必定存在的解。”


如果只是为了对这些难题有启发式的见解,人们必须诉诸于特殊条件下的数值工作。在一系列报告中,冯·诺伊曼讨论了最佳数值过程、差分格式,以及计算方案的数值稳定性等问题。人们应该特别提到他与克特迈耶(Robert D. Richtmyer)合作的论文[100]30,文章为了不具体地涉及冲击条件和不连续性,他们引入了一个纯数学的虚构的粘度,这就可以在不必明确假设冲击运动的情况下,遵循普通的流体动力学方程,一步一步地计算冲击的运动。


关于地球大气层运动的流体动力学方程提出的令人生畏的数学问题,在相当长的一段时间内让冯·诺伊曼着迷。随着计算机的出现,至少对问题的简化版本进行详细的数值研究成为可能,并且他开始了一项庞大的计划。普林斯顿高等研究院成立了一个气象研究小组31;该小组的计划是,通过越来越接近大气真实性质的模型,逐步求解数值天气问题。目前,即使在最先进的电子计算机上,对真正的三维运动进行数值研究也是不切实际的。(事实可能并非如此,比如五年后。编者注:本文写于1958年。)


冯·诺伊曼发起的第一个高度模式化的计算,用于处理二维模型,并且大部分是所谓地转近似(geostrophic approximation)情况。后来,通过假设两个或三个二维模型以对应于不同海拔高度或压力水平的相互作用,可以执行所谓的“2 + 1/2”维流体动力学计算。这个问题在他的脑海中非常重要,不仅因为它具有的内在数学兴趣,还因为得到成功的解决方案可能会产生巨大的技术影响。他认为,随着计算机的发展,以及我们对控制大气过程的动力学的了解,我们正在接近实现天气预报的水平。他还相信,人们能够理解、计算,也许可以最终