机器“学习”的概念是如何变化的？

人工智能领域的“学习”概念一直是在动态变化的。这其中有科学家的推动，但更多时候，离不开社会环境的影响。研究过去，是为了更好的思考未来。本文来自微信公众号：腾云（ID：tenyun700），作者：贺久恒（腾云特约作者、康奈尔大学Science & Technology Studies在读博士），头图来自：视觉中国

人类智能的一个重要特征便是具备学习能力。人类大脑令人惊叹的学习能力使得牙牙学语的婴儿能够成长为学识渊博、谈吐自如的成年人。

对于人类而言，学习是与生俱来的能力，这种能力的普遍存在使得我们忽略了它的奇异与珍贵之处。而对于人工智能研究而言，如何令机器具备这种人类世界中最普遍的能力，是非常具备挑战性的研究方向。

本文将简要探讨在人工智能研究中曾经出现的关于“学习”的研究进路，这些尝试不仅限于现在我们所说的“机器学习”（Machine learning），也同样包括来自神经科学、控制论研究等等领域的贡献。

在不同的研究路径中，学习的主体、内容和方式都大相径庭，其中一些尝试或许是失败的，但同样可以给今天的我们以启发。

图灵：像儿童一样学习

提起艾伦·图灵，人们的第一反应一定是“图灵测试”以及他所提出的将人类计算行为抽象化的图灵机。

在图灵的经典论文Computing Machinery and Intelligence中，图灵最为人知的贡献是在论文的前半段提出了“图灵测试”作为衡量人工智能的判断性实验。然而在鲜有人问津的论文后半段中，图灵还对于人工智能的前景做出了他的蓝图：建造一个可以学习的机器。

图灵在文章中对于建造学习机器的构想是这样的：

“与其去建造一个程序去模拟成年人的心灵，为什么不去建造一个模拟儿童心灵的机器呢？如果能够成功的话，假以适当的教育，这个‘机器儿童’有朝一日可以具备一个正常成年人的心智。”

对于图灵而言，这一问题就被分成了两部分：如何设计出模拟儿童大脑、具备学习可塑性的程序，以及如何用合适的方法教育它学习。显然，这只是一个非常宏观的蓝图，图灵并没有在文章中提到具体的设计方式。

他同样也意识到了一些显而易见的困难，例如模拟儿童的大脑从何开始。但他十分乐观地认为，模拟一张白纸一般的儿童大脑总比直接去模拟成年人的大脑来得更加容易，而且这种难度一定会随着计算机科学和大脑科学的发展逐渐降低。

至于如何给予机器以合适的教育，图灵认为本质上来讲，人类的教育也是基于奖惩机制的，而为计算机程序设计出基于特定目标的奖惩机制并不困难。

遗憾的是，图灵在写就这篇论文四年之后去世。

他的英年早逝使得我们没有机会看到图灵的构想得以继续推进。但他的蓝图与后来神经网络与机器学习的研究进路不谋而合，机器学习所搭建的神经网络就像是图灵所提到的“婴儿“，而依赖于数据集的训练则正是基于奖惩机制的迭代。

作为适应环境的“学习”：来自控制论领域的贡献

早期的人工智能领域研究汇聚了来自不同学科的学者，除去计算机科学（彼时的计算机科学是否能够单独称作一个建制化的学科尚存疑问），还包括生理学、心理学、控制论等等领域。其中有一些来自英国的研究者试图从控制论的角度建造模拟智能行为的机器，令人十分惊奇的是，这些机器同样具备学习能力。

其中的代表人物是来自英国的神经生理学家格雷·沃尔特（Grey Walter），他从模拟神经对外界刺激的反应出发，建造了一个可以对光线和声音作出反应的机器人。

这个机器人名为Tortoise（乌龟）。

沃尔特和他的Tortoise

Tortoise的结构非常简单，它具备一系列传感器（接受声音和光线），同时通过电路将传感器和转向结构以及驱动轮子的电机连接起来。

在Tortoise感受到外界刺激的时候，它会选择避光/趋光（取决于电路最初的设计）、避声/趋声的方式运动。其运动的方式和许多昆虫的行为十分相似，沃尔特希望借此研究机器模拟生物智能行为的可能性。

第一代Tortoise的结构

第一代Tortoise并不具备学习的功能。但在第二代的Tortoise中，沃尔特为它加上了适应性电路的部件（Adaptive circuit）。此时的Tortoise能够“记住”一些行进的路线，例如当实验者在固定的位置放置灯光和声源，通过连续几次行进之后，Tortoise就能够“记住”一条固定的路线来达到避光/趋光的目的。

在最初Tortoise的设计中，为了模拟智能行为，沃尔特为Tortoise的行进方式加入了许多随机性的因素。因此每一次Tortoise受到外界刺激之后做出的运动有很大的随机性。但是在加入适应性电路之后，Tortoise能够“记住”一条固定的路线从而降低了行动的随机性。

沃尔特的研究在计算机科学主导的人工智能领域显得十分独特（或许他并不认为自己进行的是关于人工智能的研究），他的研究进路也没有获得太多的关注和追随者。

但毫无疑问，这也是一次关于建造“学习机器”的尝试，只不过学习的对象并非人类社会的知识，而是来自环境的刺激。它更像是一种对环境的适应，与生物趋利避害的本能十分相似。

尽管这与人类社会的高级智能相距甚远，但人类倘若没有对环境强大的适应能力和预见危险的敏锐感官，也绝无可能走上生物链的顶端。适应环境的能力，同样是人类智能的重要组成部分。（本节内容部分来自Andrew Pickering的著作The Cybernetics Brain: Sketches of Another Future，书中除沃尔特以外，还讨论了其他很有趣的研究，有兴趣的读者可自行阅读）

符号人工智能的“学习”：专家系统（Expert system）

人工智能研究在二十世纪五十年代到六十年代间逐渐成为一个独立的研究领域，其中占据主导地位是符号人工智能的研究进路。

符号人工智能是指，计算机通过符号作为认知和思维的基本单元，通过符号之间的运算来模拟人类的认知过程。对于符号人工智能而言，一切问题都可以被形式化为计算机可以理解的符号，进而通过人工输入一定的规则来指导计算机如何处理这些问题。

一个典型的例子就是IBM公司开发的国际象棋程序深蓝（Deep Blue）。

深蓝所理解的国际象棋不过是一组符号，每一个棋盘的位置和每一个棋子都被形式化为数据，棋子行动的规则也被形式化为数据之间的运算规则。在规则指导下通过巨量的计算和推演，程序可以得到无数个棋盘的局面，之后再依照规则进行局面的评估（子力分值、位置分值等等），最终选取一种最有利的策略。

那么深蓝如何学习人类的知识？

本质上来讲，深蓝不具备主动学习的能力，因为它只是一个依赖于规则执行的程序，所有的规则和策略都是开发者赋予它的。例如深蓝在布局时都会参照基于人类大师棋手棋谱的开局库，其中包括了数百万个局面和分支，深蓝所做的只是在这一开局库中搜索最有利的局面。

因此，深蓝只是在被动的接受输入的知识，它永远不会创造出新的知识，或者从它下棋的经验中总结出任何新的策略（或者说策略一词对深蓝来说根本没有意义，因为它只是在执行一系列固定的命令）。

但深蓝就是凭借自己巨量的计算和开发者赋予它的知识，达到了顶级人类棋手的水平，甚至最终击败了世界冠军卡斯帕罗夫。

深蓝与卡斯帕罗夫的对决

我曾经犹豫是否要将符号人工智能的尝试纳入到关于人工智能“学习”概念的探讨，因为此处的“学习”是纯粹被动的接受，并非我们通常理解的主动学习。一切知识都是开发者事先输入到程序之中的。但考虑到符号人工智能统治人工智能研究领域几十年的时间，基于其研究路径的成果卓著，我认为也有必要将其纳入到这篇文章中，更有助于我们辨析不同时代关于机器学习知识的不同内涵。

作为数据挖掘的“学习”：神经网络与机器学习

符号人工智能在20世纪八十年代暴露出了这一研究范式巨大的弱点：基于符号主义的人工智能无法应对不确定的、高度情景化的任务，例如自然语言处理、图像及语音识别。

符号人工智能能够在给定边界和条件的任务中表现出色（例如国际象棋、定理推演），但是难以应对人类社会中复杂度更高、不确定性更强的实际问题。也正是由于这些缺点，符号主义引领的人工智能研究在二十世纪八十年代遭遇了非常大的困难，许多学者将这一时期称为第一次人工智能寒冬（AI Winter）。

在符号人工智能式微之后，逐渐占据主导地位的是基于神经网络的机器学习。事实上这一研究进路可以追溯到20世纪五十年代，开发出第一个人工神经网络的学者是来自康奈尔大学的心理学家弗兰克·罗森布拉特（Frank Rosenblatt）。

他在1958年开发出了Mark I Perceptron，一个基于单层神经网络的监督学习机器（之所以称之为机器，是因为Perceptron并不是基于计算机的程序，而是一个真正的机器），能够进行非常基础的图像识别。

罗森布拉特和他的Mark I Perceptron

但罗森布拉特的研究进路遭到了来自符号人工智能的质疑，明斯基（Marvin Minsky）和派普特（Seymour Papert）甚至专门撰写了一本名为《Perceptrons》的书来论证为什么多层神经网络不可能实现。主要论点是彼时无法解决多层神经网络之间的迭代问题，使得算法无法在训练中得到最优解。

直到20世纪八十年代，保罗·韦伯斯（Paul Werbos）提出反向传播算法（Back propagation）来解决多层神经网络的训练问题，这种研究进路才重新被学界所认识到。针对更困难的任务和更复杂的神经网络变得可能，许多学者将韦伯斯等人的贡献称为人工神经网络领域的“文艺复兴”。

但神经网络和深度学习能够回到舞台的中心，并不仅仅是因为某一个算法或某一种训练方式的突破。事实上，真正将它捧上神坛的是个人电脑和互联网的普及。

计算机硬件的飞速发展使得神经网络获得了足够其训练的算力，而互联网巨头的崛起使用户数据变得唾手可得，巨量的数据集成为机器学习的天然矿藏。

我们可以想象下，即便罗森布拉特在上世纪六十年代就天才式的想出反向传播算法，人工神经网络也未必能够成为主导人工智能领域的研究进路，因为没有算力支持和训练数据的神经网络只是水中月镜中花，远远不可能取得今日的成果。

同样值得注意的是，基于神经网络的机器学习与半个世纪之前图灵、罗森布拉特等人的研究初衷大大不同：对于图灵等人而言，开发人工智能的终极目标是制造出一个“人工大脑”，使得机器可以像人一样学习；机器学习则远远没有这么大的野心，它能做的事情是从巨量的数据中发掘信息。它更像是一种工具，能够发现人类所无法发现的信息。

这个工具的应用场景可以是盈利性的，例如谷歌的AdWords基于用户行为推送定制化的广告等；它也可以是探索性的，例如基于深度学习算法的AlphaGo战胜人类顶级棋手等。尽管机器学习如此的强大，但它远远不是一种类似于人类的智能，因为它距离能够处理人类社会中的复杂情况仍然十分遥远。

研究过去是为了更好的思考未来。

因篇幅有限，关于人工智能历史上机器“学习”的研究，我们只能挑选出比较有意义或者鲜为人知的尝试。但我们最终希望给读者展示这样一幅图景：人工智能领域的“学习”概念一直是在动态变化的，从不同的研究进路出发对这个概念有着截然不同的阐释。

正如罗森布拉特的人工神经网络在几十年后重新登上舞台，本文中的一些研究或许也能够对今日的人工智能研究有所启发，甚至重新找到新的研究方向和应用场景也未可知。

本文来自微信公众号：腾云（ID：tenyun700），作者：贺久恒（腾云特约作者、康奈尔大学Science & Technology Studies在读博士）