人工智能时代为什么离不开统计学？：刘军教授谈统计学的本质、历史与未来

本文来自微信公众号： 世界科学 ，作者：世界科学等，原文标题：《人工智能时代为什么离不开统计学？——刘军教授谈统计学的本质、历史与未来》

锚点

INTERVIEW

2026年全国两会期间，人工智能、大模型、数字中国再次成为热点。但很多人没有意识到：这些技术发展的背后，其实离不开一门看似低调的基础学科——统计学。

统计学是研究什么的？想必大家都听说过这门学科，也知道统计局这类机构。但对于统计学究竟研究什么内容，大多数人可能就所知甚少了。

基于统计学，我们可以对很多东西做出预测，包括天气、股票和蛋白质结构。更广而言之，统计学对哲学都有巨大影响，学过贝叶斯统计、辛普森悖论的人才会理解我们是怎么认识世界的，在认识世界的过程中又有多少“陷阱”。接下来，美国国家科学院院士、清华大学统计与数据科学系主任、清华大学兴华卓越讲席教授刘军博士——这位世界级的统计学家会向我们展示统计学的魅力。

刘军

美国国家科学院院士、清华大学统计与数据科学系主任、清华大学兴华卓越讲席教授

统计学与数学的关联

Q：刘老师，我们作为外行称呼您为数学家，但是多加了解又发现您是统计学家。统计学跟数学是什么关系？

A：

在很多人看来，统计学是数学的一个分支，但是它有自己的一套哲学体系和价值观。二者之间具有非常紧密的联系，但又略微有些不一样。正如理论物理和数学的关系：理论物理要用到大量数学知识，也派生出许多非常精深的数学内容。统计学也是如此，它研究的对象是不确定性，即怎么在不确定性环境下做最优决策、怎么量化这些不确定性。它使用了很多概率论方面的理论，所以跟数学的联系非常深。

比如说，一个罐子里有100个球，其中70个是白球、30个是黑球，你抓了一把，发现有10个球，那么抓到9个白球、1个黑球的概率是多少？

这个是数学问题，从逻辑的角度来讲是前向推理。它相当于是用非常确定的办法来研究一个不确定性事件发生的概率。反过来想，如果你不知道白球和黑球的比例，随便抓的10个球里就有9个白球和1个黑球，那罐子里白球跟黑球的比例是多少？这个就是统计学问题，是反问题。

从这里我们就可以看出数学跟统计学的区别：一个是正问题，一个是反问题。统计学更接近于人的认知，它能立足于一点信息让我们逐渐理解整个事物。中国古语“窥一斑而知全豹”与其基本原理有异曲同工之妙。

诸葛亮“不出门能知天下事”，其实就是基于已经知道的信息来做推断，就像你抓了9个白球和1个黑球后对罐子里的100个球做判断。一般的判断肯定是白球多黑球少，9:1的比例看起来可能是最合理的，8:2也可以。那有没有可能是99:1，也就是说，你刚好把唯一的一个黑球抓上来了？

显然，这个可能性非常小。我们如何量化这种不确定性呢？

Q：这就涉及置信度的问题。

A：

对。置信度实际上就是人们为了量化不确定性而提出的一个概念，关乎校准。刚刚说的这个不确定性问题就跟数学问题不一样，它并不是靠纯粹的逻辑就能推导出来。它是反问题，往往需要多次假设和校准。

Q：看来，我们不应该说统计学是数学的一部分，是吗？

A：

我认为不能说统计学是数学的一部分。学科价值观很重要，会影响我们的问题取向。统计学更讲究整体框架，关注对解决实际问题的推动作用，因此跟交叉科学的关联很深。它实际上是交叉科学的一个基本架构。

Q：要是这么说的话，数学家会不会认为统计学属于应用数学的范畴？

A：

可以说统计学是“应用数学里面的应用数学”，更偏应用取向，而不是数学取向，更偏概念框架建构的取向，而不是追求数学推导难度的取向。如果能提出一个新的架构，把一个问题用一种新的数学方式（哪怕是很简单的）表达出来，也是很厉害的。

我经常拿唐纳德·鲁宾（Donald Rubin）和布拉德利·埃弗龙（Bradley Efron）举例。他们是当下非常有影响力的统计学家。鲁宾最为著名的是因果推断理论，他有一句话令我印象深刻，就是“no causation without manipulation”（没有操纵就没有因果关系）。

理论上，在操纵发生前，我们往往可以观测到多种潜在结果，但是一旦对导致结果的行为——也就是“因”——进行了操纵，我们可能就只能观察到一种潜在结果。而因果效应涉及对潜在结果的比较，所以要变因，如果不能变因，就无法界定可靠的因果效应。像“因为你是女生所以你的语文好”“因为你是男生所以你的数学好”这类说法就是典型的错误因果，因为你不能通过改变某个人的性别来观测他的成绩变化。

Q：这听起来像是一个连续的光谱，从纯数学到应用数学，再到统计学，是这么一路变过来的。

A：

也可以这么讲。除此之外，统计学和应用数学还有一点区别。统计学有一个非常核心的聚焦点，就是不确定性。应用数学没有特殊聚焦点，只是应用而已。研究统计学可能涉及最简单的数学，也可能涉及最难的数学，我们既可以深入应用性非常强的领域，又可以从里面抽象出一些比较硬核的数学问题，进而去研究并指导更广的应用。

统计学的发展历史

Q：统计学的发展历史是怎样的？

A：

统计学的发展历史很有趣。17至18世纪的时候，有一拨研究概率论的学者从探究扔硬币等问题开始，得出了二项式、二项分布等内容，并发现特定条件下二项分布可用正态分布逼近——这也是“中心极限定理”的雏形。但是，当时人们对于正态分布的作用并不是很清楚，后来数学家高斯等人厘清了这一问题，并促进了相关模型的构建。

高斯最初是研究天文数据的，在推测谷神星（Ceres）运行轨道的过程中引入最小二乘法，并用概率相关理论证明了最小二乘法在特定条件下就是“最好”的方法。在此过程中，他假设估计值和观测值之间的误差项都能用正态分布来描述，而最小二乘法在正态误差下就是“最优解”。

他的理论影响非常深，而且在我看来，这就是第一个生成式模型，能够告诉你数据是怎么生成的。这些数据实际上就是一条直线再加上一些服从正态分布的噪声，只是当时这个模型还比较简单。

另外一拨人是做社会统计研究的。18世纪后半叶至19世纪初，两拨人的研究开始融合，这才有了大统计的概念。其中一个著名人物是阿道夫·奎特利（Adolphe Quetelet），他是最早用数学手段来研究社会统计数据的人，提出了身体质量指数（BMI）的概念。

在此基础上，弗朗西斯·高尔顿（Francis Galton）和卡尔·皮尔逊（Karl Pearson）也在统计学领域做出了重要贡献。高尔顿研究了一些家庭成员的身高数据，在此过程中发现了一种有趣的现象：高个子父母的子女虽然一般也高，但通常比父母矮；矮个子父母的子女虽然一般也矮，但通常比父母高。这种子女身高向总体平均值靠近的现象，被他称为“回归”，即向平均值回归。

后来，正态回归这套方法逐渐发展完善，囊括了线性回归和其他更复杂的回归形式。所谓线性回归，就是用多个自变量X来预测因变量Y。这个模式非常有用，机器学习也一直在沿用。

Q：统计学中有一些非常反直觉的例子，比如辛普森悖论。我看到的时候也非常惊讶。这个是不是统计学中一个最著名的反直觉案例？

A：

这是一个非常著名的案例，深刻理解它其实对我们的认知非常有益。辛普森悖论给我们的启示是，人在做决策的时候应该尽量把相关条件都加进去。

例如，医生甲治愈疾病的整体成功率是90%，医生乙只有80%，作为病人，不能只根据这个整体成功率去选医生甲，而应该仔细了解这个90%是怎么来的——有可能是因为医生甲水平有限，轻症患者才去找医生甲，那他的治愈成功率当然高。重症患者找的是医生乙，虽然他只有80%的成功率，但已经很厉害了。

注：辛普森悖论由英国统计学家爱德华·辛普森（Edward Simpson）于1951年正式提出，指在不同分组中都成立的趋势合并到整体数据中后，结论却可能完全相反。例如，分析性别对录取率的影响时，若忽略各院系申请基数，可能会得出相反结论。

该现象早在20世纪初就曾被提及，但直到辛普森的论文发表才得到系统描述。为避免这一悖论，需审慎考量各分组的权重和潜在变量，进行分层分析或计算标准化比率，才能避免被表面结果误导。

Q：现在的统计学可以说是“百花齐放”，这个“园子”目前有多大了？

A：

统计学其实更像是一种科学的语言。数学是另外一种。现在的人工智能可以说把这个概念推到了极致。我认为，这次人工智能革命的成功很大程度上要归功于对统计思想和方法的全面拥抱。像人工智能的基础、很多基本方法、机器学习的手段等都包含在统计学这个大学科里。

我专门研究了杰弗里·辛顿（Geoffrey Hinton）的文章，发现他的很多关于统计的文章，尤其是写于20世纪90年代神经网络很冷门的那段时间里的，都在探索如何将统计方法嵌入网络大模型。他早期推出混合专家模型、对比学习方法时，就试图在里面做降维、做生成。其实降维跟统计学中很古老的主成分分析法密切相关。主成分分析是线性降维，辛顿则用神经网络做非线性降维，最后导出了生成式模型的一些基本框架。

Q：您刚才提到统计学是一种语言，这是我觉得最有趣的地方。是否可以理解为，统计学是跟数学并列的一种自然科学的语言？

A：

对。世界充满了不确定性，我们在描述不确定性时需要统计学中的“置信度”这套语言。

投身统计学研究

Q：您当初为什么会选择研究统计学？

A：

这个领域的好处在于能让你涉猎非常广泛的内容。如果你喜欢数学，可以研究很深的数学内容；如果你喜欢应用，也能研究非常具体的应用方向。我自己就涉猎过生物信息、信号处理和金融等方向。

这个领域有一位非常著名的统计学家叫约翰·图基（John Tukey），他也是数学家。他曾表示，作为一名统计学家，最大的好处是可以在别人的“后院”里玩。这个说法非常有趣，我也很赞同。也就是说，别人收集好数据不知道怎么去分析的时候，我们可以帮着分析。统计学的存在有助于跨界分析数据、解决实际问题。

Q：在您为统计学做出的诸多贡献中，观众最容易理解的就是搜索引擎中的排序。您做过很多排序算法研究，早年还提出过一种排名聚合方法，叫BARD（Bayesian aggregation of rank data），即“贝叶斯排名数据聚合”，能否具体介绍一下？

A：

它解决的问题是，当很多人针对同一批东西各自给出排名时，如何把这些排名聚合成一个更可靠的总排名。我们当时是跟北京大学第三医院合作开展的研究，起因是有几位牙医要对牙的形状进行排名，这个任务很有趣。

我们先基于贝叶斯方法去思考每个人给出的排名是怎么从“真实排名”中派生出来的：这些排名可能是对真实排名做了一些随机变换……我们设想了各种可能的模型，这样一来，思路也打开了。假如存在一个真实的正确排名，如果某人具有相关知识储备，那他的排名应该跟正确排名比较像，只是结果可能会有轻微的扰动；如果这个人完全没有任何背景知识，那这个噪声可能就很大。所以，我们可以从模型的角度来描述，有的人“沾边儿”，有的人“不沾边儿”，或者做更多分类，这样就派生出后来的一些算法。

我们当时用的贝叶斯方法是一种系统的统计推断方法，其核心原理是通过结合先验信息与新数据，将主观判断与客观证据动态结合，持续更新后验认知。这一框架为处理不确定性问题提供了统一哲学，成为数据科学时代连接理论与应用的基石。

怎么理解贝叶斯方法在科学问题中的有效性呢？这就跟你小学时解“鸡兔同笼”问题一样，当时觉得挺复杂，可一到初中系统学了代数知识后，用几个方程一下子就解出来了，这个时候你会发现，要解这种问题根本不需要有多聪明。这种变化难道是因为你变厉害了吗？也不是，是因为你有了工具。

贝叶斯方法就是这样一种工具，它在很多情况下会给你一个最优解。有时候我们会开玩笑说，先看看这个问题有没有贝叶斯解，没有的话我们可以研究一下，说不定能找到更好的解。当然，如果已经有了一个非常接近贝叶斯解的解，那再改进的可能性就不大了。

链接：

2014年，刘军、邓柯等在《美国统计学会会刊》（JASA）发表论文，提出基于划分模型的排名聚合方法BARD，该方法将排序对象分为“相关个体组”与“背景个体组”，通过看评委能不能把相关个体组的人排在背景个体组前面来判断评委的可靠性，并削弱不可靠评委的影响。

2021年，团队又提出分层-马洛斯模型（Partition-Mallows）。新模型不仅能筛选评委，还能把同一组内的细微排名差异也充分利用起来，产出更有效率、更精准的排名。

Q：您以前还做过关于中文文本的无监督学习，也就是分词研究。这个能讲讲吗？

A：

这项研究起源于跟著名汉学家包弼德（Peter Bol）的合作。他是研究中国宋代文学的，研究内容涉及很多古文、宋史，需要在文本里搜寻信息，比如找人名、地名等特殊词。靠人工当然可以实现，但真正的挑战是怎么实现自动搜寻。实际上，这背后的原理也不难理解，就是找出经常一起出现的字符串——现在叫词元（token）。

我们当时还用开发出来的技术分析《红楼梦》，把人名或者常用的一些“半名词”（如谁家的奶奶）都找出来，并估算这些词出现的频率。它跟现在机器学习、大语言模型里的找词元、词元判定很像，我们所做的工作也可以视为机器学习的一种特殊场景下的工作，只不过我们是从统计学的角度出发的。后续我们还做了一些工作，就是把这些字符串再分类成人名、地名等，这就需要用到监督学习的方法。

统计学与人工智能、数据科学的关系

Q：现在统计学特别火，很大程度上是因为人工智能特别火。那么统计学跟人工智能、数据科学三者之间是什么关系？还是说三者各不相同？

A：

三者着重点不同，但在很多技术上是相通的。统计学是人工智能的基础、机器学习的手段。人工智能更着重于预测和模式复制，广泛运用了统计学的回归分析与密度估计，旨在学会人做的很多事情。回归分析推到极致就是深度学习，深度学习是当前人工智能在感知任务上的重要技术基石；而密度估计推到极致就是生成式模型，生成式模型是一种机器学习模型。

之前提到的监督学习和无监督学习是机器学习的两种基本方法，还有一种基本的机器学习方法叫强化学习，它也涉及非常传统的概率与统计方法——最早可以追溯到1951年提出的罗宾斯-门罗算法，即“随机逼近”算法的典型代表。由随机逼近算法又一路发展出现在最常用的一种机器学习手段，叫随机梯度下降法。从这里也可以看出，人工智能的核心手段都与统计学密切相关。

Q：统计学跟数据科学有什么关系？

A：

国际知名统计学家、美国国家工程院院士吴建福教授曾提出应该把统计学改名为数据科学。数据科学其实更像是统计学的一个广义名称，包含的内容也更多。数据科学现在比较关心的一些问题是关于数据架构本身的，如数据存储、数据传输、数据处理等。二者的着重点不一样，但是我认为从广义上来讲，区别真的不大。

Q：难怪您讲课的时候说统计学家和数据科学家能做几乎所有领域的事情。从这个意义上说，统计学家和数据科学家几乎是同义词了。

A：

对。

Q：我国的统计学目前在世界上处于什么水平？

A：

我觉得水平还是很不错的，正在追赶中，尤其是最近十多年，进步很大。中国的统计学其实一直在发展，很多财经院校的统计专业都非常重视数理统计、大数据等多个方向的发展。所以从整体上来看，发展趋势是非常喜人的。

另外，在学科设置上，统计学一直在数学学科下面，虽然现在统计学也是一级学科，但是客观来讲，在重视程度和资源投入上，统计学的发展水平跟那些发展得好的专业相比还是差一些。关于这一点，我认为要促进中国统计学的大力发展，还需要构建一些专属机制予以支撑。

Q：您觉得统计学中的核心问题，或者说下一个锚点，是什么？

A：

不确定性的量化。统计学不同于其他学科的一个关键之处就在于，要知道它的风险。它的风险是什么？就是不确定性的描述和量化，比如大家熟知的置信区间、显著性等，这些因素对决策而言非常重要。我认为，不确定性的量化在现在的大模型和人工智能技术里面比较欠缺。当前，只有统计学这个学科把不确定性的量化放在中心位置，不确定性的量化也是统计学未来若干年的重点任务。

-本文刊载于《世界科学》杂志2026年第9期“锚点”专栏；该专栏由《世界科学》编辑部和东方卫视《锚点》节目组联合开发，该节目由中国科学技术大学科技传播系副主任袁岚峰研究员主持-