大模型跑分刷榜，有意义吗？

今年咱们新硅编辑部最大的困扰，就是面对各种“超越GPT”的大模型，陷入无尽的沉思。

我们就纳了闷了，为什么GPT这么好超越？

在“第一个中文大模型”“第一个垂类大模型”等名号被各大科技公司相继占领之后，这场竞赛逐渐转移到了分数上，竞争者们纷纷宣称自己在某些维度上排名第一，或是在某方面远超GPT-4。

即便是谷歌在发布其新模型Gemini时也未能免俗。

图源：Gemini官网

到了年末，AI排行榜上充斥着各种高分大模型，然而它们似乎也就止步于此，高分的模型就只存在于排行榜上，真正能用的似乎也没几个。

用李彦宏的话来说，就是目前大量的资源浪费在各种各样基础模型的训练上，甚至是跑分刷榜上，而比较少的资源和精力放在了AI原生应用上。

大模型为什么要跑分，源于一个最朴实的概念：如果用户用不上，那么如何证明咱家的模型高级？

在ChatGPT横空出世后，大家只知道ChatGPT很厉害，因为它可以像模像样地回答任何问题，哪怕是脑筋急转弯。于是大家开始用各种刁钻的问题问大模型，来判断大模型好不好。

被称为人类最后堡垒的弱智吧问题，常常用来测试大模型，像什么“老鼠生病了，吃老鼠药可以治好吗？”“跳多高才能跳过广告？”“生蚝煮熟了还叫生蚝吗？”

但仔细想想，这种测试方式不够科学也不太全面，而且万一未来AI主导社会，显然也不是靠抖机灵上位的。

于是，众多研究机构、高校开始建立完善的大模型评估体系。比如由MBZUAI、上海交通大学、微软亚洲研究院共同推出的CMMLU，专门用于评估大模型在中文语境下的知识和推理能力。

我们根据OpenCompass（主流的开源网站）整理了一下目前主流的大模型评测方法，大概有39种。

严格意义来说，这39种评测方法只要有一个领域领先GPT，就可以拿来当宣发标题了。

大模型测试都会涉及5个方面的能力。考试能力、语言能力、知识能力、理解能力和推理能力。

我们一一来介绍下，每个能力都是什么，以及为什么要测试这些能力。

考试能力主要测试了大模型在特定任务或条件下的表现。以GAOKAO-Bench为例，这个测试集简单来说就是让大模型去参加高考。

GAOKAO-Bench收集了2010-2022年全国高考卷的题目，包括选择填空之类的客观题，和阅读理解类的主观题，其中主观题训练集的标准答案由上海市曹杨第二中学的老师们评分。

插句题外话，这所学校在上海高中里面可以排进前二十。

这一能力通常说明模型在接受特定训练后，能否实现相应的效果，也是评测中努努力最容易得高分的项目。

这和好好学习就能考高分如出一辙。

图源：GAOKAO-Bench 例题

语言能力指大模型理解和使用语言的能力，包括语法、句法和语义。

比如AFQMC测试就用到蚂蚁金融的数据，可以评估大模型能否判断“双十一花呗提额在哪”“哪里可以提花呗额度”两句话意思不一样。

图源：AFQMC 例题

知识能力指模型拥有的信息和数据，以及如何使用这些信息来回答问题或解决问题。

当我们问ChatGPT一些常识问题，如“中国的首都在哪里？”ChatGPT会毫不犹豫地回答北京。这就是大模型的知识能力。也就是说大模型的知识能力越好，知识盲区越小。

图源：commonsenseQA 例题

理解能力指模型对信息的深入理解，包括上下文、隐含的意义和复杂概念。能否识别弱智吧的问题，基本就靠这个能力，但凡说生蚝煮熟了就不是生蚝的，理解能力通通不过关。

图源：C3 例题

推理能力指模型根据现有信息做出逻辑判断和决策的能力。例如CMNLI测试了大模型能否确定两个句子之间的逻辑关系，从而判断大模型的推理能力。

图源：CMNLI例题

比如这个例子，新的权利已经足够好了，其实并不等于每个人都很喜欢最新的福利。

大模型测试的数据集很多，而且会有新的测试出现，但测试的能力基本都是考试能力、语言能力、知识能力、理解能力和推理能力。

看到眼花缭乱的测试，你是不是觉得高分的大模型一定很厉害？

还真不一定。

首先，行业内存在“大模型测试泄露”的问题。很多大模型的测试题目是公开的，导致厂商可以“针对性训练”模型以提高分数。

这一现象在人民大学高瓴人工智能学院最近发表的论文Don't Make Your LLM an Evaluation Benchmark Cheater被证实。这种做法虽然能提升测试成绩，但并不代表模型的真实能力得到了提升。

图源：Don't Make Your LLM an Evaluation Benchmark Cheater

换句话说，只要把这些测试题全部喂给大模型，然后送这个模型去考试，怎么得分都不会低，毕竟是开卷考试。

具体来看，在使用测试题进行训练后，小模型也能秒杀大模型。论文中测试了很多模型，这里我们以LLaMA为例。

LLaMA-2(7B)在没有使用测试题训练前，在各大测试中分数都不如LLaMA-13B。但在使用测试题训练后，LLaMA-2(7B)的分数可以接近甚至高于LLaMA-65B。

后者的参数量是前者的近10倍，要知道，在绝大多数情况下，参数量往往决定了大模型的能力。

图源：Don't Make Your LLM an Evaluation Benchmark Cheater

那不公开的闭源测试可以解决这个问题吗？也不行。

闭卷考的主要优势是它可以防止厂商针对特定的测试题目进行优化，从而提供更真实的模型性能评估。

可问题是，这种测评如何服众？没人知道到底如何测试模型的情况下，其评测的可信度就得打一个问号。

质疑随之而来，比如“卖榜单”。

在没有足够透明度的情况下，厂商可能会通过某些手段来影响或操纵排名，从而损害测试的公正性，国内有一个大模型测试集，由于没有公开测试详细内容，引来网友质疑。

图源：知乎网友评论

在大模型测试榜单即将水漫金山前，中国信通院发布了《大规模预训练模型技术和应用评估方法》，评测范围包含智能语义、智能视觉、智能语音、跨模态四个能力，共计30余个能力项。

这算是给“混乱”的大模型评测带来了一个“国标”方案。

虽然《大规模预训练模型技术和应用评估方法》还未全面普及，仅完成了模型开发和模型能力两部分的内容，还未形成统一完善的标准，但至少在国内也有官方权威的口径进行评测。

不管怎么说，拿不到国标就不能上路。

图源：中国信通院

不过也存在一种说法，就算目前的大模型测试存在问题，但这些测试题已经足够全面了，能做这么多题就不错了，以后只要把题库不断完善，大模型不就越来越强大了？

所以都怪驾校只考到科目四，不然也不会出这么多事故了。

很显然，会做题并不代表能力强。毕竟人类在做题的过程中有成长的概念，而现阶段的AI还没到“自我成长”的阶段。

通过做题训练出来的大模型，有一种术语称其为“快思考”。

Google DeepMind资深工程师卢一峰表示：“（快思考阶段中）它的知识是来自于整个互联网的数据，压缩以后进行的重组、汇编，凭此来试着回答用户的问题，它实际上离我们真正所谓的‘慢思考’，即帮助人类去解决一些很难的问题，还有很长的路要走。”

“区别就在于，你可以让它帮你写一些日常的邮件，但是如果你问它，‘我们怎么能够把人类带到火星？’这样的问题，那它就无法用一次问答的方式获得完整的答案。”

举个例子，“快思考”的大模型就像一本百科全书，你只能获得书里有的内容，不管怎样提问他给出的答案都是在书中某个角落里写过的，最多帮你整合编辑一下。

而“慢思考”的大模型就像一位专家，他可以用脑子里的知识储备进行学习，从而实现“回答一切问题”的能力。

因此，大模型跑分并不能全面体现大模型的能力。

那么性能测试就没有意义了吗？

前文中，我们探讨了大模型测试存在诸多问题，那么大模型开发者为什么仍热衷于进行性能测试？

首先，大模型测试可以帮助开发者对大模型的能力有一个初步的认识，能考上985大学通常来说比上大专的能力会强一些。

此外，它们也涉及到一些重要的“价值对齐”问题，例如避免人种歧视、性别歧视，或是协助恐怖袭击等。

另一方面，在模型竞争激烈的环境下，性能测试成为厂商展示自家模型最主要的营销手段，毕竟当前大模型的普及程度尚浅，且缺乏明确的应用场景，厂商很难通过实际应用来吸引用户，一个最直接的“得分”更能抓人眼球。

是不是很熟悉？这种现象与早期智能手机和PC市场的情况颇为相似。

起初，用户对消费电子的理解不深，主要通过性能分数来判断手机的优劣，鲁大师跑分就是在这个时候崛起的。

然而，随着智能手机的普及和关键应用场景的明确化，用户体验逐渐成为了评价标准的核心。

图源：某微博大V对手机跑分吐槽

到了应用普及的年代，谁还看跑分？

参考文章：

[1] 一言不合就跑分，国内AI大模型为何沉迷于“刷榜”|三易生活 

[2] LLM Evaluation 如何评估一个大模型？|知乎

[3] 谷歌工程师：大模型自进化关键在从“快思考”进入“慢思考”|极客公园

[4] 《Don't Make Your LLM an Evaluation Benchmark Cheater》

[5] 可信AI技术热点｜大模型持续释放技术红利，产业级大模型评估体系正式发布|中国信通院

[6] 全国首个！“大模型标准符合性测试”结果公布，这四款国产大模型首批通过！|证券时报

[7] 李彦宏：卷 AI 原生应用才有价值，别卷大模型了！|极客公园

本文来自微信公众号：新硅NewGeek（ID：gh_b2beba60958f），作者：董道力，编辑：张泽一，视觉设计：疏睿