谷歌Gemini大模型比GPT-4强，但强的不多？

本文来自：华尔街见闻，作者：常嘉帅，题图来自：视觉中国

谷歌憋了好几个月的大招、人类迄今为止最强大的AI模型——Gemini，终于发布了。按照谷歌的说法，它可以像人类一样理解我们周围的世界，处理代码、文字、音频、图像和视频通通不在话下。Google DeepMind团队称，Gemini在32项基准性能测试中的30项上超过了GPT-4。

然而，多位科技分析人士认为，虽然Gemini的性能的确优于现有的多模态模型，但它和GPT-4的差距并没有那么夸张。从谷歌放出的演示视频来看，很少有什么我们在过去一年的AI炒作狂潮里没见过的东西。

更大的问题在于，如果以谷歌的算力资源、研发能力和丰富的数据都仅能做到勉强击败GPT-4，Gemini或许就是以人类目前的技术，能够打造的大模型的上限了。

比GPT-4强，但强得不多

根据谷歌放出的演示视频，Gemini是玩“你画我猜”的一把好手，不仅可以准确地描述测试者在纸上画出的图形，还能根据测试者画出的轮廓猜测她绘制的是什么东西。

在另一个例子中，测试者给Gemini展示了一张煎蛋卷在平底锅中烹饪的图片，并用语音询问煎蛋卷是否已经煮熟，Gemini也用语音回答道：“还没有煮熟，因为鸡蛋还是液态的。”

看起来很新鲜，但Gemini真的如谷歌所言的全方位超越GPT-4吗？

不见得。

基准的MMLU测试用于衡量AI模型在文本和图像的任务上的表现，包括阅读理解、大学数学以及物理、经济学和社会科学中的多项选择测验。谷歌CEO劈柴表示，在MMLU测试中，Gemini全面击败GPT4。对于纯文本问题，Gemini得分为90，人类专家得分为89。GPT-4得分为86；对于多模态问题，Gemini得分为59，而GPT-4得分为57。

圣达菲研究所的AI研究员Melanie Mitchell对媒体表示，Gemini基准测试的表现令人印象深刻，这的确说明Gemini是一个非常复杂的人工智能系统，但她指出，自己并没有明显感受到Gemini和GPT-4在实际能力上的差距。

Mitchell还指出，Gemini在语言和代码基准测试上的表现要比在图像和视频上表现更好：

“多模态基础模型仍然有很长的路要走，才能在许多任务里大范围地、可靠地应用。”

斯坦福大学基础模型研究中心主任Percy Liang也对媒体表示，虽然Gemini具有良好的基准分数，但由于训练数据中的内容保密，很难知道如何解释这些数字。

Google DeepMind还称，在人类测试者的帮助下，Gemini减轻了幻觉出现的频率，在回答问题时已经变得更加准确，在被要求时可以给出信源，并且不会在遇到难回答的问题时胡编乱造。

不过，这一点同样需要谷歌公开更多数据，否则目前也很难去验证。

仓促上阵

深度学习教父杰夫·辛顿（Geoffrey Hinton）在四月份离开谷歌时对媒体表示：

“谷歌一直非常谨慎地向公众发布AI产品，可能发生的坏事太多了，谷歌不想毁了自己的声誉。面对看似不值得信赖或无法销售的技术，谷歌采取了谨慎的态度，因此错过了更关键的机会。”

可能正是因为意识到了这一点，所以谷歌在推动Gemini上线时非常着急。

Gemini最强大的满血版Gemini Ultra，还需要等待几个月才能和公众见面。谷歌称，Ultra版目前只会提供给部分客户、开发者、合作伙伴以及安全与责任专家使用。

有分析人士指出，谷歌甚至自己也不了解Gemini Ultra的所有新功能，也没有为Gemini制定出货币化战略。考虑到人工智能模型训练和推理的高昂成本，谷歌可能需要很长时间才能想出盈利策略。

会不会是谷歌的营销策略导致了今天产品发布的失败？也许是吧。又或者，打造最先进的生成式人工智能模型真的很难——即使你重组了整个人工智能部门来加快进程，效果可能也不尽如人意。

本文来自：华尔街见闻，作者：常嘉帅