正确的提示信息

扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2024-07-19 15:11

GPT-4o mini一手测评:懂得不多,但答得极快

GPT-4o mini主打一个字“快”。本文来自微信公众号:机器之心 (ID:almosthuman2014),作者:机器之心编辑部,题图来自:视觉中国(图为两个月前发布的GPT-4o)

文章摘要
GPT-4o mini是OpenAI推出的新模型,性能优越且价格实惠,但在实际使用体验中仍存在一些不足。

• 💨 GPT-4o mini响应速度极快,对话无需等待

• 🧠 模型领导者来自华人背景,具有丰富的研究经验

• 💸 价格实惠,比之前的模型便宜一个数量级

昨晚,OpenAI突然上线新模型GPT-4o mini,声称要全面取代GPT-3.5 Turbo。


在性能方面,GPT-4o mini在MMLU上的得分为82%,在LMSYS排行榜的聊天方面分数优于GPT-4。


在价格方面,GPT-4o mini比之前的SOTA模型便宜一个数量级,商用价格是每百万输入token 15美分,每百万输出token 60美分,比GPT-3.5 Turbo便宜60%以上。



OpenAI表示,ChatGPT的免费版、Plus版和Team用户将能够从周四开始访问GPT-4o mini(其知识截至2023年10月),以代替GPT-3.5 Turbo,企业用户可以从下周开始访问。



目前,GPT-4o mini在WildBench测试上排名第九,优于谷歌的Gemini-flash以及Anthropic的Claude 3 Haiku。



在今天的凌晨的文章中,我们已经介绍了GPT-4o mini的一些基本情况(参见《GPT-4o Mini深夜突发:即刻免费上线,API降价60%》)。在这篇文章中,我们将补充介绍模型的实际使用体验以及这份工作背后的研究者。


GPT-4o mini一手评测


在GPT-4o mini开放测试的第一时间,我们问了它一个最近比较热门的话题,9.11和9.9哪个大,很遗憾,GPT-4o mini依然没有答对,还一本正经地回答0.11>0.9。



接着我们在Poe(Quora开发的应用程序,已经集成了GPT-4o mini)中输入人物传记电影《Eno》的设计封面,让两个模型解读,结果mini翻车了。GPT-4o mini直接表示“自己认不出照片上的人。”


与之相对的,GPT-4o的回答就比较准确。“这张图片看起来像是一幅拼贴画,由一张照片的多个碎片组成,照片中是一位留着白胡子、身穿亮粉色衬衫的老人。这幅图由同一张照片的不同部分创造性地排列而成,产生了马赛克或拼图般的效果。照片中的男子表情若有所思,手抚摸着脸。”



接着我们又测试了另一个问题:在客厅的桌子上放着一个杯子,杯子里有一个戒指。这个杯子被移到了书房的桌子上,然后移到了卧室的床上。在那里,杯子被翻倒了一次,然后又恢复了原样。之后,杯子被放回了客厅的桌子上。那么,现在戒指在哪里呢?如果我们分开问,答案不一样,GPT-4o似乎更聪明点。




但是,如果我们一起发问,它们的答案又会变得雷同:



GPT-4o mini回答数学题的表现如何呢?机器之心用丘成桐少年班2024年选拔试题测试了一下它解决数学问题的能力。



虽然GPT-4o mini对问题的解读都比较清晰,但在分析过程中出现“胡言乱语”的逻辑错误,像极了上数学课根本听不懂但硬答的学生。


不过也不必着急,毕竟GPT-4o的回答更不理想,它甚至没有看懂数字表示的是正方形的边长。



在文字的总结能力上,GPT-4o mini与GPT-4o的能力不相上下。都能将重点信息进行抓取,但GPT-4o的回答更显条理。



不过主打“Faster for everyday tasks”的GPT-4o mini,响应速度确实对得起“Faster”之称。和它对话,几乎无需等待,输出速度也是快得离谱。



日本网友用GPT-4o mini搭建了一款AI聊天机器人,响应速度依然快得惊人。还有网友将GPT-4o和GPT-4o mini输出速度进行了对比,GPT-4o mini明显更快。


从大家体验效果上来看,GPT-4o mini主打一个字“快”,但实际使用体验可能还是差了一些。


作者介绍


随着GPT-4o mini的发布,很多人表示OpenAI又一次给大家带来了一点点震撼。其实,这背后是一群年轻的学者,还有多位华人的身影。


GPT-4o mini项目负责人是Mianna Chen。Mianna Chen于去年12月加入OpenAI,此前在谷歌DeepMind任产品主管。



她在普林斯顿大学获得学士学位,2020年获得宾夕法尼亚大学沃顿商学院MBA学位。



该项目的其他领导者还包括Jacob Menick、Kevin Lu、Shengjia Zhao、Eric Wallace、Hongyu Ren、Haitang Hu、Nick Stathas、Felipe Petroski Such。


Kevin Lu是OpenAI的一名研究员,2021年毕业于加州大学伯克利分校。曾与强化学习大牛Pieter Abbeel等人一起研究强化学习和序列建模。


Shengjia Zhao于2022年6月加入,现在是OpenAI的一名研究科学家,主攻ChatGPT。他的主要研究方向是大语言模型的训练和校准。此前,他本科毕业于清华大学,博士毕业于斯坦福大学。


Hongyu Ren在去年7月加入,现在是OpenAI的一名研究科学家,他还是GPT-4o的核心贡献者,并致力于GPT-Next的研究。Hongyu Ren本科毕业于北京大学、博士毕业于斯坦福大学。此前,他在苹果、谷歌、英伟达、微软等工作过。


Haitang Hu于去年9月加入OpenAI,曾任职于谷歌。他本科毕业于同济大学、硕士毕业于霍普金斯约翰大学。


Karpathy:模型变小是自然趋势


这次,OpenAI还是发了GPT-4的衍生模型。所以很多人还是会问:GPT-5啥时候来?



这个问题目前没有官方信息。但从OpenAI等AI巨头纷纷发布小模型的动作来看,小模型正在成为一个新战场。


OpenAI创始成员Karpathy对此表示,“LLM模型大小竞争正在加剧……但方向是相反的”!


我敢打赌,我们会看到非常小的模型,它们思考得非常好,而且非常可靠。甚至GPT-2参数的设置很可能会让大多数人认为GPT-2很智能。


当前模型如此之大的原因在于我们在训练过程中表现得很浪费——我们要求LLM记住互联网上的整个内容,令人惊讶的是,它们确实可以做到,例如背诵常用数字的SHA哈希值,或者回忆起非常深奥的事实。(实际上,LLM非常擅长记忆,比人类好得多,有时只需要一次更新就可以长时间记住很多细节)


但想象一下,如果你要接受闭卷考试,考卷要求你根据前几句话背诵互联网上的任意段落。这是当今模型的(预)训练目标。想要做的更好,面临着一个难点,在训练数据中,思考的展示与知识“交织”在一起的。


因此,模型必须先变大,然后才能变小,因为我们需要它们(自动化)的帮助来重构和塑造训练数据,使其成为理想的合成格式。


这是一个改进的阶梯——一个模型帮助生成下一个模型的训练数据,直到我们得到“完美的训练集”。当你用GPT-2对其进行训练时,按照今天的标准,它会成为一个非常强大、智能的模型。也许它在MMLU(大规模多任务语言理解)方面会低一点,因为它不会完美地记住所有的细节。也许它偶尔需要查找一下,以确保信息的准确性。



按照Karpathy的说法,以后小模型会变得越来越多,越来越好用。这个领域的竞争会有多激烈?我们拭目以待。


参考链接:https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/


本文来自微信公众号:机器之心 (ID:almosthuman2014),作者:机器之心编辑部

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
文集:
频道:

支持一下

赞赏

0人已赞赏

大 家 都 在 看

大 家 都 在 搜

好的内容,值得赞赏

您的赞赏金额会直接进入作者的虎嗅账号

    自定义
    支付: