正确的提示信息

扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2023-07-14 17:32

谷歌版ChatGPT支持中文了,弱智吧实测结果在此

本文来自微信公众号:量子位 (ID:QbitAI),作者:克雷西,头图来自:视觉中国


Claude 2发布之后,Google也按耐不住,立马官宣了Bard的全新版本。


支持的语言变多了,其中就包括中文,让广大网友直接喜提新玩具。



总结一下这次更新,主要包括这些内容:


  • 支持包括中文在内的40多种语言(含图形界面)


  • 图像识别,需要在账号设置中将显示语言改为英语。


  • 对话朗读。


  • 聊天记录和对话分享,代码可导出到Replit。


  • 回复内容可编辑。


不过在官宣的这些内容之外,似乎有网友发现了华点:


六月份更新的代码执行功能好像用不了了。



那么究竟表现如何呢?话不多说,直接开整!


弱智吧问题几乎全军覆没


对于“支持中文”的大模型,不请出我们的弱智吧神题,就显得有些不尊重对手了。


先来个灵魂拷问:



你说它聪明吧,它根本没绕过弯来,但要说它笨吧,它还懂得安慰你……


或许是对人际关系太过陌生,那就换个不涉及人的问题试试:



这个回答……我还真的很好奇,有没有藕是不空心的。


而面对“未解之谜”,Bard也有自己的看法:



虽然你后面说的很好,但“是给盲人看”这个结论是怎么得出来的?


不过,Bard也有不上当的时候:



我们的确要“认清事实放弃幻想”,这次,Bard总算扳回一城。


不过整体来看,这一环节,判弱智吧胜各位读者应该没意见吧?


除了弱智吧问题真的很有节目效果之外,“一字多义”也是中文的一大特色


比如下面这个名场面:


人要是行,干一行一,一行行行,行行行干哪都行。要是不行,干一不行一,一不行行行不行,行行不行干哪都不行。

(标粗的是hang,没标的是xing)


Bard对这句话的整体理解倒是没毛病,但是拆分出来的解释属实让人摸不着头脑。



不过GPT-4做这道题也没能全对:



好吧,那我们再换两个简单的。


结果是外甥打灯笼——照旧(舅),整体理解没问题,一拆开解释就不行了。




无论是弱智吧还是一词多义,Bard对中文的理解都给人一种似懂非懂的感觉


理解的表现大概就是这样,那创作呢?


我们让它写个故事试试,故事真挺好的,就是有点眼熟:



怕不是对“创作”有什么误解……如果莎士比亚还活着的话,谷歌这时候应该已经坐在被告席上了。


看来Bard在中文方面,还有很长的路要走


此外,我们还考察了Bard的(英文)阅读理解能力,让它总结一篇论文试试:



结果Bard给了我们三个风马牛不相及的版本,而且都……是……错……的……


(这篇论文实际上是关于RLHF的)


不过,有没有一种可能,人家根本没在说中文。



看来是我们的问题太烧GPU,让Bard出现幻觉了……


那就休息一下,然后看看宣传中的识图功能怎么样吧。


识图功能也有待提高


对于图像识别功能,已经有网友表示自己测试了很多内容都失败了:



但我们依旧抱着不信邪的心态试了试。


要想用这个功能,还得先到Google账户设置中把显示语言改成英文。


我们翻出了之前某AI绘画工具生成的“四指库克”,看Bard能不能从其中发现华点。


这张图是这样的:



结果Bard还不支持关于人物的图像识别,甚至直接把我们的图给删……掉……了……



好家伙,不会做题就把卷子撕了可还行……


不过这里要说一下,如果上传的图片违反了Bard用户规则,也会被删除。


好吧,那我们再换张图试试:



就算汤姆猫本猫来了也得直呼内行。



还是这张水杯的照片,换成英语提问之后就好多了:



不过你这个白色logo是从哪看出来的?


当然了,水杯很容易看出来,所以这次再来个带点迷惑性的东西:



果真不出所料,Bard上了我们的当,其实这是个纸巾盒。


“听人劝,吃饱饭”,看来这句话说的一点也没错。


就像前面那位网友说的,Bard的识图能力,还没有那么强。


本次Bard更新中最值得测的两点都已经测完了,一言以蔽之就是,没有宣传的那么好。


而至于代码、数学等其他经典项目,由于Bard这次并没有对它们进行更新,就先不测了。


看来,Google赶O(penAI)超微(软)的脚步,迈得还是有些大了。


你认为Bard未来的表现,能不能与ChatGPT比肩呢?


参考链接:
[1]https://bard.google.com/updates
[2]https://news.ycombinator.com/item?id=36709895


本文来自微信公众号:量子位 (ID:QbitAI),作者:克雷西

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文

支持一下

赞赏

0人已赞赏

大 家 都 在 看

大 家 都 在 搜

好的内容,值得赞赏

您的赞赏金额会直接进入作者的虎嗅账号

    自定义
    支付: