正确的提示信息

扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2024-07-15 16:18

谷歌DeepMind被曝抄袭开源成果,论文还中了顶流会议

本文来自微信公众号:量子位 (ID:QbitAI),作者:鱼羊、西风,题图来自:视觉中国

文章摘要
谷歌DeepMind被曝抄袭开源成果,论文中了顶流新生代会议CoLM 2024,被原作者指责简直荒谬。

• 💥 谷歌DeepMind被指控抄袭开源成果,引发技术界热议

• 🔍 谷歌论文中明显引用原告论文,但原作者认为两者差异性“简直荒谬”

• 😡 网友对科技巨头剽窃小团队工作成果的行为愤怒不已

大模型圈再曝抄袭大瓜,这回,“被告”还是大名鼎鼎的谷歌DeepMind


“原告”直接怒喷:他们就是把我们的技术报告洗了一遍


具体是这么个事儿:


谷歌DeepMind一篇中了顶流新生代会议CoLM 2024的论文被挂了,瓜主直指其抄袭了一年前就挂在arXiv上的一项研究。开源的那种。



两篇论文探讨的都是一种规范模型文本生成结构的方法。


抓马的是,谷歌DeepMind这篇论文中确实明晃晃写着引用了“原告”的论文。



然而,即便是标明了引用,“原告”的两位论文作者Brandon T.Willard(布兰登)和R´emi Louf(雷米)还是坚称谷歌抄袭,并认为:


谷歌对两者差异性的表述“简直荒谬”。



而不少网友看过论文后也缓缓打出一个问号:CoLM是怎么审的稿?



唯一区别是换了概念?



赶紧瞅一眼论文对比……


两篇论文的比较


先浅看一眼两篇论文的摘要对比。


谷歌DeepMind的论文说的是,tokenization给约束语言模型输出带来了麻烦,他们引入自动机理论来解决这些问题,核心是避免在每个解码步骤遍历所有逻辑值(logits)


该方法只需要访问每个token的解码逻辑值,计算与语言模型的大小无关,高效且易用于几乎所有语言模型架构。


而“原告”的说法大致是:


提出了一个高效框架,通过在语言模型的词汇表上构建索引,来大幅提升约束文本生成的效率。简单来说,就是通过索引避免对全部逻辑值的遍历


同样“不依赖于具体模型”。


方向上确实大差不差,我们还是接着来看看更多详细内容。


我们用谷歌Gemini 1.5 Pro分别总结了两篇论文的主要内容,并接着让Gemini来比较两者的异同。


对于“被告”谷歌这篇论文,Gemini总结其方法是将detokenization重新定义为有限状态转换器(FST)操作



将此FST与表示目标形式语言的自动机组合,这种自动机可以用正则表达式或语法来表示。


通过以上结合,生成一个基于token的自动机,用于在解码过程中约束语言模型,确保其输出的文本符合预设的形式语言规范。


此外,谷歌论文中还进行了一系列正则表达式扩展,这些扩展通过使用特别命名的捕获组来编写,显著提升了系统处理文本时的效率和表达能力。


而对于“原告”论文,Gemini总结其方法的核心是将文本生成问题重新定义为有限状态机(FSM)之间的转换


“原告”的具体方法是:


利用正则表达式或上下文无关文法构建FSM,并将其用于指导文本生成过程。


通过构建词汇表索引,高效地确定每个步骤中的有效词,避免遍历整个词汇表。



Gemini列出了两篇论文的共同点。



至于两者的区别,有点像前头那位网友说的,简单总结就是:谷歌将词汇表定义为了一个FST。


前面也说到了,谷歌在“Related work”中将原告论文列为“最相关”的一项工作:


最相关的研究是Outlines(Willard&Louf,2023),该研究同样采用有限状态自动机(FSA)和下推自动机(PDA)作为约束手段——我们的方法是在2023年初独立开发的。


谷歌认为两者的差异在于,Outlines的方法基于一种特制的“索引”操作,需要手动扩展到新的应用场景。相比之下,谷歌使用自动机理论彻底重新定义了整个过程,使得应用FSA和泛化到PDA变得更加容易。


另一个区别是,谷歌定义了扩展以支持通配符匹配,并提高了可用性。



谷歌紧接着在介绍下面的两项相关工作中,也都提到了Outlines。


一项是Yin等人(2024年)通过增加“压缩”文本段到预填充的功能,扩展了Outlines。


另一项是Ugare等人(2024年)近期提出的一个系统,名为SynCode。它也利用FSA,但采用LALR和LR解析器而非PDA处理语法。


与Outlines类似,该方法依赖于定制算法。


但吃瓜群众显然不是很买账:


CoLM的评审们应该注意。我不认为这看上去是各自独立的“同期工作”。



网友:这事儿不罕见……


这件事一发酵,不少网友都怒了,抄袭可耻,更何况“科技巨头剽窃小团队的工作成果不是第一次了”。


顺便一提,布兰登和雷米发布原告论文的时候都在给Normal Computing远程工作,这家AI Infra公司成立于2022年。


哦对了,Normal Computing的创始团队有一部分就来自Google Brain……


另外,布兰登和雷米现在合伙出来创业了,新公司名叫.txt,官网信息显示,其目标是提供快速可靠的信息提取模型。并且官网挂出的GitHub主页,就是Outlines仓库。


说回到网友这边,更让大家伙儿生气的是,“这种情况已经变得普遍”。


一位来自荷兰代尔夫特理工大学的博士后分享了自己的遭遇:


去年10月我们完成了一项工作,最近有篇已被接收的论文采用了相同的思路和概念,但甚至没有引用我们的论文。



还有一位美国东北大学的老哥更惨,这种情况他遭遇过两次,下手的还都是同一个组。并且对面那位第一作者还给他的GitHub加过星标……



不过,也有网友表达了不同的意见:


如果说发个博客文章或未经评估的预印本论文就算占坑了,那人人都会占坑,不是吗?



对此,雷米怒怼:


好家伙,发布预印本论文并开源代码=占坑;写篇数学论文,甚至不需要任何伪代码=好工作???



布兰登老哥也表示yue了:


开源代码并撰写相关论文是“占坑”,复制别人的工作却说“我更早有了这个想法”且投稿了会议反而不是啦?真恶心。



两篇论文戳这里:
谷歌DeepMind论文:https://arxiv.org/abs/2407.08103v1
原告论文:https://arxiv.org/abs/2307.09702


参考链接:
[1]https://x.com/remilouf/status/1812164616362832287?s=46
[2]https://x.com/karan4d/status/1812172329268699467?s=46
[3]https://x.com/brandontwillard/status/1812163165767053772?s=46

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
频道:

支持一下

赞赏

0人已赞赏

大 家 都 在 看

大 家 都 在 搜

好的内容,值得赞赏

您的赞赏金额会直接进入作者的虎嗅账号

    自定义
    支付: