正确的提示信息

扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2023-12-13 21:28
大模型前传:一场拍卖会与巨头间的人才战

本文来自微信公众号:电厂 (ID:wonder-capsule),作者:肖余林,编辑:高宇雷,题图来源:视觉中国

文章摘要
本文讲述了一场拍卖会在AI领域引起的巨头间的人才争夺战,以及这场拍卖对科技巨头在人工智能领域的影响。

• 💰 一家在会议前紧急成立的公司以4400万美元的高价被拍卖,吸引了谷歌、微软、DeepMind和百度等巨头参与竞拍。

• 🌟 拍卖的公司DNNResearch的三名员工是被称为“深度学习之父”的Geoffrey Hinton、AlexNet卷积神经网络创始人Alex Krizhevsky和现任OpenAI首席科学家IIya Sutskever。

• 🚀 这场拍卖标志着深度学习领域的转折点和人工智能热潮的起点,推动了谷歌、Facebook和OpenAI等机构的发展。

2012年12月,AI领域的一场顶级会议NIPS在美国内华达州太浩湖举办,会议酒店里的一场秘密拍卖拍出了4400万美元的高价。拍卖的是一家在会议前紧急成立的公司,公司成员只有3人,没有发布任何产品。参与拍卖的有谷歌、微软、DeepMind以及百度。


这是一场既豪横又简陋的拍卖,竞拍方通过Gmail邮件远程出价,每一个小时出价一次,每次加价不少于100万美元。60多岁的主办方成员因患有颈椎疾病无法久坐,他在酒店的桌子上倒扣一个垃圾桶,把电脑放在垃圾桶上遥控科技巨头出价。


竞拍价一路攀升,2000万美元以后,场内只剩百度和谷歌,两家公司都势在必得。出价4400万美元后,主办方意外暂停了拍卖,时间被拖到第二天。第二天拍卖开始前,主办方告诉百度,他们更希望加入谷歌。


这个故事被科技记者Cade Metz放在《深度学习革命》一书开头,用来说明科技巨头在人工智能领域对人才的激烈争夺。被拍卖的这家公司是DNNResearch,三名员工是被称为“深度学习之父”的Geoffrey Hinton、AlexNet卷积神经网络创始人Alex Krizhevsky和现任OpenAI首席科学家IIya Sutskever。


这场拍卖之前,“人工智能”还只是科幻小说和电影里的事物,“深度学习”的概念就连前沿的科技巨头内部都少有人知。这场拍卖之后,一切开始发生变化。拍卖3年后,AlphaGo横空出世。5年后,还是同一场NIPS会议中,谷歌8位研究员带着Transformer模型架构技惊四座。10年后,美国几乎所有的顶尖AI实验室里都有来自谷歌的身影。


Google Brain的第一个成功和失败


数学公式组织着从微观粒子世界到宏观宇宙的广阔图景,同时也是人们构建现代计算机和人工智能算法的工具——现代计算机底层逻辑运算的原理是形成于19世纪中期由George Boole发明的布尔计算。20世纪40年代,人们开始尝试把生物神经元的功能抽象化为数学模型,50年代末诞生了第一个Neural Network神经网络算法(NN算法)


Geoffrey Hinton是George Boole的玄孙,在70年代进入NN算法领域,并成为推动NN算法发展的主要人物之一。到21世纪初,GPU的使用和分布式计算大大提升了算法运行的效率,NN算法成为热门领域。Hinton在2006年提出深度信念网络的概念,让训练深度神经网络成为了可能,“深度学习”成为神经网络算法的代名词。


谷歌在当时有一个神秘实验室Google X,专门研究智能驾驶、增强现实等前沿尖端项目,这些项目往往都与人工神经网络有关。2011年,斯坦福大学人工智能教授吴恩达(Andrew Ng)加入Google X,希望把自己的神经网络研究推广开来。


然而即便在谷歌,当时也少有人认识到神经网络可以带来的改变,多次碰壁的吴恩达遇到了Jeff Dean,双方一拍即合,很快把一些研究转化出成果,这次的合作项目最终成为独立的部门Google Brain。


2012年夏天,《纽约时报》详细报道了吴恩达和Jeff Dean合作的“小猫论文”,他们用16000台计算机组成了一个有10亿连接的大型神经网络系统。系统从来自YouTube的1000万张图片中学会了“猫”的概念,并找出了其中含有猫的图片。这让谷歌的科学家大为震惊并深受鼓舞。


不过,吴恩达两人的方法并不是当时最高效的。在当年秋天的ImageNet图像识别大赛中,Hinton领导的三人组使用AlexNet深度卷积神经网络夺得第一,他们的成绩比第二名高出41%。这是ImageNet赛事的高光时刻,也是科技行业的“决定性瞬间”之一。《深度学习革命》一书的作者Cade Metz认为,AlexNet是深度学习的转折点,也是全球科技行业的转折点,推动了后来的人工智能热潮。


这次比赛也直接催生了文章开头提到的拍卖会,Hinton团队因此加入到Google Brain。


在这之后,学术投资成为谷歌具有战略高度的投资方向。虽然深度学习在当时是一个极小的领域,但谷歌创始人Larry Page认为它将会重塑行业,要求寻找其中的人才。在收下Hinton的同时,谷歌开始着手下一个目标。


骄傲的DeepMind和谷歌的豪赌


DeepMind主理人同样有三位,主要创办人Demis Hassabis从小智力超常,8岁开始编写电脑游戏,13岁就获得国际象棋大师的头衔。20岁时,Hassabis在剑桥大学计算机科学专业获得双第一,毕业后成功经营了一家60人的游戏公司。后来,Hassabis转向攻读认知神经科学,最终投入人工智能浪潮。


2010年决定创办DeepMind时,资金问题是重要的考量之一。Hassabis通过一场棋局获得了第一笔投资,来自Peter Thiel。Thiel是Paypal的创始人,通过他,DeepMind又获得了来自马斯克的投资。创办两年内,DeepMind先后完成了两轮融资。


Hassabis首先提出了AGI的概念,DeepMind以AGI为目标保持独立运作。创办早期,DeepMind训练了一个玩游戏的神经网络系统,系统通过观看学会了玩《太空侵略者》《乒乓球》《越狱》等游戏,在很多游戏中的表现超过人类玩家。马斯克在飞机上观看DeepMind的演示视频时,刚好被谷歌的Larry Page注意到,《Wired》报道称,马斯克向Larry Page介绍了DeepMind。


对于DeepMind这样的机构,注定无法独立完成烧钱的AGI豪赌,它需要持续不断的输血,成立后很快陷入到窘境。幸运的是,Hinton团队的拍卖会一举抬高了AI领域人才的身价,同时谷歌正在不计成本的投入其中。


2013年,谷歌团队乘坐专机去到伦敦与DeepMind接洽,在第二年以6.5亿美元买下DeepMind。谷歌同意了DeepMind提出的要求:双方合作技术不能用于军事目的,并成立独立道德委员会监督。


DeepMind亏损压力来到谷歌,电厂根据《CNBC》和《Bloomberg》媒体报道测算,2016年到2019年,DeepMind平均每年亏损4.6亿美元。报道显示,2019年,DeepMind所有公司间贷款和应计利息共计15亿美元,被谷歌一笔免除。


Facebook的开源力量


跟Hassabis一样,Zuckerberg在哈佛大学校园里创办Facebook时,第一笔天使投资也来自Peter Thiel。在DeepMind寻找买家时,Thiel促成了两人的首次接洽。Facebook比谷歌更想要DeepMind,愿意支付更高的收购金额。然而这是一场失败的收购,据《深度学习革命》一书记录,Hassabis认为,他跟Zuckerberg之间没有“化学反应”,更重要的是在AI安全方面没有共同的认知。


2013年是Facebook认识到深度学习重要性的第一年,Zuckerberg决定招揽前沿的研究人才。但跟DeepMind一样,这些来自学界的研究者认为Facebook缺少吸引力。与财务收入相比,学者们看重自己的研究能不能在Facebook持续,却发现后者根本没有设置实验室。


Zuckerberg找到了杨立昆(Yann LeCun)。杨立昆发明了卷积神经网络,在深度学习领域跟Hinton有同样的地位,手下学生众多,如果由他运营实验室,Facebook将能够逆转局面。


杨立昆信奉技术开放,会公布自己最新的研究成果,他认为这一领域的进步由一代代研究人员接力推动。在《Popular Science》的一次专访中,杨立昆谈到同意这次合作的原因——他对实验室的想象与Facebook的开放理念一致。Facebook社交帝国的基础是开源软件,Zuckerberg对开放的理解打消了杨立昆的担忧。


杨立昆帮助Facebook经营FAIR实验室,同时仍然担任在纽约大学的职务。有了实验室的Facebook也有了从谷歌、微软挖掘人才的优势。


开放开源让Facebook保持着在AI领域的领先地位。2022年,来自独立实验室OpenAI的ChatGPT一飞冲天,Zuckerberg选择开源Llama大模型应对,从而迅速占据生态优势。促进这次开源决定的正是杨立昆。


不被看好的OpenAI


深度学习领域有三位学术巨头,除了Hinton和杨立昆,另一位是Yoshua Bengio。谷歌和Facebook掀起AI人才争夺战后,Bengio收到了无数来自科技公司的邀约,但他都一一回绝,这些公司中就包括OpenAI。


当时的OpenAI还没有成立,Greg Brockman和Sam Altman正在召集人才。他们认识到科技公司内部的实验室正在迅速扩张,必须采取行动,这得到了马斯克的支持。根据《Wired》报道,Bengio给了他们一份名单,列出了他所认为的这个领域最有前途的年轻研究人员,其中就包括Ilya Sutskever。


谷歌开出高薪挽留Sutskever,第一年接近200万美元,是OpenAI的两到三倍,这让Sutskever产生了动摇。《深度学习革命》书中详细记录了这个故事,OpenAI原本计划在当年的NIPS会议上宣布成立,但Sutskever的犹豫打乱了计划,最后一天的会议结束之后,他才确定“上车”。


OpenAI作为非盈利组织在2015年12月成立,它把自己定位为科技巨头技术扩张的对抗力量,宗旨是确保AI技术造福人类。然而,秉持类似理想的DeepMind却认为,OpenAI只会加速行业里的技术对抗,从而带来更多风险,OpenAI初创团队的技术人员当中,有5个曾在DeepMind工作。不看好OpenAI的也包括杨立昆,杨立昆告诉Sutskever,他的选择是在犯错,并给出了10多条理由。


谷歌的一团火和满天星


人工智能技术的理论突破几乎全部来自校园里的学术团队,谷歌、Facebook的实验室承担了高校与商业公司之间的纽带,培养了大批学术力量,推动了科研成果的诞生。随着时间推移,很多科研人员意识到事情发生了变化。


Ilya Sutskever在后来的采访中谈到自己离开谷歌的原因,他表示,人工智能的神经网络变得越来越庞大,未来将会是更大的、更有组织的工程项目。研究人员需要用更宏观的视角研究它们,实验室能够提供舒适的环境和优越的回报,但无法给他们调动更多的资源。


OpenAI的成立开启了一种趋势。很快,过去几年加入科技巨头实验室的研发人员开始陆续出走。其中最具代表性的,应当是谷歌发明了Transformer模型架构的8位作者。


2017年,谷歌8位研究员完成的《Attention is All You Need》论文横空出世,推动AI行业进入到大模型时代,Transformer成为几乎所有AI大模型的核心。但从2017年至今,8位作者已经全部从谷歌出走,进入到各个领域的“OpenAI”当中。


2012年以来,谷歌的实验室成了AI技术和人才策源地。过程中,AI研究经历了从论文到落地的阶段,开始走向应用。看着多年学术投资成果散落各地,谷歌终于幡然醒悟。随着Geoffrey Hinton在2023年退休,谷歌一方面宣布不再公布最新的科研成果,另一方面把DeepMind和Google Brain合并成Google DeepMind,由Hassabis担任CEO。


过去几年一直处在弱势地位的微软,却因为OpenAI的崛起重新拿到先发优势。谷歌的战略调整也决定了,始终担心AI安全问题的Hassabis将不得不加快他的“曼哈顿计划”。而先后失去了DeepMind和OpenAI的马斯克,不得不在X上继续呼吁人们警惕AI技术扩张带来的威胁。


本文来自微信公众号:电厂 (ID:wonder-capsule),作者:肖余林,编辑:高宇雷

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
文集:
频道:

支持一下

赞赏

0人已赞赏

大 家 都 在 看

大 家 都 在 搜

好的内容,值得赞赏

您的赞赏金额会直接进入作者的虎嗅账号

    自定义
    支付: