扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2023-09-08 07:35

2012,改变人类命运的180天

本文来自微信公众号:远川研究所 (ID:caijingyanjiu),作者:李墨天,题图来自:《模仿游戏》

文章摘要
本文回顾了2012年对人类命运产生重大影响的180天,以及这段时间内深度学习和人工智能的重要突破。文章介绍了谷歌猫项目和AlexNet算法的诞生,以及这些事件对人工智能领域的影响。

• 2012年的ImageNet挑战赛标志着深度学习的突破,推动了人工智能的发展。

• 辛顿教授和他的学生通过创造新的神经网络算法AlexNet,以惊人的识别准确率夺得ImageNet比赛冠军。

• 这些突破引发了人才争夺战,科技公司纷纷挖掘顶级学者和研究人员,推动了人工智能产业的快速发展。

2012年12月初的一天,一场秘密竞拍正在美国滑雪胜地太浩湖(Lake Tahoe)的一家赌场酒店里进行。


太浩湖位于加州和内华达州交界处,是北美最大的高山湖泊,拥有蓝宝石般的湖面和顶级雪道,《教父2》曾在这里取景,马克吐温曾在此地流连忘返,而由于离旧金山湾区只有200多英里,这里常被称为“硅谷后花园”,扎克伯格和拉里·埃里森等大佬也在此圈地占山,兴建豪宅。


秘密竞拍的对象,是一家刚刚成立1个月、仅有3名员工的公司——DNNresearch,创立者是多伦多大学教授杰夫·辛顿(Geoffrey Hinton)和他的两名学生。


这家公司没有任何有形的产品或资产,但追求者的身份暗示出了它的分量——四位买家分别是Google、微软、DeepMind和百度。


65岁的辛顿苍老,瘦削,饱受腰椎间盘的疼痛,他坐在酒店703房间的地板上为竞拍设置规则——起价1200万美元,抬价单位至少100万美元。


几个小时后,竞拍者就把价格推到了4400万美元,辛顿有些头晕,“感觉我们像是在拍电影”,于是果断喊停,并决定把公司卖给最后的喊价者——Google。


有意思的是,这场4400万美元竞拍的源头之一,就是来自于6个月前的Google。


2012年6月,Google研究部门Google Brain公开了The Cat Neurons项目(即“谷歌猫”)的研究成果。这个项目简单说就是用算法在YouTube的视频里识别猫,它由从斯坦福跳槽来Google的吴恩达发起,拉上了Google传奇人物Jeff Dean入伙,还从Google创始人Larry Page那里要到了大笔的预算。


谷歌猫项目搭建了一个神经网络,从YouTube上下载了大量的视频,不做标记,让模型自己观察和学习猫的特征,然后动用了遍布Google各个数据中心的16000个CPU来进行训练(内部以过于复杂和成本高为由拒绝使用GPU),最终实现74.8%的识别准确率。这一数字震惊业界。


吴恩达在“谷歌猫”项目临近结束前急流勇退,投身自己的互联网教育项目,临走前他向公司推荐了辛顿来接替他的工作。面对邀请,辛顿表示自己不会离开大学,只愿意去Google“待一个夏天”。由于Google招聘规则的特殊性,时年64岁的辛顿成为了Google历史上最年长的暑期实习生。


辛顿从80年代开始就战斗在人工智能的最前线,作为教授更是桃李满门(包括吴恩达),是深度学习领域的宗师级人物。因此,当他了解了“谷歌猫”项目的技术细节后,他马上就看到了项目成功背后的隐藏缺陷:“他们运行了错误的神经网络,并使用了错误的计算能力。”


同样的任务,辛顿认为自己可以做得更好。于是在短暂的“实习期”结束后,他马上投入行动。


辛顿找来了自己的两个学生——Ilya Sutskever和Alex Krizhevsky,两人都是出生于苏联的犹太人,前者极具数学天赋,后者擅长工程实现,三人密切配合后创建了一个新神经网络,然后马上参加了ImageNet图像识别比赛(ILSVRC),最后以惊人的84%识别准确率夺得冠军 。


2012年10月,辛顿团队在佛罗伦萨举行的计算机视觉会议上介绍了冠军算法AlexNet,相比谷歌猫用了16000颗CPU,AlexNet只用了4颗英伟达GPU,学术界和产业界彻底轰动,AlexNet的论文成为计算机科学史上最有影响力的论文之一,目前被引次数已经超过12万,而谷歌猫则被迅速遗忘。


DNNresearch公司三人组


曾拿过第一届ImageNet大赛冠军的余凯读完论文后异常兴奋,“像触电了一样”。余凯是一名出生于江西的深度学习专家,刚从NEC跳去百度,他马上给辛顿写邮件,表达了合作的想法,辛顿欣然同意,并索性把自己和两名学生打包成一家公司,邀请买家竞拍,于是便有了开头的那一幕。


拍卖落槌后,一场更大的竞赛展开了:Google乘胜追击,2014年又把DeepMind收入囊中,“天下英雄尽入彀中”;而DeepMind则在2016年推出了AlphaGo,震惊全球;输给Google的百度则下定决心押注AI,十年投入千亿,余凯后来帮百度请来了吴恩达,他自己则在几年后离职创办了地平线。


微软表面上看慢了一拍,但最终却赢下了最大的战利品——OpenAI,后者的创始人就包括辛顿两个学生之一的Ilya Sutskever。而辛顿自己则一直在Google待到2023年,期间荣获ACM图灵奖。当然,跟Google的4400万美元比(辛顿分得40%),图灵奖的100万美元奖金就显得像是零花钱了。


从6月的谷歌猫,到10月的AlexNet论文,再到12月的太浩湖竞拍,差不多6个月的时间里,AI浪潮的伏笔几乎被全部埋下——深度学习的繁荣、GPU和英伟达的崛起、AlphaGo的称霸、Transformer的诞生、ChatGPT的横空出世……硅基盛世的宏大乐章奏响了第一个音符。


2012年从6月到12月的180天,碳基人类的命运被永远改变了——只有极少人意识到了这一点。


液体猫


在这些极少数人中,斯坦福大学教授李飞飞是其中之一。


2012年,当辛顿参加ImageNet比赛结果出炉时,刚生完孩子的李飞飞还在休产假,但辛顿团队的错误率让她意识到历史正在被改写。作为ImageNet挑战赛的创办者,她买了当天最后一班飞机飞往佛罗伦萨,亲自为辛顿团队颁奖[2]


李飞飞出生于北京,在成都长大,16岁时随父母移民美国,一边在洗衣店帮忙,一边读完普林斯顿。2009年李飞飞进入斯坦福担任助理教授,研究方向是计算机视觉与机器学习,这个学科的目标是让计算机能够像人一样,自己理解图片和影像的含义。


比如,当照相机拍下一只猫时,它只是通过传感器把光线转化成了像素,并不知道镜头里的东西是猫还是狗。如果把照相机比作人类的眼睛,计算机视觉解决的问题就是给照相机装上人的大脑。


传统的方式是将现实世界中的事物抽象为数学模型,比如将猫的特征抽象为简单的几何图形,就能大幅度降低机器识别的难度。


图片来源:李飞飞的TED演讲


但这种思路有非常大的局限性,因为猫很有可能是这样的:



为了让计算机能够识别“液体猫”,杰夫·辛顿、杨立昆(Yann LeCun)等一大批深度学习先驱从80年代就