扫码打开虎嗅APP
Magic Leap高管大量离职,隐忧已现。
计算机视觉如何把平面图像还原成立体物体?
本文来自微信公众号:硅谷密探(SVS-007)
Magic Leap年初获阿里巴巴领投的7.9 亿美元,一时风光无二 。
但在今年5月Magic Leap 对前技术副总裁 Gary Bradski 和 Adrian Kaehler提起诉讼,认为他们向第三方泄露了公司机密。随后这两位高管从 Magic Leap 离职。
(Gary Bradski是OpenCV的创始人,业界大牛)
Gary Bradski 和 Adrian Kaehler 在Magic Leap颇有号召力,前者领导计算机视觉相关的技术研发团队,后者则带领一个被称为 Special Project 的秘密研发团队。
( Adrian Kaehler 也是OpenCV领域的大拿)
而除了他们俩,负责法律事务的副总裁 Michael Leventhal 在今年3月离职; 首席工程师(Principal Engineer) Michael Kass 也于今年2月离职。
这波高管离职潮引发了Magic Leap动荡,Glassdoor 上也有员工爆料:“不少员工都离开公司了,其中包括完成了大量工作并很有才能的人。开发在慢下来,团队士气低落,项目进度也有问题,项目的风险变大了。”
Magic Leap虽然他们产品还没有发布,但一些展示视频已经让他们火了起来。
刷屏的视频
Magic Leap的演示视频里,带上Magic Leap眼镜,就能看到跃起的鲸鱼
(Magic Leap展示视频:跃起的鲸鱼)
或者看见天花板上漂浮的水母。
(Magic Leap展示视频:天花板上的水母)
神秘的Magic Leap似乎遭遇了危机,产品也至今没有发布,但是背后的技术其实并不神秘。
Magic Leap管自己的产品不叫“增强现实”,而是叫“混合现实”(Mixed Reality,简称MR)。这一下子就让人头疼了,虚拟现实(VR)和增强现实(AR)就已经够乱的了,现在又搞出来了一个混合现实(MR)。这之间到底是什么关系?又有什么区别呢?
我们一个一个说
虚拟现实,虽然名字里有个“现实”,但跟现实没啥关系。用户带上头套,直接就进入了另一个世界,连自己的手都看不见。谷歌的Cardboard就是典型的虚拟现实。戴上以后,你看到的是埃菲尔铁塔脚下,别人看到的是你戴了个硬纸壳儿四处转脑袋。
(Google Cardboard的手机图像)
虚拟现实有个缺点,就是用户不能戴着它四处晃悠。毕竟用户看不见周围的真实环境,四处走的话,容易撞到墙。
(Google Cardboard外观,硬纸壳套手机)
增强现实,就跟现实有点关系了。用户带上眼镜,原来能看见的现在还都能看见,只不过加了一层“平面投影”。比如你看见一个人,增强现实就能给这个人注上姓名、职位之类的信息。看见一个商店,增强现实可以给你注上商店名字、地址、是否正在营业。
(增强现实,现实上加了一层图像)
最后就是这个Magic Leap提出的“混合现实”。混合现实直接把立体的虚拟物体投射到真实环境里。比如那个藏在桌子底下的机器人,它可以和真实的桌子互动。如果“混合现实”做到极致,虚拟物体会和真实物体看起来一模一样,完全可以以假乱真。
(混合现实,把一个虚拟的物体投射到真实环境里)
下图就是三者之间的对比。简单来说,虚拟现实就是“看不见现实”,增强现实就是“加了标注的现实”,混合现实就是“根本分不清是虚拟还是现实”。
虚拟现实、增强现实、混合现实的区别
其实不少人认为“混合现实”纯属概念炒作,和增强现实没什么本质的区别。尽管Magic Leap一再强调我们做的是“混合现实”,而大量媒体还是把它归到了“增强现实”的范畴里。
Magic Leap目前并没有透露任何技术细节,不过他们一直在招聘计算机视觉的相关人才。计算机视觉虽然近几年才火起来,但它却是个古老的科技。它讲起来并不艰深,只不过有些琐碎。
什么是计算机视觉
所谓“计算机视觉”,就是教计算机“看懂”图像或者影像。给一只猫的图片,电脑能判断出它是一只猫。给一个天安门广场的照片,电脑能数出来广场上一共有多少人。
任何一个图像,都是三个二维数列(或者叫二维矩阵),比如下面这张图,上边是人看到的,下边是计算机看到的。人很容易识别出来这是一只羊驼,但计算机看到的只有数字,根本没什么规律。如何识别出它是不是羊驼,就需要计算机视觉来做了。
(一张图和它的其中一个二维矩阵)
计算机视觉的一大困难,就是把平面图像还原成立体物体。还是以上图为例,人眼看起来,羊驼的头比屁股离屏幕更近,但计算机看来,头和屁股在同一层上。一个平面图形,怎么区别远近呢?
计算机视觉有几种思路
第一种就是像人类一样,长出两只眼睛。人左眼和右眼看到的图像是不一样的,大脑根据左右眼的图像,还原出一个立体的场景。计算机也一样,它可以用多个摄像头捕捉图像,根据图像差异计算出物体的远近。Magic Leap就是用两个装有摄像头的镜片,通过数学方法还原3D环境。
不过体视的缺点是计算量太大,而且物体如果太远,距离就量不准了。这就是为什么微软的HoloLens干脆搞出了一个“距离传感器”。摄像头只管看图像,距离传感器负责探测每个像素点的距离。
(人脑通过左右两眼的图像还原立体环境)
第二种就是看阴影。计算机可以根据图片的明暗分布,判断光源位置,进而判断谁在前谁在后。还是看那张羊驼的图片,计算机可以很迅速地判断光源在羊驼的正上方。既然光源在正上面,羊的后背亮,肚子暗,那么后背的这些像素和肚子的这些像素就不在同一层。
第三种就是靠摄像头自己动。带上AR眼镜,人不可避免会乱动。人一动,摄像机就可以对单一物体进行“跟拍”。下图中,一个摄像机在三个位置拍出三张照片,那么根据这三张照片就能还原出这个物体的立体形态。
(摄像头只要多捕捉几个位置,三维物体就能还原出来)
这些东西,学名叫做“计算机视觉的三维重建”。三维重建的方法还有很多,这里就不一一赘述。为什么要讲三维重建,因为这可能是Magic Leap最大的特长。
增强现实只需要识别一下图片,在眼镜的平面上做一个标注就可以了。而Magic Leap所谓的“混合现实”,需要把虚拟物体直接放到真实环境中。要想和真实环境接触,必须把真实环境用计算机重建出来。这个过程,就需要上面讲的各种“三维重建”方法了。
目前Magic Leap还并没有把整个计算机整合到眼镜上,他们的展示视频是用一个装了摄像头的眼镜,连接着电脑拍出来的。
Magic Leap的CEO罗尼·阿伯维茨(Rony Abovitz)并没有透露具体何时把Magic Leap的眼镜开发出来,不过阿伯维茨在接受WIRED采访时说,发布之前,我们的产品必须做到完美无瑕。
(CEO Rony Abovitz)
这就不知道要等到哪天了。Facebook、谷歌、微软等一系列公司都在AR领域进行“生死竞速”,加班加点地研发新产品。
面对当前的这些不利因素,或许Magic Leap会像谷歌眼镜一样,经历了长时间的开发,最后宣告失败。也或许Magic Leap能像他们的名字一样,一下子“神奇地跃过”了这些大公司,推出了一个“完美无瑕”的眼镜,成为增强现实的霸主。
微信公众号:硅谷密探(SVS-007)硅谷第一科技媒体, 为你带来最生动的产品报道和推荐、独家的硅谷成功创业者在线交流,链接中美创业者。