VR离iPhone式大爆发还剩这两个瓶颈

本文来自微信公众号：硅谷101（ID：svstyle），作者：王晶，采访：泓君，本期嘉宾：杨俊睿 （斯坦福计算机系博士），题图来自：视觉中国

VR长期被低估已经成为一种常态。Oculus Quest的出现，带来了VR的第二春。苹果高管曾在内部会议中提到，VR/AR会在十年内取代iPhone；长期从事VR领域研究的本期嘉宾杨俊睿也认为，5年内，VR会替代计算机屏幕。

但在VR的基础研究中，还有很多根本性的技术瓶颈没有被解决。比起早几代的VR头盔，VR已经解决了人在不移动游戏中的眩晕问题，这是《Beat Saber》这类爆款游戏诞生的前提；但在一个移动的游戏中，眩晕问题至今没有被解决。

VR要迎来iPhone式的大爆发，还需要设计一套更适合VR的交互方式。

本期节目我们请到了斯坦福大学计算机系博士杨俊睿，将从基础研究的角度为我们解答这些问题。

一、我带着VR头盔写程序：VR将取代计算机屏幕

《硅谷101》：你是从什么时候开始花比较多时间来玩VR游戏的？

杨俊睿：大概17年夏天，我有时候也会戴着Oculus Quest，用虚拟桌面，就可以把电脑桌面投射在Oculus Quest上使用。

《硅谷101》：你现在怎么交互？

杨俊睿：就是鼠标和键盘，因为电脑上程序不支持这些新的交互模式。光把VR当一个巨大的屏幕用，其实已经很好用了。

戴一个小时可能会觉得比较累。这个比较有意思，就是你坐在这儿会觉得累，但是你玩一个小时Beat Saber就不会觉得累。

另外一个问题就是分辨率的问题，我用的是第一代的Oculus Quest，第二代Oculus Quest分辨率已经高很多了。最近有一些新的Headset，惠普有一个新的设备，分配率比Quest2还要高，当然PiMax已经接近视网膜的分辨率了。

《硅谷101》：你带VR写程序，你会用多久？

杨俊睿：我不会每天都带着，有时候会试一试。一般用40 分钟就很累了，会摘了用普通电脑写。

《硅谷101》：主要还是因为你现在用的设备它不是最高的分辨率。

杨俊睿：对，还比较重。这两个问题在未来都可以解决。

关于重量的问题，现在有一些设备已经开始这么做了，它把计算功能用一根线连到口袋里，电池也可以放到口袋里，设备本身就轻了。

另外，现在已经有更高分辨率的显示器，只是由于价格问题，所以并没有应用到所有设备上。

不过我认为VR编程是未来的必经之路，VR在将来一定会代替台式机。我们在写代码时，会希望进入到虚拟世界中，不被人打扰，VR可以实现这样的体验。通过VR可以同时显示多个文件，在现实中由于显示屏的限制就做不到。

《硅谷101》：如果说能把计算功能放在口袋里的话，VR可以是一个很轻便的眼镜。

杨俊睿：是，但光学就是另一个问题，现在做的比较好的光学元件是个镜子，后面是一个显示屏，这就使VR眼镜有一定厚度的。

想让镜片变薄，有研究使用类似AR的波导方式，用小投影仪导到镜片上显示图像，这样眼镜就薄，但现在还没有办法让波导做的显示器和人的视网膜分辨率那么高，不一定能实现人眼非常舒服的8K模式。

《硅谷101》：你觉得VR取代计算机这天要多久到来？

杨俊睿：5年之内。

VR的输入和输出都比计算机屏幕更强，它的显示屏可以无限大。VR还提供了完全沉浸式的体验，这就是台式机达不到的。

《硅谷101》：所以你觉得它替代的是台式电脑的显示屏，不是电脑主机，不是笔记本电脑。

杨俊睿：VR是个输入输出设备，它并不直接绑定任何计算设备，你可以使用电脑计算，也可以在VR设备里做计算。

《硅谷101》：你可以把它去连接计算设备，它只是一个显示设备。

杨俊睿：他是一个输入输出设备，控制器也属于VR一部分。

现在更加时髦的就是手势追踪，如果你能把手完全追踪了，就不需要键盘鼠标了。

你有可能需要一个假的键盘鼠标，让你有感觉按了一个键的这样一个键盘，因为它需要给你一个触觉反馈。

VR短期内不能解决的问题是触觉反馈，当你按下键的时候，会有一个力学反馈，当你用手横着扫过键盘时，像打字需要摸J和F键的位置，会感受到纹理。这两个都是比较重要的触觉反馈，但目前VR很难实现。

《硅谷101》：研究VR的输入输出，是在探究怎么用不同的系统去欺骗人的感官认知，它就是骗你的眼睛、耳朵、手，它不停地欺骗你身体的各个器官，让它误以为VR中的物理世界是现实中的物理世界。

杨俊睿：完全没错，整个VR输入输出研究就是研究怎么把你骗得更好，交互研究就是，当你完全被骗了之后处在虚拟世界中时，怎么设计一套完全更加方便的交互方式。

二、如何解决VR的眩晕感？

《硅谷101》：VR刚刚出来的时候，大家会觉得一戴就很晕，但现在VR设备眩晕感已经很大程度上解决了，这是怎么解决的？门槛高吗？

杨俊睿：人耳朵里有类似加速度计陀螺仪这样的器官，我们平时用它来保持平衡，这就是为什么你闭着眼睛也可以站在地上而不摔倒。

产生眩晕的原因是，加速度计陀螺仪设备收到的信息和眼睛看到的信息不符。

举个简单的例子，我们用VR“坐过山车”容易晕，因为我们是坐在原地不动的，但看到的是快速运动和改变角度的图像，脑袋会认为应该收到一些运动的信号，但耳朵里的传感器没有收到这样的信号，就会认为是不是吃了一些不该吃的东西，引起眩晕或呕吐。

现在的设备不容易造成眩晕的一个原因是程序的设计更好了，早期的VR程序设计没那么好。Oculus Rift的第一个开发者版本没有任何侧向追踪，只有三个自由度的追踪。也就是说，图像并不会随着你头的转动而改变。如果你带着VR移动，你的传感器感受到了移动，但看到的图像并没有动，这种不匹配就会直接导致眩晕。

又或者，通过手动推动摇杆来旋转视角，电脑上的射击游戏，比如CS Go就是这样设计的，但现在VR程序几乎不会这么设计，因为旋转是一个耳朵里可以非常清晰感知的运动，现实没有旋转就会眩晕。

技术限制带来的一个问题是，程序不可能只用一个视角，完全不动。如果程序设计一些动视角和你原来的视角不匹配，也会导致眩晕。

另外一个是刷新率的问题。当刷新率低时，图像不流畅，会有一些延迟，这就导致我们的头部往左运动了，但图像需要过几毫秒才动，移动越快，差距越大。对于比较敏感的人，就容易眩晕。

现在有两个比较常用的解决方法：

一是不连续的转，比如在Rec Room游戏里，你转动的时候往右按控制器，就会立刻旋转90度，它并不是根据控制器移动的角度而转动，而是瞬间转动。

这样的好处是，你的眼睛会感觉图像突然发生了切换，脑袋就不会觉得应该拿眼睛的图像和耳朵的比比是否一致，高级认知知道你旋转了90度，但低级认知没有认知到，就不容易眩晕。

《硅谷101》：这就是为什么我玩 Beat Saber 玩一个小时都不会眩晕，但是 Rec Room 我刚进去走到那个世界里，就开始晕了。

杨俊睿：是的，这就是怎么在VR里进行移动的问题，现在还没有人解决得非常好。你的屋子可能只有3米×3米，但VR世界有100米×100米，总要做一个眼睛和耳朵里的传感器感觉不一样的动作。

刚刚提到的是瞬间移动是一种方法，另一个办法是限制可视范围。

瞬间转移传送的方式是一个不平滑的移动，但很多程序希望有平滑的移动，比如说打枪游戏，那么想提供一个很好的交互体验，往往会限制可视范围。

限制可视范围的好处是，人识别自己移动方向很大程度上靠周边的视觉，如果移动过程中，周边的视觉被限制了，你感知到的速度就会变慢，就不容易产生眩晕感。

你刚才提到Rec Room ，我怀疑是因为它默认给你提供的主要是平滑移动的模式，虽然限制了周围的可视范围，有些人比较敏感，会产生眩晕。

图/Rec Room游戏界面

《硅谷101》：Rec Room中的转角，可能就是一个突然切换，但是如果我刚进去游戏的时候，有一段路要自己走到门那边去，我人实际上没有移动，但我用控制手柄移动了，这就是我的认知没有欺骗到我自己。

杨俊睿：对，这就是你的图像和你耳朵里的不匹配。Beat Saber一点眩晕问题都没有的原因是，你只有真的在屋里做移动才会移动自己，而不是通过控制器移动自己，所以你看到的VR世界中物体的移动和传感器感知到的你的移动是完全一致的。

图/ 捷克游戏开发商 Beat Games 2018 年推出VR游戏Beat Saber

《硅谷101》：所以现在VR适合静止类的游戏和运动，并不适合大量跑动的游戏。这是现在VR游戏面临的技术瓶颈。

杨俊睿：可以这么认为，目前移动确实会产生一些适应的问题，但是我觉得也不一定是技术最终就能解决的问题，可能是一个最终会随着时代的发展被解决的问题。比如一些爷爷奶奶辈的家长看特别大屏的电视会产生眩晕感，因为屏幕足够大也会产生“看到的东西在移动，但人静止不动”这样的问题，但这是可以适应的。

《硅谷101》：这让我想起如果我去看电影，坐在前三排就可能就会产生眩晕。当这个电影画面在特别快速前进，我离画面足够近的时候，就产生了眩晕感。

杨俊睿：对，我想强调的就是，眩晕感是可以通过反复尝试而消失的。过20年以后，当所有人小时候都是用VR/AR，就根本不用适应，从小就没有这个问题。

《硅谷101》：还有晕车是不是也是这个道理？

杨俊睿：是这样，就是晕多了就不晕了。我认为现在VR 移动最需要解决的是，不应该通过手部运动来调节腿部运动。有人还做了那种跑步机的VR，让你的腿去做腿该干的事，手做手该干的事。

但实际上还是会有不匹配。在现实中你的头没有动，在虚拟世界中动了，好处是现实中你现在这种脑袋在上下动，你耳朵里面的传感器收到的信息非常复杂，就不那么容易注意到头没有前后移动。所以眩晕的问题不是完全能通过技术解决的。

《硅谷101》：你有玩过 VR Sandbox 吗？玩游戏的时候手和脚都要带上 VR 传感器，它的游戏场景挺多的，但不会眩晕。

图/VR游戏 Sandbox

杨俊睿：正好提到了另一个VR 移动的方式。前面提到的VR移动方式是快速不连续的传送，或者说连续用推杆方式移动。还有一种可以认为是像Beat Saber一样，是没有特殊移动的方式。

具体来说，虽然只有一个有限的3米×3米范围的区域，但我可以通过复用空间的方式，让你感觉好像去了很多地方。如3X3米的房间被规划成4个不同的房间，而每次你绕回原来那个房间的时候，房间已经发生了变化，这就意味着可以把无限多种类的空间，叠加在有限的空间之内。

这样做的好处就是完全不眩晕，因为在任何位置，你的眼睛里看到的和感知到的移动是一致的，但你的高级认知会有一点混乱。

在现实世界里，你往前走三米，往左走三米，往右走三米，再往后走三米就回到原地了；你可以设计一个VR游戏，往前走三米，往左走三米，往右走三米，再往后走三米，又到了一个不同的地方，一些人称之为“非欧几里得空间”。你可以设计一个“非欧几里得空间”的VR游戏，它可以有很大的空间，但是它的问题是会给人带来一些疑惑。

如果你知道我要去隔壁的咖啡厅，我知道往前走往左走往右拐走100米就到了。但是在这样一个非欧几里得空间里，除非有一个导航一样的东西告诉你该怎么走，否则你的脑袋是很难记住这样一个叠加的很复杂的空间的。

三、VR世界中的交互方式

《硅谷101》：VR现有的交互方式是什么 ，未来可能还有哪些比较新的交互方式？

杨俊睿：第一，语音输入。有人在手机上做过实验，发现语音输入比打字更快，但目前语音输入还有些问题，一是没法输入语料库里没有的词，打字可以强行输入，可语音输入不行。二是很难输入符号，尤其打代码有很多符号，但很难用嘴把这些符号说出来。

我希望未来的程序是既可以说话也可以点击，而且我们每说的一句话都会影响界面，可以自由在两种模态之间切换。如果我需要快速地使用某些很复杂的功能，我就直接用语音，如果我需要非常精确的控制，如调节音量，我就可以直接按下按钮。

《硅谷101》：在学界的研究中还有什么更具有想象力的输入输出方式吗？

杨俊睿：现在有很多人在做眼动追踪的交互方式，它比按鼠标还快，因为人的眼睛是校准过的，我想看左边的一个单词，一瞄就瞄到了。但它还不是特别准，每个人戴上眼镜都需要花一段时间完成校准，而校准之后眼睛一动也不那么准了。

另一个问题是，我们眼睛动是一个无意识的状态，如果强行把它绑定到一个动作上，就会造成不适。比如我只想看一下这个字，并不想点击链接，但如果设定是看5秒钟就会点击，我还没看完字就变成点击链接的动作了。

还有人做的一个交互方式是，眼睛盯着链接旁的一个小球看才会触发动作，这样的好处是，眼睛需要做的是更加有意识的动作，也规避了准确度的问题。

《硅谷101》：你自己在玩游戏的过程中，有遇到过哪些让你比较印象深刻的交互方式吗？

杨俊睿：我玩过RecRoom游戏，在里面加好友就只需要握手就可以了。

在普适计算里，微信扫二维码加好友就是一个很方便的方法，可如果想做到一个人和另一个人握手就可以加好友是非常难的。但是在VR世界里，这就不是一个问题。因为VR系统知道一切情况，能感知到你跟对方握手了，你是想加好友。

《硅谷101》：目前AR/VR还有很多技术上的问题，包括交互以及移动中的眩晕等还没有被解决的问题。

杨俊睿：其实VR硬件、软件技术基本上够用了，虽然眩晕、触觉反馈等问题还没有被很好的解决，但分辨率已经足够高、手势追踪也足够好，是有很好的前景的。

从学术界看，主要问题就在交互，我们需要有足够好的方式去设计适合VR使用的程序，有了这些程序，人们才会真的愿意使用VR设备。AR还处于非常初期的阶段，我个人认为和VR还差了10年发展时间。

四、VR距离iPhone式大爆发有多远？

《硅谷101》：Facebook在2014年收购Oculus的时候，大家对VR的期待值非常的高，但后来也经历了一波技术的低谷期，但今年VR设备好像又火了，关注的人越来越多了，开发商也越来越多了。你觉得为什么今年VR会有一个爆发点？

杨俊睿：有些人可能会觉得VR是新技术，但VR在一九七几年就有了。VR和AR，人工智能，都是每10年会有一波浪出现，我们知道这一定是未来，但技术好像常常实现不了。

设备的运算性能和各种技术都成熟了一点的时候，就会有人开始搞研究，于是有很多进展，出现一波高峰。高峰会慢慢从学术界传到业界和应用。

学术界来讲，至少在人机交互领域AR/VR最近两三年都是非常火的。你去人机交互交互的顶级会议里，至少1/3的论文都是关于或者至少带一点AR元素的。

《硅谷101》：从你的角度，学术会议上，大家对 VR的和新型的交互方式讨论越来越多，这个现象是从什么时候开始的？

杨俊睿：从15年到现在，每年都比去年很多，VR/AR的论文数，类似指数增长的这样趋势。

图/电影《头号玩家》剧照

《硅谷101》：现在VR一个大进展是能提供分辨率足够高的一体机，这就意味着我们不需要再连手机了，上手使用也非常的轻便；另一个进展是在静止状态下解决了眩晕问题。这两个进展，是这一波VR能诞生出一批应用和游戏的原因。

杨俊睿：你说的非常对。这波VR为什么能有一些商业上的动作，就是Oculus Quest做得好。

Oculus Quest基本上可以被认为是，10年前所有的研究者想做，但根本不可能做出来的东西。它不需要连接显示器、电脑这类设备，是个一体的机器，消费者只要买一个设备就可以实现这些功能。

过去做VR的人想实现的一切功能，头戴显示器，两个手都是6自由度追踪的，所以能实现完整的系统功能。从目前来讲，Oculus Quest以及相似的一系列设备都向市场证明了设备硬件是成熟的，只需要开发合适的软件。

现在这一波还没有一个最合适的顶层设计，因为Oculus Quest还比较类似于iPhone之前的智能手机。目前设计VR的人还没有把交互做得足够好，不光头戴式显示器里面的操作系统要做得足够好，还要有足够的程序接口和样例程序。

在手机上，大家做的iPhone程序都一样，是因为苹果提供了一套开发者套件，用这个开发者套件开发出来的程序符合那些最优的设计元素，但VR还没有一套那么成熟的交互元素。

未来可能会有一个公司能够想出一个非常合适的开发框架，可以提供给所有人，让我们能够像开发普通游戏一样容易地开发VR游戏。

我认为这可能会在未来的5年内实现，硬件设备和开发者套件同时作用才能够真正让VR进入每一个人家里。

本文来自微信公众号：硅谷101（ID：svstyle），作者：王晶，采访：泓君