从苹果Vision Pro，看XR的技术挑战与机会

本文来自微信公众号：峰瑞资本（ID：freesvc），作者：颜黔杭（峰瑞资本副总裁），原文标题：《我们距离“头号玩家”还有多远？从苹果Vision Pro看XR的技术挑战｜峰瑞报告33》，题图来自：视觉中国

30多年前，钱学森先生提议将“Virtual Reality”翻译为“灵境”，并预言VR技术将成为促进人机结合以及人类社会进化的一个技术路线。世纪之交上映的《黑客帝国》三部曲，向观众展示了Matrix虚拟空间中真假难辨的虚幻与现实。

2023年6月的WWDC（苹果全球开发者大会）上，研发了7年之久的苹果Vision Pro面世。

Vision Pro是一款AR（Augmented Reality，增强现实）与VR（Virtual Reality，虚拟现实）融合的混合现实设备。从人机交互、硬件规格到操作系统，它的多项指标都为近年来处于探索阶段的XR行业带来了新的产品标准。因此，Vision Pro的面世也被行业评价为“XR（XR，extended reality，扩展现实）的iPhone时刻”。

从科幻电影中真假难辨的虚拟空间，到苹果的突破性XR设备Vision Pro，在本篇报告中，我们将层层深入，聚焦XR行业，探讨如下问题：

• VR/AR/MR/XR分别是什么意思？

• XR行业是如何发展起来的？

• AI技术的引入，为什么说苹果Vision Pro的面世被行业评价为“XR的iPhone时刻”？

• 挑选一台XR设备，可以关注哪些技术指标？

• 我们距离理想中的XR体验还有多远？

• XR行业进步目前面临的关键技术挑战是什么？

• XR行业有哪些创业投资机会？

一、XR：从幻想走向现实

30多年前，钱学森在一封写给时任“863计划”智能计算机专家组组长汪成为的信中，提议将“Virtual Reality”翻译为“灵境”，并在后续的信件中预言，VR技术将成为促进人机结合以及人类社会进化的一个技术路线。

▲图片来源：上海交大钱学森图书馆

世纪之交上映的《黑客帝国》三部曲，向观众展示了Matrix虚拟空间中虚幻与现实的交织。在科幻电影中，人们通过脑后“插管”等脑机接口技术，进入完全拟真的虚拟环境，与钱老对未来“人机融合”的“灵境”畅想不谋而合。

从科幻回到现实，2012年，创业公司Oculus首次在Kickstarter完成众筹，将VR设备带入了大众视野。Oculus后被Meta的前身Facebook收购。2016年，Oculus Rift发售，头戴显示器搭配上体感手柄的设计，成为了2016年VR元年前后业内主流的设备形态。HTC、索尼，以及国内的Pico纷纷入局推出各自的产品。

讨论虚拟现实，我们绕不开AR、VR、MR、XR这些概念，它们究竟指什么，区别在哪？

AR（Augmented Reality）通常被直译为增强现实。与虚拟现实VR不同，AR是将虚拟内容与现实物理世界叠加的技术。Google在2012年发布了Google Glass的原型机，是消费级AR设备较为早期的商业化探索。

▲2012年Google I/O大会上，跳伞员佩戴Google Glass准备跳伞。图片来源：爱范儿

MR（Mixed Reality）被译为混合现实，最早由科学家Paul Milgram 和 Fumio Kishino研究引入。2015年，微软发布HoloLens，让MR的概念进一步具象化，强调虚拟世界与现实世界的混合以及可交互。

▲HoloLens 1。图片来源：微软

MR与AR和VR似乎听起来都有类似之处，下图能够比较直观地体现三者的区别。

▲图片来源：Linkedln "The Difference between AR， VR & MR"

2017年，高通提出了XR（extended reality）扩展现实的概念，涵盖了VR、AR、MR的范围，成为了虚拟现实交互类技术的统称。此后，高通还推出了XR的专用平台和基础硬件平台。

二、苹果Vision Pro带来的技术和体验

苹果Vision Pro的面世被行业评价为“XR的iPhone时刻”。虽然目前Vision Pro尚未在市场上正式面向消费者发售，但无论是相关的媒体测评还是官方披露的技术参数，都为整个行业“打了个样”，展现出了过硬的技术和产品水平，也吊足了人们的胃口。

在外观上，Vision Pro的设计酷似潜水镜。边框在面部周围微微弯曲，更加贴合脸型，提升了佩戴的舒适度。此外，Vision Pro以VST（video see through）的方式实现XR功能。用户并非直接透过“眼镜片”观察外界，而是先由摄像头采集外部环境画面，再通过低延时把画面显示在眼前的屏幕上。

在系统上，Vision Pro采用的visionOS操作系统被苹果称为“第一个为空间计算而设计的操作系统”。visionOS与iPhone的iOS操作系统看上去有些相似。与iPhone不同的是，它的系统界面以立体空间感的形式呈现，可以实现眼睛、双手、语音交互的空间操作。

▲空间操作系统visionOS。图片来源：苹果

在硬件上，Vision Pro更是被业内称为“不计成本，极限堆料”。Vision Pro拥有12个摄像头、一个激光雷达传感器（LiDAR），再加一个M2芯片和一个R1芯片作为双处理器。其中M2负责图形计算，R1负责对周边环境和用户手势的感知协助。设备采用Micro OLED显示屏，拥有双目2300百万像素，这也是业内最高规格的显示水平。

通过软硬件的创新，Vision Pro提升了用户的体验，无论是在办公室还是家里，用户眼前的显示面板和数字内容都能与所处环境相匹配。

具体来说，Vision Pro从空间视听、五感交互、空间OS及内容生态三个方面重构了以往的XR体验。

首先，在空间视听方面，Vision Pro的屏幕像素密度达到3386PPI，估算空间分辨率（Pixel per degree）约为35左右，即视场角中平均每1°夹角内填充的像素点的数量为35，这相当于每只眼睛分到的像素比4K电视还多。基于苹果Airpods耳机积累的空间音频技术，用户可以通过Vision Pro辨别声音从哪个位置传来，获得更加精准的空间视听体验。

其次，在交互方式上，Vision Pro采用了“眼动焦点交互”和“手势交互”两种人机交互设计，无需手柄等其他外接设备。这种基于人类本能设计的交互方式被称为五感交互，也叫自然交互。

最后，在空间OS和内容生态方面，苹果一贯擅长将软硬件开发相结合，用软件系统的创新帮助打造更好的产品体验。这一次，苹果推出了空间操作系统visionOS。未来，或许会有更多应用接入visionOS系统，成为苹果产品体验的重要组成部分。

三、理想XR体验的关键技术要素

从Vision Pro公布的信息和目前媒体评测的反馈看，无论是Micro OLED带来的视觉体验，还是软硬件有机整合带来的良好交互和应用体验，都将用户视角下的XR体验带到了一个新的高度。并且，Vision Pro实现了VR与AR的无缝切换，相比于近年来的VR头显以及AR眼镜，实现了突破性的创新。

当然，Vision Pro的体验升级离不开技术上的“极致堆料”。

如果我们跳出当前现有的技术水平，满足用户预期的理想XR体验应该是怎么样的呢？

VR和AR的目标体验是有差异的。前者追求虚拟世界对真实世界的完全替代，后者追求虚拟世界与真实世界的无缝融合。

单从科学幻想的效果来看，未来的VR也许像电影《头号玩家》，让用户沉浸到一个全新的世界，完全用虚拟世界替代现实世界。这需要以视觉、听觉为主的完全拟真的感官体验。而未来的AR也许像电影《钢铁侠》，在现实世界中和虚拟面板进行交互，侧重于虚拟跟现实之间的无缝融合。

为了达到这样的理想状况，新一代的XR需要达到哪些技术指标呢？

接下来，我们基于用户体验，将评价XR所需的技术指标进行拆解：第一是视觉空间维度的指标，即单帧画面质量；第二是视觉时间维度的指标，即动态响应速度；第三是交互与佩戴的体验。

1. 视觉空间维度

①空间分辨率

空间分辨率反映了VR画面显示的细腻程度。

目前，智能手机屏幕的技术发展已十分成熟，显示效果接近于人眼视觉的极限。但VR设备与手机不同，屏幕距人眼仅在3~5厘米之内，是非常近场的显示。因此，评价VR的单帧画面质量时，我们通常采用的指标是空间分辨率（Pixel Per Degree，PPD）。

空间分辨率指视场角中平均每1°夹角内填充的像素数量，由显示屏分辨率和光学系统共同决定。理想情况下，每1°夹角的像素数越高越好。

▲图片来源：泡咖AI

人眼正常视力的分辨能力极限在50PPD~60PPD，PPD小于50，就能感受到视觉上的网格感，也就是所谓的纱窗效应。目前主流的VR产品PPD大约在19~25，比如PICO 4的PPD是20.6，距离理想值还有较大差距。

苹果Vision Pro则预估在35左右，虽然已经远超其他厂家的产品，但它的空间分辨率还需要提高75%以上才能满足拟真需求。目前为止，还没有消费级产品的空间分辨率达到40以上，而达到60以上才能对应普通屏幕单眼8K、双眼16K的分辨率。因此，显示芯片技术还有很大提升空间。

▲左上、右上、左下、右下依次展示了空间分辨率（PPD）分别为10、20、30、40的显示效果；图片来源：ANSYS-HFSS

②渲染质量

相信游戏爱好者一定不会对“渲染质量”感到陌生，它直接影响到游戏画面带来的沉浸感。对于主打沉浸式体验的XR来说，渲染质量同样重要。

渲染的四要素包含渲染对象的材质贴图、几何体模型、光照、采样精度等。这些参数越高，渲染质量越高，用户能看到的虚拟环境就越真实，沉浸度就越高。

虚拟物体以及环境的渲染，依赖计算机图形学中的实时渲染管线（Real-time Rendering Pipeline）。目前业内最先进的实时渲染技术是混合光线追踪渲染管线。

与下图Meta元宇宙公布的渲染效果相比，2020年出品的游戏《Cyberpunk 2077》中，已经用上了业内最先进的混合光线追踪渲染管线。

▲扎克伯格在Meta元宇宙中的自拍。图片来源：Meta

▲Cyberpunk 2077画面效果（2020年）。图片来源：Cyberpunk

从用户的视角来看，画面渲染质量如果不够好，会使虚拟环境的体验与现实差距过大，带给用户巨大的割裂感。

既然我们已经能看到十分精美的电影动画，为什么渲染质量还会成为XR的技术难题？

电影特效采用的是离线渲染方式，每一帧都提前花费大量时间渲染完成，再呈现到荧幕上。一部电影甚至需要数月的渲染时间，花费几亿资金。而XR却需要实时渲染，渲染后每个画面都会直接推流到屏幕上，对图形GPU的算力要求极高，需要极高性能的显卡。但高规格的显卡不仅数量较少，移动端的设备也无法支持，因此短期内，渲染质量仍然受限于算力。

2. 视觉时间维度

视觉的时间维度即动态响应速度。帧率是否够高，延时是否够短，直接关系到设备显示出的画面是否流畅丝滑，用户戴上设备会不会“头晕眼花”。

帧率代表画面每秒重绘的次数，以Hz为单位。帧率越高，意味着显示内容动态越流畅清晰。目前主流VR头显的帧率在90Hz左右。而手机与显示器的帧率已经向120Hz以上发展。

XR的“动作画面响应延迟”也就是MTP（Motion To Photons），是指画面数据在传输、渲染等过程中的时间差和输入指令处理的时间差造成的延迟。

过高的延迟容易造成用户的“3D眩晕症”。如果用户眼动、头动甚至身体移动后，画面在100毫秒之后才发生变化，用户就会明显感到仿佛醉酒的眩晕状态。理想状态下，延迟短于20毫秒才不会引起人体的敏感。

▲图片展示了，在XR设备中，由于运算造成的延迟。图片来源：ResearchGate

3. 交互与佩戴体验

①自然式交互

目前主流的XR产品仍旧依靠手柄这类外接设备作为交互方式，在操作便捷度和直觉匹配上仍有较大提升空间。比如，当用户戴上VR或者AR眼镜，看到眼前的物体，会本能地伸出手去抓。但受限于多数设备的技术水平，用户经常会感觉够不到眼前的东西，或者手直接从影像穿过去了。

自然式交互是指用户以自然、基于直觉的方式与设备进行交互。最符合自然交互的方式是手势结合眼动，以及语音交互，因为不需要额外配置控制器。Vision Pro走的就是自然式交互的路线。

触觉传感器也是一种自然交互的解决方案。但目前触觉传感设备相对昂贵，且不够稳定。所以，苹果Vision Pro在研发过程中放弃了触觉传感器的方案，选择了手势、眼动和语音结合的自然式交互。下面的图片是visionOS支持的一些操作手势。比如，通过放开和捏起手指，就能实现图像的放大缩小。

▲苹果Vision Pro的交互方式。图片来源：苹果

②设备轻量化

设备的佩戴体验是产品综合集成的结果，轻量化仍然是产品设计的方向。

当前VR类设备的重量平均在500g左右，尽管产品设计在人体工学上投入大量精力，佩戴时间过长仍然会造成不适。与之相对，AR眼镜的设备重量已经能降低到200g以内。

值得注意的是，轻量化应当是在前述几项技术指标完善之后，进一步追求的目标，如果以现有的技术水平一味追求轻量化，用户的综合体验就无法得到保证了。

四、XR进步的关键技术挑战

目前来看，XR行业面临的巨大挑战在于，用户期待更好的产品体验，但当下的技术暂时还满足不了用户的高期待。和台式设备不同，XR设备只能借助移动端有限的算力和显示设备，并且XR设备功耗又偏高。

站在科技创业投资的角度，峰瑞一直关注关键技术点的突破，及其带来的爆发性商业机会。XR行业在2016年经历过一波热潮后，逐步沉淀下一些有商业化价值的B端需求，例如教育、工业巡检。而在C端，更好的产品体验背后，离不开关键技术迭代。

拆解了相关的技术指标，我们认为技术研发的关键挑战在于提升XR的视觉体验。这背后不仅涉及到硬件端的显示模组与光学系统方案，也依赖软件层面CG实时渲染技术的进一步发展。此外，如何改善画面运动延迟、提升沉浸感也是目前XR设备的一大痛点。

1. 下一代显示模组：Micro LED

人们在XR设备里看到的屏幕主要是由显示模组构成的。目前显示模组主要有Fast-LCD、Micro OLED和Micro LED这三种技术方案。

▲图片来源：安信证券研究中心

Fast-LCD制造成本低，已经实现大规模量产，但响应速度相对较慢。

Micro OLED具备高像素密度、高对比度的特性。但OLED是一种有机材料，容易老化，并且亮度比LED低不少。

相比于Fast-LCD和Micro OLED，Micro LED或许是下一代显示模组更理想的方案。根据智东西报道，苹果已投入大量资金开发Micro LED。苹果于2014年5月收购LuxVue，该公司主营Micro LED 业务，拥有多项可用于苹果设备的Micro LED专利。

Micro LED兼具了LCD和OLED的优势，同样具有拥有高像素密度、高对比度、高分辨率等多重特性。Micro LED的亮度理论上可以达到10万尼特以上，高于Micro OLED两个数量级。并且，由于Micro LED在生产过程中不易受到污染，因此良品率更高，寿命也更长。

目前，全彩色Micro LED还处于研究阶段，没有实现大规模量产。如果要制备全彩色Micro LED，主要有三色集成和量子点转色两种路径，两种方案都处于技术早期，存在不同程度的挑战。

三色集成方案对微观制造工艺的要求非常高，需要所有单色器件具备较好的一致性。三色集成方案中，红光器件在尺寸缩小到微米级别甚至更小时，发光效率远低于绿光和蓝光器件。量子点转色方案则可以规避三色集成方案中的工艺难点，直接使用相对较成熟的蓝光器件作为光源，使用量子点材料转色得到红光与绿光。

然而，不吃工艺的苦，就要吃材料的苦。目前的量子点材料容易老化，使用寿命较短。另外，量子点器件的变色层有时会漏光，产生相互串扰。

由于工艺相对简单，量子点转色是目前大部分创业团队的主流选择。但从投资角度来看，两种技术路线仍处于竞争中，还需等待一个相对更成熟的关键点。不管哪一种路线最终胜出，都将推动Micro LED技术的产业化。我们将持续关注Micro LED相关的工艺、材料以及设备等方向的技术创新。

2. 光学设计

XR设备屏幕离人眼很近，人眼很难聚焦。所以，人们需要设计一套独特的光学系统，让光线在狭小的空间内多次传导，使人眼能够清晰聚焦显示面板上的内容。

▲VR设备的光学设计方案。图片来源：智东西

▲AR的衍射光波导方案。图片来源：Digilens

目前，在VR领域，Pancake超短焦折叠光路方案已经成为新款头戴设备的主流选择。当前苹果Vision Pro、字节旗下的Pico4均采用此方案。据财联社报道，Pancake解决了VR模组过于厚重的痛点，可将机身厚度降低约50%。

而在AR领域，衍射光波导方案将成为AR主流的光学设计，整体结构轻薄，视场角FOV与分辨率高。但目前衍射光波导技术的整体成熟度还不够高，存在色散（由于光线的折射和散射现象导致的色彩偏移现象）和光损控制（光在传播过程中的亮度损失）的问题。

往前沿的方向看，超透镜（Metalens）与微透镜阵列是行业预期的下一代XR光学技术路线。超透镜是使用超表面（一系列亚波长厚度的平面二维结构材料）聚焦光纤的平面透镜，可以实现对入射光线振幅、相位、偏振等参量的灵活调控。

微透镜阵列在概念上与超透镜类似，是由一系列微米级别的微小透镜构成的阵列，可以实现传统单光学镜片无法实现的复杂功能。Intel基于异构微透镜阵列技术研发出了180°FOV的小型紧凑VR头显设备。

超透镜（Metalens）与微透镜阵列这两个技术路径的优势就是集成度更高，可以用更小更轻薄的光学系统，满足XR设备的显示需求。尽管这两种方案尚处于研发初期阶段，但已经展示出非常强大的应用潜力。

3. 实时云渲染

我们在上文提到，移动端设备算力有限，XR设备难免受限。如果能将渲染挪到“云端”，也就是“实时云渲染”，可能会突破算力约束、实现高质量实时渲染。当前，实时云渲染最直观的应用就是云游戏。

但实时云渲染的实现有两个技术难点。

首先，实时云渲染仅局限于单GPU，暂不兼容分布式运算，这一点和AI大模型天然支持分布式计算不同。

目前，业界正在探索在XR领域实现多卡分布式渲染，提高算力，但进展较为缓慢。如果未来分布式渲染能够实现突破，可能我们在使用VR设备时，就像我们今天能够在手机上使用AI相关的应用，体验到远超移动端本身的算力性能。

实时云渲染的另一个难点在于，它增加了基于网络的视频推流环节，更难控制画面延迟的问题。针对视频的网络延迟控制，视频编解码优化与端云异步渲染是当前主要的发展方向。

视频编解码优化是指，在视频推流时用一套云端专用的编解码定制芯片替代CPU和GPU，来优化延迟。它可以把整个编解码的时间降到1毫秒以内，并尽可能压缩各个环节的时间。

端云异步渲染是指将画面渲染与终端显示并行执行。云端渲染好基础画面，终端根据用户位置和姿态二次计算得到实时画面，从而减少延迟。

所以，渲染的技术进步中，不仅有移动端硬件的机会，比如在更高节点进行网络通讯和数据通讯；在软件层面，也有更适合云端渲染的新渲染技术的机会。

4. XR专用协处理器

从2023年上半年开始，主算力芯片加协处理芯片的双芯片方案已经成为XR业内的主流处理器方案。通过一个XR协处理专用芯片为主芯片排忧解难，两个芯片共同配合工作，能够有效提升使用效果和计算效率。

作为负责空间计算和感知的专用芯片，用于XR的协处理芯片相当于以前手机上的M系列芯片，它可以实现前端摄像头加传感器数据的感知合成、SLAM建图、Mapping及手势跟踪等复杂功能。主处理芯片则只需进行核心逻辑运算。

苹果Vision Pro中，R1芯片作为协处理器，负责处理来自12个视觉摄像头，5个传感器，6个麦克风输入信号的数据处理工作，实现空间计算所需的姿态跟踪、眼动跟踪、3D环境感知以及手势跟踪等核心功能，动态延迟仅有12毫秒。

▲图片来源：半导体产业纵横（作者：千芯科技 陈巍）

目前协处理器所执行的任务仍相对简单。未来，分区渲染、双眼焦点的渲染等更复杂的功能或将逐步转移到协处理器上运行，我们认为，随着苹果的示范效应，未来协处理器的定义和功能仍有机会拓展，并解决更多面向XR的专有需求。面向XR行业的双芯片架构将会在未来成为主流趋势。

五、总结

站在科技创业投资的角度，峰瑞一直关注关键技术点的突破，及其带来的爆发性商业机会。苹果的Vision Pro既为XR行业打了个样，也将助力XR领域吸引更多的关注与创业资源。

而XR设备想要实现更好的产品体验，离不开关键技术迭代。当技术不断成熟后，XR设备能应用到更多场景，为更多用户带来实打实的核心价值。

我们认为，技术研发的关键挑战在于提升XR的视觉与交互体验。这背后不仅涉及到硬件端的显示模组、光学系统、交互模组，也依赖软件层面CG实时渲染技术的进一步发展。此外，如何改善画面运动延迟、提升沉浸感也是目前XR设备的一大痛点。

我们也会持续关注在MicroLED、新型光学系统，以及CG实时渲染等相关软硬件技术的突破。这些技术革新将助力XR设备未来成为下一代移动计算设备，甚至有可能创造出类似于智能手机替代传统PC的大变革机会。

畅想未来，可能在几年内，用户戴上XR设备之后，就能像钢铁侠那样去体验各种各样XR带来的一些有意思的新应用。这些新应用不仅是提升生产力的应用，还包括娱乐应用。也许那时候，我们无需攒人品去抢一张周杰伦的演唱会，通过XR设备，就能沉浸式地从家里的沙发，瞬移到鸟巢体育场的座位。

本文来自微信公众号：峰瑞资本（ID：freesvc），作者：颜黔杭（峰瑞资本副总裁）