苹果的“空间重构”，与一台90年代的“欺诈相机”

本文来自微信公众号： 爱范儿 ，作者：关注明日产品的，原文标题：《苹果的「空间重构」，与一台 90 年代的「欺诈相机」｜硬哲学》

苹果在即将正式推出的iOS 27中，给相机/相册做了一个「空间重构」(Spatial Reframing)功能：

开启「空间重构」后，用手指在照片上划动，你会发现照片像是有了「深度」；如果继续划动，出现了原图中被遮挡的区域，Apple Intelligence会实时生成填补。通过「空间重构」你可以对原图的场景，创建一个从并未被拍摄的角度「拍摄」出的副本。

一张静态的照片，原本不携带任何深度信息。而苹果利用在空间计算的经验，可以从中推断出深度。

这里还有几组照片，看看效果：

对不起，我骗了大家。虽然看起来很像，但这些并不是「空间重构」的样片。

但如果我告诉你，这是一台来自上世纪的古董相机拍出来的，你会不会稍微有点惊讶？

以上照片，是胶片摄影师Jason Kummerfeldt(YouTube:@grainydays)用一台发布于1989年的Nishika N8000胶片相机所拍摄下来的，原理简单且暴力：

它平行放置了4个镜头，可以同时拍下4张同一场景、视角平行但具有细微差异的照片——更准确来说，4张135画幅的半格照片，占用两格胶片的位置。

Nishika的宣传策略是将其定位为「能拍摄35mm胶卷的3D相机」。至于如何实现所谓的3D效果，则需用户将胶卷回寄给Nishika，由该公司冲洗并印刷成具有所谓「裸眼3D」效果的光栅照片：

光栅照片算不上黑科技，但在上世纪末，一台能自己拍出裸眼3D的相机还是颇具想象力的。只是这个美妙而前卫的创意背后，却藏着一套复杂的骗局：

首先，Nishika这个名字给人营造出一种日式精密光学的感觉，然而该公司注册于美国内华达，总部位于拉斯维加斯郊区，生产则在香港以及中国大陆完成。

其次，产品本身的质量也令人难以恭维：低质量塑胶镜头，对焦采用小光圈泛焦，快门固定1/60秒；机身看起来像是单反，内部却没有棱镜，顶部凸起只是空心塑料壳；机顶贴着伪装成液晶屏幕的贴纸，热靴其实是冷靴；Nishika甚至在机身里塞了一块配重，只为让手感显得沉甸甸。

Nishika的主要销售策略是通过电话或邮购渠道购买，后来甚至还发展出了几乎原样复刻安利的传销模式——果不其然，在产品问世一年后就被美国监管部门以电信欺诈等罪名发起调查。

1994年，Nishika因资不抵债宣告破产，其运营的光栅冲印服务也随之消失，让N8000回归成了一台质素令人难以恭维，但又在半格摄影这件事上打了鸡血的垃圾相机，二级价格一度跌至几美元。

合成全新的视角

爱好者圈子里总会有两种商家：一种站在巨人的肩膀上攫取利润，商业上成功但被所有人所鄙视；另一种用热爱开创新的空间，推动领域进步，但往往商业上难以持续。

Nishika属于前者，而另一家名为Nimslo的公司，也是Nishika几乎全部的技术来源，属于后者。

如果说Nishika的故事是一场打着高科技幌子的跨国传销骗局，那么Nimslo则更像是真正具备技术、志向远大，却最终悲情离场的「天才发明家」。

上世纪70年代，香港工程师卢国华(Allen Kwok Wah Lo)实现了从多镜头3D胶片相机到光栅印刷的全流程闭环，攻克了高精度立体摄影的难题。

美国商人杰瑞·尼姆斯(Jerry Nims)嗅到了商机，在香港和卢国华一起合伙组建了公司，后来又将总部搬到了美国亚特兰大，并在1976年提交了专利。他们的公司名叫Nimslo——取自二人的姓。

Nimslo的第一款同名产品Nimslo 3D相机于1982年问世。该公司还得到了天美时手表(Timex)的老板、挪威船王弗雷德·欧尔森(Fred Olsen)注资1700万美元，并且将生产线设在了苏格兰的天美时工厂。

雄心勃勃的Nimslo原本计划年产40万台3D相机，然而一系列致命灾难接踵而至，将公司拖向深渊。

首批相机出货时，天美时苏格兰工厂爆发罢工，Nimslo临时找日方外包，错过上市黄金期；光栅照片无法在常规照相馆印刷，用户必须寄回美国唯一指定中心进行冲洗和印刷，而且工艺的限制导致废片率高，收费昂贵，消费者需要等待数周时间，体验极差。

Nimslo 3D采用4颗日本制造的高品质光学玻璃镜头，自动曝光系统还能够根据光线自动调节光圈快门，在当时相当先进；纯金属机身紧凑，做工扎实，轻巧且高级——代价是在当时高达200美元的售价（折合今天700美元左右）。而考虑到前述的印刷体验问题，产品的实用性并不高。

在烧光数千万美元的投资之后，Nimslo终于撑不住了，在1986年宣布破产。而如果你看到下面这张两款产品的对比图，应该明白过来：Nishika把Nimslo给接盘了。产品配置全方位缩水，加上前面提到的种种欺诈玩法，却仍然没有拯救这家新公司以及4眼3D相机的命运。

当今天的人们谈论起空间摄影/空间计算的先驱，想起的可能是苹果「空间重构」、Vision Pro，或是2016年iPhone 7 Plus的「人像模式」（双摄背景虚化）。

也可能是14年HTC One M8的后期重对焦，或者18年Facebook的3D Photos——这些都是「单张照片+深度信息=空间照片」的大规模消费级应用。

更别提在相机领域，还有光场相机这样的怪物存在。

Nishika以及它的前身Nimslo，并不是典型意义上的空间摄影先驱。

但是，如果我们静下心来想一下，由Nimslo所创造并首次在消费级产品上完成实践的多镜头相机，和空间重构、人像虚化、重对焦、3D照片——它们其实都在解决同一个图形学、光学、AI领域的难题：

「新视角合成」(Novel View Synthesis)。

从21世纪10年代开始，人类所掌握的技术就已足以「凭空」合成出并不存在的相机视角。先辈们的解题思路，是直接堆砌镜头。而这一思路的集大成者。可能就是「光场相机」。

光场相机的故事

公允来讲，Lytro并没有受到Nimslo的影响。但你会发现这两者在很多角度上都极为相似。

尽管两者分处模拟(analog)时代的末尾和数字(digital)时代的全盛，在相隔半个世纪的时间里走着不同的路，Lytro多镜头阵列的思路事实上与Nimslo试图解决的，是同一个难题。

在Lytro的所有公开资料中，没有任何将其与Nimslo建立关联的提及。但将两家公司的专利、所做的事情放在一起，会发现它们用不同的语言描述同一个欲望。这不算是抄袭，更像是在各自时代独立攻克同一个问题——颇似牛顿和莱布尼茨各自发现微积分——当然，Nimslo的工作要「粗浅」的多。

这个定论或许夸张，但如果我们回溯Lytro的学术传承，就会发现两者相似的端倪。

时间回到20世纪初，法国物理学家加布里埃尔·李普曼(Gabriel Lippmann)发明了基于光的干涉现象进行彩色摄影的方法，在1908年荣获诺贝尔物理学奖。

在另一项摄影试验当中，李普曼在感光乳剂前放置了一层紧密排列的小型球面透镜阵列，使得单张成像介质可以记录从多个略微不同位置拍摄的「场景图像」；观片时，观察者移动头部就能看到这些从不同角度记录的画面。李普曼将其命名为「积分摄影」(integral photography)。

受制于材料技术，李普曼只能提出理论，无法提供实验结果。但这成为后世光场相机和「新视角合成」的重要理论基础。

整个20世纪，相关概念在零零落落的学术文献当中有所提及，实践层面则一直没有进展。直到1996年，斯坦福大学图形学教授马克·勒沃伊(Marc Levoy)和帕特·汉拉罕(Pat Hanrahan)在SIGGRAPH上发表了著名的「光场渲染」论文。他们不仅提出了光场数据的数学表示，还搭建了能够验证理论的物理装置：在一个房间里摆满相机，全部连接到和冰箱一样大的超级计算机上。

尽管算力需求恐怖，整套装备也太大，勒沃伊等人证明了一件事：只要捕捉了足够的光场数据，就可以在后期合成的虚拟空间中自由移动观察点，生成从未被真实拍摄过的视角。「新视角合成」时隔一个世纪，终于迎来曙光。

2002年，马来西亚人吴义仁本科毕业后加入了勒沃伊领导的斯坦福图形实验室(Stanford Graphics Lab)，延续光场理论的实践研究。

有一次给朋友的女儿拍照，小女孩太活泼，每次按下快门都拍糊了。「有没有办法，能够先拍照，后对焦？」

这个想法在吴义仁的脑海中挥之不去，他花了大半年的时间里在实验室和自己的家中，组装出了世界上第一台能真正工作的手持光场相机原型：一台康泰时645中画幅单反相机，挂载了一个在当时极为奢侈的飞思H20中画幅1600万像素数码后背。

但真正的魔法在于吴义仁自行改装的微透镜阵列：在主镜头与CCD的光路之间，插入一块定制的塑料微透镜阵列薄片，由大约292 x 400个微小透镜组成。

每个微透镜都会在传感器上投影出微小的光圈像，使得传感器不仅记录了光线的平面位置，还可以后期用算法来还原光线入射的角度。

2006年，吴义仁的博士论文「数字光场摄影」(Digital Light Field Photography)斩获ACM（计算机学会）最佳博士论文奖。

毕业后，吴义仁暂别学术界，创立了光场摄影技术公司Lytro。2011年，第一代Lytro相机上市，它将吴义仁在斯坦福期间改装原型机的光路机构原版复刻，但实现了小型化，装进了一个看起来像是万花筒的设备里，当时售价399美元。

这款产品在当时引发震动，传闻史蒂夫·乔布斯专门找到吴义仁了解关于光场摄影的更多细节，研究该技术是否有利于改进iPhone。

正如前面提到，Lytro从未在公开和已知的私下场合提及Nimslo/Nishika，但两家公司的定位确惊人般相似：他们都曾宣称自己是「继柯达和宝丽来之后摄影的第三次革命。」

冥冥之间，Lytro也复制了Nimslo的命运：第一代产品的分辨率对于2011年水平来说实在太低，第二代Illum的定价高达1599美元，尽管极具前沿属性，仍然无法得到市场的认可。

反倒是2014年的HTC One M8，只用双摄像头和简单的后期算法就做出了重对焦功能，摸到了Lytro的七成功力——实际这就足够了，毕竟One M8除了准光场摄影能力之外，还是一台无锁价格$649的智能手机。

2016年，Lytro的商业实践基本宣告终结，其消费业务的相关资产、专利以及绝大部分员工被Google收入囊中。（巧的是，次年Google也以类似的方式包揽了HTC的消费业务与专利）。

Lytro的遗产像种子被风吹散，在别处生根发芽：在Google，Lytro的部分前员工和资产专利构成了VR/AR以及Pixel部门的技术储备；还有一部分前员工去了比Lytro晚几年成立的硅谷相机公司Light，延续光场摄影的理想。

下图中就是Light开发的光场相机L16。同样令人唏嘘的是，Light的结局并没有逃离前辈Lytro的剧本，当时大部分手机厂商已能将三、四颗摄像头塞进手机，该公司后来也退出了消费级市场。

开枝散叶

Lytro创始人吴义仁离开公司后重返学术界，前往UC伯克利任教。

他有两个博士生：本·米尔登霍(Ben Mildenhall)和普拉图尔·斯里尼瓦桑(Pratul Srinivasan)。他们后来在2020年提出了神经辐射场(Neural Radiance Fields,NeRF)的全新概念。

NeRF不仅承袭了吴义仁的光场摄影技术研究，更颠覆了计算机对3D场景的表达方式：

在此之前，主流方法是「显式表达」——点阵云、体素、3D mesh。这种方式在解决透明材质、毛发、雾气、反射等场景时效率不高，工作流也比较反人类；NeRF用「隐式表达」取而代之，不再需要定义具体的表面，而是利用神经网络将整个空间渲染成连续、带有颜色和透明度的「非均匀迷雾」。

不夸张地说，NeRF是近年来计算机视觉和图形学领域的最关键突破之一，可以被理解为3D领域的Transformer。

下图就是单张照片使用NeRF渲染效果，是不是已经很像光场摄影以及苹果的「空间重构」了？

它证明了神经网络本身可以作为全息的3D存储介质：一个小小的模型权重文件就足以压缩一个理论上分辨率无限、光影变化无限的世界。

NeRF还直接促进了「神经渲染」这一全新学科的繁荣。随着Stable Diffusion、Midjourney等生成式AI技术爆发后，人们很快意识到可以利用NeRF将2D扩散模型的先验知识应用到3D领域。

今天所谓的「世界模型」，比如文生3D、图像生成3D，以及影视和游戏工业中的AI生成资产——底层很多都是从NeRF衍生而来。不仅如此，NeRF还终结了早期视频生成模型（如Sora 1等）的空间一致性幻觉。

2023年，3D高斯泼溅(3DGS)的问世，又解决了NeRF训练慢、渲染慢（无法做到实时60fps渲染）的问题，可以说在一定程度上「杀死」了NeRF。但3DGS也继承了NeRF最核心的思想：可微体渲染以及基于图像的逆向协同优化。

在世界模型如火如荼的语境下，NeRF启蒙了世界模型对于3D几何和光影一致性的认知，3DGS则成为其落地的工业基石。

如今，NeRF作者之一米尔登霍（下图左）也是世界模型公司Wolrd Labs的联合创始人。

在学生忙着把博士论文变成产品的同时，马克·勒沃伊于2014年从斯坦福大学荣休，全职加入Google，进行计算摄影方面的研究。

在勒沃伊的带领下，Google的计算摄影团队走了一条不同的路：不在硬件上做功课，而是用算法与光影「玩游戏」，推出了备受用户喜爱的Google Camera，以及后来的Pixel手机计算摄影技术。

在Nexus 6手机上首次推出的HDR+，会在按下快门时在缓存区里实时保存多张曝光数值各异的照片，然后合成出一张动态范围远超手机传感器极限的照片。

HDR+的底层原理类似于曝光包围，但算法的参与深度远超于此。它能够分析所有图像找到最清晰的一张进行选择性对齐，使用语义分割技术人脸并提亮，同时避免高光过曝和运动模糊。

为了突破成像的物理极限，你可以靠堆硬件来投机(Lytro)，也可以用算法来取巧(HDR+)。而Levoy的团队很快证明了，算法不仅能够突破极限，甚至可以无中生有。

2018年，Pixel手机推出Night Sight夜景模式，让用户即便在几乎无光的环境下拍出干净、细节充分、白平衡准确的照片。效果过于震撼，被媒体形容为「魔法」。

Night Sight会自动连续捕捉多帧长曝光照片，用于算法融合。考虑到极暗环境下传统测光会失效，白平衡容易被灯光带偏，Google的魔法是引入了一个专门的、学习了日光下正确色彩的神经网络，在Night Sight中负责「脑补」，修正色彩。

勒沃伊的团队对于Pixel人像模式同样贡献巨大：仅依靠单镜头配合神经网络，即可从平面照片中「猜」出深度。在边缘、毛发等难题上，仅靠单摄就能工作的Pixel一度胜过早期依赖双目视觉的iPhone。

在2018年用一颗1200万像素的落后摄像头，却掀翻了所有对手堆满硬件的桌子。勒沃伊在Google计算摄影方面的工作，给整个行业以及市场带来了巨大的震撼。

行业终于明白了一个道理：手机相机的上限，其实不在硬件，而在算法。次年苹果的夜间模式、三星的超视觉夜拍纷纷跟进，整个手机行业自那以后也全面步入拍照靠「算」的计算摄影时代。

2020年，勒沃伊离开Google假如Adobe，担任副总裁兼研究员。2025年，他辅导的团队推出了一个再次震撼手机摄影圈的项目。

它就是Project Indigo，重新定义了手机图像处理管线，通过多帧合成、RAW域降噪、色彩重建等技术，让iPhone照片看起来像是用光学素质远高于iPhone的专业相机所拍，进一步突破硬件的极限。

Project Indigo收获了几乎一边倒的好评。他实现甚至超越了「像单反」这个陈旧的目标，让人们意识到，当算法足够强大，传感器尺寸、镜头光学早已不再是手机摄影的瓶颈。

用有限的信息，创造无限视角

最后回到苹果的「空间重构」。

2022年，苹果在ECCV上发表NeuMan论文，阐释了用NeRF技术进行人体模型和场景重建；去年，苹果接连在ICLR、CVPR上接连发布Depth Pro、Matrix 3D、SHARP三篇论文，为「空间重构」打好了研究基础。

简单来说，空间重构的研究分为两个阶段：一阶段是单镜头估算深度，从照片中构建深度图；二阶段是单镜头合成3D高斯泼溅数据，让平面照片也能改变视角。

SHARP是一套前馈式神经网络。对比来看，NeRF需要为每个场景训练数十分钟到数小时，而SHARP只需要训练一次模型，完成后即可在任何照片上直接推理，1秒输出上百万级的3D高斯点。

Depth Pro则解决了单镜头从平面照片中推断深度这一更基础的问题，最快0.3秒就可输出高质量深度图。

Depth Pro和SHARP合在一起，思路逐渐明朗：苹果可以不再依赖多摄像头实现相关功能，底线是一颗摄像头就足以榨出所需的全部信息。

WWDC同期苹果宣布，Vision Pro全景转换、地图鸟瞰体验等全面转向3D高斯溅射。从OS 27这代开始，戴上Vision Pro看一张全景照片，或打开苹果地图飞越城市时，看到的不再是传统3D模型，而是数百万高斯点云实时渲染。

但是在前述的论文中，苹果还是明确致敬了NeRF，称其为「彻底改变了隐式3D场景表达与新视角合成的开创性工作」。

一切始于19世纪摄影技术萌芽同期，人们对于「裸眼3D」的向往，现如今通过软硬结合、AI算法等多种不同思路，我们已经实现了对于光场的捕捉，甚至仅需单目视觉即可合成出极为精确的空间信息。

这是一部围绕新视角合成这一经典难题，横跨200年的技术发展史。

从iPhone的摄像头，到Lytro的光场照片，再到Nimslo的3D光栅成像，以及围绕「计算摄影」这件事的无数伟大的发明和美好的体验，它们指向一个相同的，古老的愿望：

用有限的信息，创造无限的视角。