扫码打开虎嗅APP
本文来自微信公众号:差评(ID:chaping321),作者:基昊、YX,编辑:面线、小鑫鑫,头图来自:视觉中国
“ 啥?之前英伟达发布会上的老黄不是真人,是渲染出来的空气老黄? ”
今天早上托尼一到公司,就听到有几个同事,正围在一起讨论这个听起来有点奇怪的话题。
仔细一打听,原来是量子位发布的一篇文章,里面提到说老黄今年4月GTC的视频演讲,是电脑渲染出来的假人。
要是英伟达真的已经达到了这样的技术,托尼觉得人类进入到《刀剑神域》以及《头号玩家》的世界也不会太远了。
那到底是咋回事儿呢?
带着强烈的好奇心,托尼从头到尾去看了一下英伟达发布在计算机图形图像特别兴趣小组SIGGRAPH在今年的特别会议上,所发布的视频。
这是一支英伟达出的宣传片,标题是 “Connecting in the Metaverse : The Making of the GTC Keynote” (连接元宇宙, GTC主题演讲是怎么制作的)
里面有关 “空气老黄” 的部分大概是这样的。
在2020年推出RTX30系列显卡的时候,老黄第一次用到了自家的厨房来当作自己的演讲背景,也诞生了把显卡从烤箱里拿出来的名场景。
尽管这个创意很棒,但老黄觉得, “厨房发布会” (kitchen Keynote)还有进步的空间,毕竟观众都喜欢有新鲜感的东西。
于是在今年的英伟达发布会之前,老黄就给自家的团队派了任务,让他们整个新活,最好能秀秀肌肉。
而这段创意,就是是老黄在介绍自家的ARM CPU时,加上的转场特效以及后面的硬件介绍。
转场效果
根据这支官方影片给出的信息,托尼认为整场发布会除了这段之外,别的应该都是真人实拍。
而为了完成厨房 “百变金刚” 的特效,制作团队在老黄家厨房的角角落落,拍了上百张的照片取材,并把老黄厨房里的所有物件都做了精细的建模。
动画建模
他们还调皮的在其中一些物件上做了点彩蛋,比如他们在咖啡研磨器上打上了Nvidia的字样。
把橄榄油罐子的名称改为了自家的AI训练软件 “Tao” 。
最搞笑的是他们还在背景里放了一个老黄的乐高小人。
当然厨房的变化,是在为接下来的大场面做铺垫。
可以确定的是,在这个远景镜头中介绍CPU时出现的老黄,是建模合成的假老黄。
这段内容要是不仔细看,也确实不知道是真人,当时托尼看的时候,还以为这个场景只是简单的绿幕抠图特效。
当然,至于厨房里的老黄是不是 “假” 的,现在似乎引起了一些争议。
但实际上,制作团队真的是用建模和渲染的方式,造出了这么一个 “空气老黄” ,而渲染出一个活动的人,要比渲染静态的厨房要难上许多。
这个效果的呈现和现在电影和游戏中真人抠图CG的流程差不多,首先需要给老黄本人来一通360度无死角的3D扫描拍摄,包括了脸部和全身。
甚至还给老黄的皮衣单独做了扫描。
在有了基础的身体信息之后,再把这些照片导入电脑,建出了一个老黄的模型,为了让这个模型做到以假乱真,英伟达拿出来自己的看家本领——用AI来训练 “空气老黄” 的面部表情。
托尼感觉这个过程有点像前一阵大火的 “Deepfake” 换脸技术,只不过他们是把老黄真实的照片结合到老黄的模型脸上,真上加真,最后的呈现效果也更像那么回事了。
他们还用到了一个叫Audio2Face的软件,让老黄脸部的模型肌肉,能随着他说话的声音来做出变化。
至于身体的的动作,则是请了一位演员来模仿老黄在说话时的动作、形态,在用专业的设备捕捉完一系列的动作之后, “空气老黄” 就进入到最后的渲染阶段了。
巧了,这部分又是英伟达的强项,在用自家的光线追踪调整完效果之后,英伟达直接调用最不缺的GPU算力,分分钟把 “空气老黄” 打造到最佳状态。
大家发现了没有,这支影片表面上是在解密英伟达发布会的幕后制作,实际是秀了一波大肌肉。
繁杂的操作加上不同专业软件之间的协同,正常制作那么一个特效,肯定要花上不少功夫。那为什么英伟达可以做的那么高效呢?猝不及防的东西来了。
这是因为英伟达官方打造了一个叫Omniverse的平台,专门为各种图形处理软件,提供了很强的技术支持。
这个软件的灵感来自于一个叫 “Metaverse 元宇宙” 的概念,它原是指一个平行于现实世界的虚拟世界,所有现实世界的人,在这个虚拟世界都会有一个分身,很多轻小说和二次元作品都沿用过这样的世界观。
川原砾: “ 这个我熟! ”
说出来你可能不信, “元宇宙” 这个概念这两年在互联网上的热度真的很高,脸书的CEO扎克伯格还特意建立了一开发小组,剑指未来。
之前差评君有科普过相关的内容,想要了解 “ 元宇宙 ” 的同学可以跳转阅读一下。
而英伟达的Omniverse ,是把打造 “ 元宇宙 ” 的这些软件工具,一个个都串联了起来,提升创造虚拟世界的效率。
有一说一托尼觉得这个创意还挺吸引人的。
虽然说现在我们离那样的世界还很远,但Omniverse平台上的功能,也确实站在了生产者的角度在思考问题。
比如说在汽车行业,它就有着不小的作用。
Omniverse在宝马那,把它的超级工厂整个渲染出来,渲染的画面也极其逼真,包括各种材质上的灯光,以及工厂里工作的工人,都原原本本的渲染出来。
这还没有结束, Omniverse搭配AI还能对工厂的配置策略进行优化,针对不同的车型,能随时对流水线进行模块化的修改,从而更加准确的提高工厂的生产效率。
除了模拟造车,它还能模拟汽车试验。
比如可以在Omniverse里模拟汽车的风洞试验,获取风阻系数参数和各项测试数据。除此之外,它还能真实模拟出各类试验,既可以帮助车企节省试验成本,还能简化开发流程。
相比于做汽车试验,接下来这个训练自动驾驶就更厉害了。
目前汽车自动驾驶的数据采集,需要在实际的场景和道路进行,并且反复多次的训练,费时费力。
而Omniverse可以建立出更加特征鲜明的真实环境,在虚拟环境中进行加快自动驾驶算法的测试和视觉学习。
再举个例子来说,当前依靠端到端策略的自动驾驶车型,往往更加依赖车辆的视觉识别系统。
但它们经常会把路边广告牌的人像照片识别成真正的人,然后记录在册,这会大大降低视觉系统的训练效率。
而Omniverse所建立的模拟道路环境,并不会把路边的人像广告牌去掉,而是加强广告牌人像的特征,让AI能更好的分辨人和人像,就是分清什么是真人什么是人的照片。
之所以说它可以打造“元宇宙”,可能本质上还是因为它描绘的未来足够强大,也足够方便。
它不仅打通了各个专业领域3D建模软件的互通操作,还开放了统一的API ,让使用者们可以直接在平台上修改内容、替换素材。
这对于内容生产者来说, Omniverse避免了来回导出大素材量文件时的风险。
另一方面, Omniverse上的素材库和渲染功能,极大的缓解了建模软件臃肿难用的现状。
就拿建筑软件Sketchup草图大师来说,要是想在建完模之后进行渲染,大都会安装一个叫V-Ray的插件。
用过的都知道, V-Ray版本的匹配问题以及时不时的崩溃,经常让使用者欲哭无泪。
而且V-Ray在渲染的时没法做到实时预览,每次都需要先渲一张小图看效果,然后调整参数进行修改,并需要自己去添加素材资源。
而Omniverse上强大的实时渲染器和丰富的素材库,要是真的有想英伟达宣传的那么强大,那么对于创作者来说,这功劳不亚于盗取火种的普罗米修斯。
目前在Omniverse上,它支持Ps、虚幻引擎、Unity 、Maya 玛雅、Sketchup 草图大师、Rhino 犀牛、Revit 等绘图、建模软件,涵盖了建筑、游戏、工业设计、影视等各行各业。
对于图形工作者来说,属实是一大福音。
总的来说,英伟达构造的Omniverse在未来的前景,真的无可限量。
本文来自微信公众号:差评(ID:chaping321),作者:基昊、YX,编辑:面线、小鑫鑫