本文来自微信公众号：大数据文摘（ID：BigDataDigest），作者：牛婉杨，原标题为：《一个画面，两条时间线！用AI改写视频不同主角时间，效果堪比大片》，题图来自：《信条》

前阵子大热的电影《信条》你看了吗？

无论是从剧情还是制作上这部电影都掀起了一阵舆论浪潮。影片中令人印象最深刻的无疑是几场“时间钳形大战”，高度还原了时间逆转的整个过程，而不是直接跳转到过去的某个时间点。

为了把时间在不同方向上的运行真实的展示出来，导演诺兰表示，在这部电影中用到的特效镜头不到300个，甚至可能比大多数的浪漫喜剧电影还要少。真是让人实名瑞斯拜。

诺兰尽量坚持实拍也是他自己的“信条”，但随着科技的进步，不可否认，技术能做到的事情越来越多。

这不，最近谷歌和牛津大学的研究人员发表了一款“视频剪辑新利器”，可以“重写时间”！

在视频里可以只对特定人物的动作实现快进、慢放甚至删除等，而不影响画面上的其他人物，还可实现多种特殊动态效果。来和文摘菌一起看看吧。

当深度神经网络学会了“掌控时间线”

先来看一个例子，这里有一个孩子们跳水的视频，原视频中他们是分别跳入水中的：

研究人员用了一种全新的深度神经网络进行视频处理，成功的做到让他们一同跳入水中！见证奇迹的时刻：

是不是完全没有修改痕迹，看起来是如此的自然流畅。

这就是谷歌和牛津大学研究人员提出的“时间重写术”，他们训练了一种深度神经网络，学习如何将视频分层分解。

这个模型不仅在不同的层中分离了人的运动，而且还可以捕捉与那些人相关的各种场景元素（例如，孩子们在水中溅起的水、阴影、映像）。当视频中的人被“重写时间”的时候，这些相关的元素也会自动与他们一起重新计时，这使得研究人员能够为各种重新计时的效果创建真实的视频重染。

再来看看这个“时间重写”大法还能做出什么毫无违和的视频~

“冻结时间”

如下图所示，这里有两对小朋友在跳拉丁舞，可以看到，在原视频中从视频开始他们就一直在跳。

接下来，就要“冻结时间”了！就像我们在电影中看到的那样，有超能力的主角可以在众人静止的时候活动。那么未来这种特效似乎可以放心的交给AI了！

就像这样，AI可以对时间进行偏移，例如偏移时间为1秒，我们可以看到右侧这对小朋友静止了1秒才开始跳，自然他们的舞蹈动作相对左侧的对照组也会随之延后1秒。

除此之外，这个神经网络还可以随心所欲的控制“冻结”谁以及“冻结”时间，比如跳到一半让右边这对停一下~

左边这对先停一下再跳也没问题~

你以为就这？？当然不止。这个神经网络还可以让视频中的人物变成“重影”的效果。

人物叠化

在进行视频剪辑的时候，有一种叫做“叠化”的转场效果不知大家是否有所耳闻。什么意思呢？就是在视频中两个片段切换的时候，为了让切换效果更加自然而采取的一种过渡手段。也就是说，前一个片段的结尾和后一个片段的开头重叠在一起。

而谷歌和牛津大学研究人员训练的这个神经网络可以做到与“叠化”转场类似的效果。研究人员把这个效果称之为——Duplication。区别于视频转场，这个效果可以通过重写时间来叠化一段视频中的人物动作。

来看个例子，原视频中粉色裤子的小女孩做了一个侧手翻：

通过神经网络的渲染，可以变成以下效果：

侧手翻的小女孩的动作叠化后是不是有点炫酷~ 另外右边蓝色衣服的女孩用到了冻结效果。两则视频对比来看，周围的环境完全看不出有什么异样，这样的特效可以说是非常成功了~

通过分层神经渲染，只重新定义人物时间线，视频毫无违和感

所有这些效果都是通过一种新的基于深度神经网络的模型实现的，这项技术的核心是分层神经渲染。

即该模型可以根据视频进行优化，将每帧图像分解为一组层，每个层由一个RGB彩色图像和一个不透明蒙版α（统称为“RGBA”）组成，与视频中特定的单个/多个人物相关联。

背景层以及1-3层

需要注意的是，研究人员在这项研究中只关注重写时间。也就是说，输出视频中的人物姿态都是在原视频中出现的，他们不生成新的、看不见的姿态或视点。

值得一提的是，他们的方法不需要手动注释或显式表示动态场景元素，如阴影、水花和蹦床变形；而是只需要对人员进行粗略的参数化，然后，模型会自动学习将与人物相关的场景分组重建。重要的是，重定时效果可以通过对层的简单操作（移除、复制或插值特定层）而产生，而无需额外的训练或处理。

分层神经渲染

更多理论详情，可以参见论文《Layered Neural Rendering for Retiming People in Video》

这项研究的相关代码也将在SIGGRAPH Asia 2020上发布，大会预计将在12月4日举行。

最后，文摘菌也期待的搓搓手，希望未来AI能加入电影特效大军~

相关参考：https://retiming.github.io/

本文来自微信公众号：大数据文摘（ID：BigDataDigest），作者：牛婉杨