还在自己看《乐夏》？别人都跟二次元老婆组乐队了

本文来自微信公众号：大数据文摘（ID：BigDataDigest），作者：刘俊寰，题图来自：Joe Mio的二次元乐队制作

周六的乐夏叒成了今年夏天的“周指活”？在家蹦迪的快乐还是大过了枯燥的工作。

都说听乐队不如自己玩乐队，玩乐队一定要找到合适的人。

文摘菌反问一句，还有比你的二次元老婆更合适的人选吗？既然如此，为何不和你的二次元老婆组个乐队玩玩？

于是，日本小哥Joe Mio就和他的二次元老婆组了一个乐队，看看这配合度：

再看看这吉他solo，多么和谐：

这个视频在日推掀起了热议，网友们纷纷表示眼红极了，也有人辛辣地指出，“虽然精度很高，舞蹈也很酷，但动作一点都不可爱”。

在国内，虽然也有人对此十分羡慕，但更多网友滑稽表示，“都说了你老婆是男的，怎么就是不信呢”。

要和二次元老婆配合最默契，就要用最精准的动作捕获系统

虽然推主没有公布具体的实现步骤，但是有不少网友指出，他们利用了OptiTrack动作捕获系统。

根据OptiTrack官网介绍，OptiTrack是动作捕捉方面性能最好的平台，具有易于使用的生产流程和运行世界上最大舞台所需的深度。在Prime系列相机和Motive软件的结合下，OptiTrack能产生世界上最大的捕捉量、最精确的3D数据和最高的相机数量。

同时，OptiTrack还表示，他们在3D精度方面也是业界顶尖水平，这就是为什么美国动视选择OptiTrack来建立当前最大和最准确的动作捕获系统。

在设计理念上，OptiTrack表示，动作捕获系统不应该为了传递异常数据而变得过于复杂。

甚至在使用上也相当灵活，如果空间有限，你可以把相机挂在墙壁上，或者当你准备把器材搬到电影拍摄现场，它也可以很容易地与其他相机保持完整的互操作性。

“我们部署了110台Prime 41相机，创造了历史上最大的捕捉量。在185'x80'x20'的主动捕捉量上，我们把之前宣称的记录扩大了一倍——这是在一个挤满了演员、道具甚至是实际效果的真人电影场景中。”OptiTrack的CEO Brett Ineson表示。

不仅如此，OptiTrack还具有以下特点：

1. 同时跟踪多个演员或道具，提供简单的后处理工作流程和自然互动；

2. 范围广，Prime 41相机能够在100米开外的地方看到16mm的波动；

3. 在阳光下不需要特殊的附加组件或硬件修改，就可以跟踪外部的反光标记；

4. 系列相机可以切换到参考模式，参考素材可以与3D标记和骨骼数据叠加，用于校准和同步。

去年，在#SIGGRAPH2019展位，OptiTrack给大家带来了杂技演员的表演，以及同步叠加的动作捕捉数据：

除了动作捕获系统外，OptiTrack还专注于VR、机器人和可穿戴设备，官网链接如下：

https://optitrack.com/

全身跟踪器材对比测评：OptiTrack真有那么神？

虽然这次Joe Mio使用的就是OptiTrack，但OptiTrack真的和官网声称的一样厉害吗？

在Qiita上，有博主分享了针对当下比较热门的动作捕获系统的测评，包括OptiTrack、Perception Neuron、Xsens MVN共5个。Joe Mio表示，这其实也影响了他们对于器材的选择。

博主也给大家准备了一个“太长不看”版，简单来说，博主从价格、实现方法、一个人（单身狗）能不能正常使用等方面进行了综合评价。

首先在价格上，必须要承认的两点是，越贵的器材效果越好，越贵的器材运用起来就越需要人力和空间。

比如，最便宜的VIVE Tracker和Perception Neuron，一个人在6叠大的房间里就能使用。但是除此以外，Xsens MVN、OptiTrack和VICON的设备，既无法独自穿上服装，也无法单独进行校准工作。

在稳定性方面，价格的优势也体现得淋漓尽致。价格越便宜，耐故障的性能就越低，尤其是VIVE Tracker和Perception Neuron，它们需要2.4GHz带宽无线连接，在很多场景下就不是一个很好的选择。

其次，在实现方式上，这五种器材可以分为两类，一类是基于惯性传感器的系统，比如Perception Neuron和Xsens MVN，一类是基于光学的系统，比如OptiTrack、VICON和VIVE Tracker。

这两大类在设备和人数上也都存在一定的差异。在设备方面，惯性传感器系统附着在演员身上，除此之外不需要其他大量设备，因此，这类器材可以直接在穿戴在身上，在阳光直射的室外使用也没有任何问题。而光学系统主要使用的是附着在演员身上的逆反射材料，以及大量的红外摄像机和照射器，这就需要搭建一个带有三脚架和桁架的动作捕捉系统工作室，同时，这在室外很难实现测量和动作捕捉。

在人数上，光学系统针对现实中的位置进行测量，即使人物走动后再回到原来的位置，也不会出现偏差，因此它支持多个角色共同使用。而惯性传感器则是基于人体惯性传感器的时间积分，这就会积累误差，人体与传感器之间的位置关系也会随着使用时间逐渐发生偏移。

然后，在人物的体型和运动信息的获得上，Perception Neuron、Xsens MVN、OptiTrack和VICON可以预先输入或测量人物的体型和动作。我们知道，在这种技术中，你的身体和动作是都是虚拟人物的，而不是自己的，因此，需要针对二者的体型和动作差异进行学习和处理。这个过程叫做重定向（Retargeting）。

在这些器材中，VIVE Tracker是唯一一个无法捕捉人物完整信息的器材。其他动作捕捉系统中存在一个从传感器信息生成演员身体和运动信息的系统，或者，使用集成的重定向系统，直接用IK操纵角色。

反正总的来说，一分钱一分货，动作捕捉系统的价格越高，质量就越好，但需要注意，所需的人力和空间也会随之增加。

用机器学习把自己变成3D人物，中二少年的也有梦

正如网友所说，由于OptiTrack能够兼容Unity和Unreal Engine，所以才能够成功创建一个虚拟现实应用程序。

这也让文摘菌想到此前，日本中二少年幸彦青柳（Yukihiko Aoyagi）在学习了机器学习后，给自己做了个酷炫的模型，把自己的动作实时变成流畅的3D人物动作。

怎么说呢，虽然不是二次元老婆，但这个精度和清晰度也是一点不输。

过程中，青柳君尝试过多种实现方式，包括WindowsML，ML.Net，Onnx Runtime等，但最终选择了OpenCVSharp，也就是OpenCV模型导入功能，在Unity中加载和执行Onnx，因为OpenCVSharp在Unity和.Net环境中可以用相同的方式处理，图像也不会被转换为Mat格式。

尽管看上去处理起来很容易，但目前还缺少相关数据，青柳君特意总结了他的这次尝试，将文章公布在了Qiita上。

现在，随着动作捕获技术的逐渐成熟，相信未来，不只是二次元老婆或者是你自己，还有更多的领域等待被挖掘，文摘菌就在这里静静地看着你们还能玩出什么花来。

相关链接：

https://qiita.com/Santarh/items/de41ca5662f7e3520091

https://twitter.com/jmworks/status/1294222981837680641

https://twitter.com/mobiusP/status/1294344742327615488

本文来自微信公众号：大数据文摘（ID：BigDataDigest），作者：刘俊寰