西湖大学新突破：VR触觉是怎么发生的？

本文来自微信公众号：西湖大学WestlakeUniversity（ID：westlakeuni），编辑：徐珊，摄影：朱丹阳，校对：沈是，原文标题：《“我触故我在”！西湖大学在虚拟现实交互领域取得突破》，头图来自：姜汉卿实验室

当2021年社交媒体巨头Facebook改名为Meta时，很多人才真正意识到，元宇宙（即“metaverse”）将改变这个世界。尽管当下人们对其最直观的感知，还是一个只能在视觉上模拟真实世界的VR眼镜。

但谁也没想到，古老的东方手工技艺“折纸”，率先实现了从虚拟到真实的关键突破。

伦敦时间5月29日16:00，Nature Machine Intelligence（《自然-机器智能》）在线发表了西湖大学姜汉卿团队的最新研究成果“Active Mechanical Haptics with High-Fidelity Perceptions for Immersive Virtual Reality”，在国际上首次提出并开发了“高保真主动机械触感交互系统”，为元宇宙带来了全新的触觉感知维度。

这意味着他们借鉴折纸艺术，让VR眼镜里的虚拟世界不仅可见、可听，还可“触摸”！

听起来不可思议。这一切是怎么发生的？

原文链接：https://www.nature.com/articles/s42256-023-00671-z

“高保真主动机械触感交互系统”介绍

一、镜花水月：“触”不可及的失真“宇宙”

让我们从metaverse（元宇宙）的起源讲起。

这是美国科幻作家尼尔·斯蒂芬森创造的一个新名词，出现在一个以披萨速递员为主角的、关于未来世界的故事中。它指的是现实世界与通过增强现实技术和虚拟现实技术创造出的现实世界与虚拟世界相互混合的状态。

1992年，这部名为《雪崩》的科幻小说面世，斯蒂芬森因“塑造和影响了整整一批IT人”，位列《时代》周刊评选的“50位数字英雄”榜单。

二十年后，当年斯蒂芬森在书中所畅想的世界，已经近乎站立在你我的“家门口”了。无论充满争议与否，元宇宙都为人类社交生活提供了新的桥梁与无限可能。如Meta Reality Labs首席科学家Michael Abrash所说：“VR/AR正掀起个人计算机历史上的第二次变革大浪潮，其影响可能超过过去三十年个人计算机的发展，将是继个人电脑和智能手机之后下一代消费级计算机科技产品。”

但当前的VR交互，仅可提供视觉与听觉体验，呈现的是一个仅可远观、却无法触碰的虚拟空间，而触觉恰恰是人类获得主体感的关键——在人类的五感（视觉、听觉、嗅觉、味觉、触觉）中，视、听觉在信息接收方面居于主导地位，味、嗅觉处于辅助地位，触觉则居于根本地位（我们据此获得物主感，这是区分主体和客体的关键）。

研究者们曾经尝试过很多种“解决”方案，大多是通过震动或压力代偿创造“被动触感”：例如具有振动功能的手柄；柔性电子科学家、西北大学John Rogers院士发明的可以贴在皮肤上的振动马达；以及Meta在2021年发布的触觉感知手套，通过气囊压迫给予用户抓取物体时的触感……

然而，这些“触感”就如同你的手机忽然振动了一下，或者是坐在4D电影院里突然感受到座椅的晃动，你的体感都是由设备出发、给予你一种被动的交互体验，距离日常生活中真实的、由人类主动触发的“触觉”还差距甚远。

这似乎也呼应了人类在触觉理解上的艰难进度条——2021年，美国生理学家David Julies与亚美尼亚裔美国神经科学家Ardem Patapoutian因揭开了触觉（与温度觉）的神秘面纱，获得了诺贝尔生理学或医学奖——而听觉与视觉，早在上世纪60年代就已揭秘，完成了对诺奖的问鼎。

二、折纸缪斯：撬动VR世界的星辰大海

那么，最前沿的VR和元宇宙，怎么会因为传统的折纸艺术而破局？

让我们把视线转回西湖。

2021年6月18日，姜汉卿结束了在美国亚利桑那州立大学十五年的任教生涯，正式加盟西湖大学。在这里，他最早启动的课题之一就是柔性电子与软/硬异质性材料研究，这也是我们第一次从他那里听到“折纸机械超材料”这个概念——所谓“机械超材料”，指的是并非自然形成，而是人为构造的材料结构，材料的性能不依赖于材料的分子结构或者晶体结构本身，主要依赖于其精巧的构型里面的结构细节。

从事“折纸研究”十年之久，又感知到了元宇宙的欣欣向荣，姜汉卿萌生了把两者结合起来的念头。“折纸材料可能很软，但是依赖于不同的折叠方式，折纸结构又会变得很硬，基于折纸结构的机器人，就可以随时调节软硬程度。”

摆脱当前虚拟现实交互的固有思维定式，姜汉卿创造了“主动触觉”这个新概念——不同于肩、胸、腰、背等人类身体通常接收“被动触觉”的部位，人的手和脚通常是主动出击，通过主动触摸去感知物理世界。研究团队选择从“机械触感”（即刚度，物品的软硬触感）入手，模拟手和脚主动触摸物体时的感觉。

他们研发了一套“高保真主动机械触感交互系统”，利用不同材质、不同尺寸的折纸模块搭建了两种不同维度的交互装置：一种可引发局部触感的手持式装置，与一种可以产生全身体感的脚踏式装置。在使用手持式交互装置时，用户可通过主动抓握，体验其所交互的不同物品的软硬程度；在使用脚踏式装置时，用户则可通过主动踩踏，以全身运动的形式体验其所处的环境地面特性。 

这种主动机械触感的实现，正是源于硬件设备内部曲面折纸结构在交互过程中、由用户主动触发的被动变形——在电机的配合作用下，曲面折纸能弯曲成不同的角度，也会产生不同大小的反力，从而给予用户手足不同的“弹性”反馈。

观看下图可以获得更直观的感受：将两张薄薄的塑料片对折，呈“X”状穿插在一起，想象一下，当你纵向“上下”按压塑料片，力量、角度不一样时，手收到的“回弹”反馈的感知也会不一样。这种触觉的变化传递给大脑，大脑就会根据“软硬”作出判断：抓到的是棉花，是木板，还是钢球……如果把手换成脚，大脑同样会根据脚所传递的刚度反馈，来判定人是走在马路上、草地上，还是踩在冰上……

高保真主动机械触感交互系统的局部结构

由此，我们在元宇宙的虚拟世界中，就可以完美实现“所见即所触，所触即所踏”了。

三、力学之美：向虚拟世界伸出精妙之“手”

姜汉卿的实验室名为“跨力学实验室”，这是一个名副其实深耕交叉学科的实验室，参与该项研究的几名主要成员，有毕业于上海交通大学机械工程系的博士后张壮，来自浙江大学力学系的访问学生徐正昊，清华大学工程力学本科背景的博士生陈森涛，毕业于武汉大学化工系的博士后卫平东，以及动手能力超强、曾获国家级机器人竞赛一等奖的科研助理俄木罗前……

如果说，这项研究中最大的创意来自“折纸”，那么，实现创意的最大挑战就来自“怎么折”——既能完美实现主动触感，又能集成在有限的空间里。就像现实世界的折纸一样，人人都会，但只有那心灵手巧的艺人，才能展现其精妙之处。

在姜汉卿实验室，我们现场体验了这个“手持式装置”——形状像一个球，5个位点对应人的5个手指，每一个位点下面就是呈现“X”形状交叉的两片成组的曲线折纸塑料片；10个塑料片，全靠一个电机带动，以扭转成各种不同角度，形成不同的“软硬度”。与之配套的脚踏式装置，原理一样，差别在于踏板下是钢片，数量更多、矩阵排布，通过拉绳的方式改变曲线折纸的角度来改变刚度。

“手球”实物

令人惊讶的是，这些设备里没有任何昂贵或罕见的器件。无论是“手球”里的塑料片，还是“踏板”中的钢片，都是网购取得的，可以被替换为任何有弹性的材料。核心器件就是可以根据虚拟场景而相应变化的曲线折纸。如果核心结构一致，交互的硬件设备也可以放大或缩小。这意味着一旦找到合适的应用场景，它将有希望快速进入生产市场。

研究的最后一步，秉持科学的严谨和理性，研究团队进行了人体感受表征的验证，包括“主观”的用户调查和“客观”的肌电图、心率测量。图中曲线的最高点，记录了体验者踩在虚拟的冰面上、冰面破裂时，心跳急速变快的真实生理反应。因为那一刻踏板突然塌陷，让人瞬间产生踏空坠落的恐惧感。虚拟世界，就这样创造出了真实世界的完美触感。

心率与肌电信号测量

“科研需要创新，要有societal impact，要对这个社会真正有贡献。”这是姜汉卿对科学工作的定义。他们这项研究，为虚拟现实交互提供了全新的模式与体验，为超材料在元宇宙中的进一步集成提供了指导方案，也有望拓展虚拟现实技术在娱乐、遥操作、医疗诊治与康复等领域的广泛应用。

接下来，研究团队将继续找到多模式的感知，还原更完整的触觉，在形态上，他们正在尝试和柔性电子整合，实现主动触觉与被动触觉的结合，以及努力用折纸实现更大尺度的体验，在更大的场景中实现交互。

“比如在游戏中要骑摩托车，能不能直接从地面‘长出’可以触摸到的摩托车来？不仅是摩托车，还能长出能坐的椅子，能开的小船……”姜汉卿放飞自己的想象。

虽然只是“想象”，但历史已无数次证实，科学家的天马行空，也许就是未来世界的真实图景。

西湖大学工学院博士后张壮为本文第一作者，西湖大学工学院讲席教授姜汉卿为本文通讯作者，第一单位为西湖大学。其他主要研究人员包括浙江大学的研究生徐正昊和王永副教授。本研究获得了国家自然科学基金、西湖教育基金会、以及西湖大学未来产业研究中心相关经费支持。

本文来自微信公众号：西湖大学WestlakeUniversity（ID：westlakeuni），编辑：徐珊