新一轮触觉热，真正值得关注的不只是硬件

本文来自微信公众号： 42号电波 ，作者：yukun，编辑：James

原因不难理解。

随着VLA、世界模型等技术不断提升机器人「看懂世界」的能力，人们开始意识到，真正限制机器人进入现实场景的，往往不是视觉，而是接触本身。

无论是插拔连接器、拧瓶盖、折叠衣物，还是工业装配、家庭服务、医疗护理，机器人都需要在接触发生的毫秒之间感知压力、摩擦、滑移和形变，并据此快速调整动作。决定这些任务成败的关键信息不只来自摄像头，也需要触觉信息的共同参与。

事实上，过去很长一段时间，触觉研究更多停留在硬件，特别是传感器层面。相比已经形成「大模型+大数据」飞轮的视觉领域，触觉始终缺少真正意义上的基础模型。

原因在于，不同厂商、不同形态的触觉传感器输出格式各异，数据难以共享、模型难以迁移，昂贵的硬件成本和复杂的部署流程，这让大规模数据采集和基础模型训练始终举步维艰。

但最近，机器人触觉似乎正在迎来自己的技术拐点。触觉基础模型最关键的三块拼图正在补齐，统一异构触觉数据（FTP-1）、快慢分层重构触觉在机器人策略的定位（T-Rex、TouchWorld）、将触觉从灵巧手扩展到整个身体（TACTIC）。

触觉正在从一种依赖硬件的感知能力，逐渐演变为机器人基础模型的一部分。

触觉正在突破硬件阻碍

在传统的机器人触觉认知中，人们常常将触觉与传感器绑定，因此学界和工业界纷纷下场「卷」传感器硬件。

但是传感器自带「贵、脆、难标定、难部署」的工程性问题，这些问题始终限制着机器人触觉的发展，也让许多研发机器人基础模型的工作或主动或被动地避开这堵「触觉墙」。

对此，清华、Sharpa、伯克利等8家机构发布的首个通用触觉基础策略模型FTP-1试图直面「传感器」这一核心挑战。

FTP-1的核心洞察相当直接，视觉领域的通用基础模型（如π0.5）已经证明了大规模异构数据预训练加下游微调范式的能力。但触觉信号在不同硬件间具有高度异构性，不同传感器在模态（图像、阵列、状态向量）、分辨率、形态、接触响应上完全不同，很难统一建模，更无从谈起触觉领域基础模型。

FTP-1的解法是设计一个形态感知触觉令牌空间（MTTS）。如上图，把手上24个功能区域，每个区域用一个token表示。当面对不同传感器时，FTP-1先把传感器上的信号按功能区域分组，再用异构编码器（图像用ViT，触觉阵列用CNN，力或力矩的状态向量则用傅里叶编码+MLP）投影到统一空间，最后由一个共享的300M参数的专家触觉Transformer专家进行联合建模。

有了MTTS，无论传感器长啥样、输出什么信号，都能被翻译成模型看得懂的标准语言，FTP-1便可以放开手脚地吸收数据。

在数据集上，FTP-1聚合了26个数据源、约3,000小时的触觉操作数据，覆盖21种传感器、人类遥操作和机器人演示。预训练后，他们在全球5个机构的5种硬件配置上做了下游微调评估，覆盖14个任务，真正做到跨传感器的触觉模型评估。

如上图，FTP-1在预训练中出现过的传感器类型上微调任务的平均成功率为62.5，超过π0.5的45.3。

更重要的是，FTP-1面对预训练未出现过的两个传感器类型上微调任务的平均成功率为46.6，更是远超π0.5的15.0。同时，文中给出的消融实验也确认，FTP-1的增益来自预训练中学到的可迁移触觉知识。

FTP-1用一个形态感知触觉令牌空间，把五花八门的触觉硬件翻译成统一的「触觉语言」，让触觉模型第一次拥有了规模化预训练的可能。

触觉既需要「慢」规划也需要「快」反应

就像人在捏杯子的时候，如果杯子突然打滑，手指会下意识收紧。人类不仅可以接受信息并规划下一步动作，也能在事件发生时快速反应。这种不需要经过大脑思考的毫秒级触觉反射，对机器人来说却是个死结。

回看类似快慢分层的机器人策略，从RDP到Tactile-VLA，它们要么把触觉信号当作普通输入token塞进单一模型，导致慢推理和快反应在一个推理循环里「打架」；要么用一个独立的「慢」潜扩散策略加一个「快」触觉控制器。但RDP是为平行夹具训练的，每个任务要单独训一套组件，没有展示对高自由度灵巧手的扩展能力。

对此，6月伯克利、斯坦福等机构联手英伟达推出的T-Rex和7月哈工大杨朔团队联手破晓智能推出的世界模型TouchWorld。

T-Rex和TouchWorld分别从「统一模型内异步」和「层次间预测与修正」两条路验证了高频触觉反馈与低频语义规划需要解耦。

上图展示了T-Rex的核心混合专家架构，包括一个潜在专家预测未来的视觉表征，一个动作专家做低频（~5 Hz）的流匹配去噪，一个触觉专家做高频（~20 Hz）的触觉优化。

相较于RDP用动作分词器编码动作，再用扩散策略在潜空间做低频规划，最后拿独立的触觉控制器做高频修正，三个组件独立训练。T-Rex最本质的创新在于异步级联流匹配（Asynchronous Cascaded Flow Matching），把快慢分离做到了同一个生成过程内部。

具体来看，T-Rex把总共10步的流匹配去噪（动作生成阶段）分成了两部分。动作专家结合视觉和语言信息负责前6步的全局动作规划，随后冻结视觉-语言模型的KV Cache，触觉专家直接从这一中间状态继续完成剩下的4步去噪，完成对动作快速细化，这样既保持了统一模型的知识共享，又实现了高低频信息的解耦。

值得注意的是，机器人动作执行阶段，动作专家进行一次16步的低频视觉-语言推理，触觉专家每次仅执行4步轻量级去噪，用于根据触觉信息修正动作，因此绝大多数更新都无需重新计算视觉特征。这不仅降低了计算量，还提升了触觉反馈频率。

如上图，T-Rex不仅贡献一个100小时的数据集和架构上的创新，还在12项触觉-反应灵巧操作任务上，其平均成功率比最强基线（EgoScale）高30%以上。

这说明了T-Rex在精细的力控制和毫秒级的触觉反应上的优越性能。在消融实验里，若仅在同步模式下添加触觉专家，平均成功率下降5%，说明异步调度本身就在贡献性能。

如果说T-Rex的思路是「在一个模型内用异步调度实现快慢分离」，TouchWorld的思路则是「用层次化架构显式地分离三种时间尺度」，更加强调触觉反馈在时间上的解耦，以及对触觉反馈的预测。

如上图，TouchWorld把整一个世界模型架构分成了三个层次。

• 高层规划层（1 Hz），利用Qwen3-VL-4B把长程指令分解为可执行子任务，以及利用Wan2.2-TI2V-5B作为触觉世界模型预测未来的视觉-触觉子目标；

• 视觉-触觉目标策略层（10 Hz），扩散Transformer根据子任务指令和预测触觉目标生成标称动作块；

• 触觉条件优化层（30 Hz），触觉残差Transformer（TRT）在每个动作块执行间隙，用最新触觉历史信息对动作做残差修正。

  
  

前面的T-Rex把触觉世界模型的能力分散在三个预测未来视觉表征的专家里，作为一个统一的MoT。TouchWorld则把触觉感知融合并独立成一个显式的生成式世界模型，输出可供下游策略直接使用的视觉-触觉子目标图像。

TouchWorld在六项真实任务上的表现也有说服力。上半部分表示其在干净设置下平均65.0%成功率，比最强基线（FTP-1，49.3%）高15.7个百分点；下半年部分说明在人为扰动下的平均成功率53.7%，高出18.5个百分点。后续消融实验也验证了触觉输入、触觉优化层、触觉世界模型里的子任务规划层三者缺一不可。

这是把触觉的世界模型、策略和实时反馈，真正分开又合力的一次架构性验证。

之所以把T-Rex和TouchWorld放在一起解读，是想说明最近研究表明触觉需要从传统VLA和世界模型的统一推理流程中解耦出来，赋予其独立的时间尺度与计算路径。

触觉既要「慢」下来告诉策略接下来接触会发生什么，也需要「快」起来完成毫秒级介入修正。

从全掌构型到全臂构型

前面的工作都在讨论「手」，即手指、手掌的触觉。接下来这篇刚被RSS 2026接收的康奈尔大学Emprise实验室推出的TACTIC则把触觉的边界从手推到了整条臂。

如上图，人类在做重物搬运、病人护理、狭窄空间操作时，大多数情况下不只用到手或手指，前臂、上臂、肘部会自然地接触、支撑、引导物体。这类全臂操作在护理场景中尤其常见，给病人翻身时用前臂垫在躯干下方，抬起病人的腿时用上臂辅助支撑，穿过狭窄空间时手臂侧面贴着障碍物滑动前进。

然而全臂操作也面对两大基本问题，运动与关节力的解耦，以及多接触构型数据的缺失。例如，肘部弯曲了1度，整个小臂在病人身体上的接触点就变了，力的分布也随之改变，更关键是这类动作的数据非常稀少。

如上图，TACTIC利用三个设计原则的有机结合，让模型既学到触觉交互的丰富性，又不丢掉物理世界的基本约束，让机械臂更安全地应用到临床护理等实际场景。

首先，从左往右第一张图，TACTIC构建了一个叫邻近性掩码的2D表示：用YOLOv11分割机器人和场景，通过RGB-D反投影点云，用KD-Tree计算手臂表面到场景物体的距离，近亮远暗渲染成图，再叠加实时触觉数据。最终形成「即将接触+正在接触」的统一视图，规划器借此判断危险与空间。

关键是，中间一张图说明了TACTIC利用触觉定位接触点后，通过计算找到能真正调节压力的方向，并多在法向上试错动作和采样，这样能在不改变优化目标的前提下，让力违规直接减少65%，运动平滑度提升一倍。

最后是最右边的图，也是TACTIC的核心设计。由于纯学习的世界模型会出现物理一致性问题，纯解析物理公式则无法预测接触。TACTIC采用了学习与解析双分支并行评估，解析分支通过一阶积分和正运动学推导，判定自碰撞与关节极限；学习分支基于JEPA范式的ViT潜动力学预测器，预测新接触的形成与断开。两分支结果汇入统一代价函数，包括运动学惩罚、力安全惩罚、目标达成奖励。

直接上真机实验，在给46磅假人翻身时，它的成功率碾压了主流的Diffusion Policy（DP）。而且，它的力度控制甚至超越了提供训练数据的人类专家，真人遥操作时力违规（FV）141次，TACTIC只有104次。原因在于机器人把「安全力阈值」放在在优化目标里，主动规避超力。

值得一提的是，TACTIC团队还开源了Kinova机械臂的外骨骼遥操作接口和22路触觉传感套件的全部图纸和代码，为后续研究全臂触觉操作的学界和业界降低了研究门槛。

从手指、手掌到整条机械臂，机器人未来面对真实世界的交互不可能是简单的抓取，将包含支撑、推拉、避障、辅助等大量全身接触行为。TACTIC的意义在于把触觉从「末端执行器的附加感知」扩展为机器人身体的一部分，逐渐让机器人开始具备类似人类依靠全身皮肤感知环境的能力。

写在最后

回顾FTP-1、T-Rex、TouchWorld和TACTIC四篇论文，它们看似解决了不同的三个问题，统一异构触觉数据、创新加入触觉后的机器人策略架构、扩展触觉边界。

但若仔细观察，就会看到一个越来越清晰的趋势，面对触觉，机器人基础模型开始从追求「统一」走向「解耦」。

过去，机器人基础大模型的发展几乎都在追求统一。统一视觉、统一语言、统一动作，不管出于何种原因，大家总是希望出现一个模型完成所有感知和决策。

但对于机器人感知真实世界而言，在一个统一的时间尺度上，模型的运行效果不一定是最好的。语言以秒为单位理解任务，视觉以几十毫秒的程度感知环境，而触觉往往需要在几毫秒内完成反应。如果仍然让所有模态的信息共享一套推理节奏，模型越大，就会越难兼顾实时性与精细控制。

诚然，FTP-1本身就是统一范式的产物，可FTP-1从某种程度上算是把触觉从具体传感器中解耦出来，让不同传感器硬件拥有统一的表示空间。

T-Rex和TouchWorld则是更直观地把触觉从传统VLA或世界模型的统一推理流程中解耦出来，让高频反馈和低频规划拥有各自的时间尺度与计算路径。

TACTIC则进一步将触觉从灵巧手中解耦出来，把它扩展到整条机械臂乃至未来全身的多接触交互，这其中蕴含的道理在于人的触觉传感来自全身皮肤，而非单纯来自手。

或许，这才是最近这一轮「触觉热」的真正意义。它们不仅是在给机器人增加一种新的感知模态，更是在重新思考机器人基础模型应该如何拥有利用不同模态信息的能力，让视觉、触觉、语言在不同时间尺度下协同工作，各司其职。