近期，清华大学朱荣教授团队研制出一种集多功能为一体的多模触觉感知传感器。

其能够原位集成包括滑觉、物质、纹理、压力和温度等多种触觉感知功能，多模触觉还与视觉相融合，构建出机器人感知决策大脑。

以往研究较少提及滑动检测，值得关注的是，在该研究中实现了 0.05mm/s 超灵敏且 4ms 超快响应的滑觉检测。

不仅为灵巧手执行精细操作提供了丰富的触觉感知，还为智能机器人的“感知-决策-执行-控制”一体化提供了全新的系统架构。

丰富的触觉感知功能，为机器人灵活抓握及精细操作提供了技术支撑。

图丨触觉-视觉融合机器人可以完成复杂的任务（来源：Nature Communications）

该课题组所提出的抓取策略巧妙融合了超快响应与超灵敏度的滑动反馈控制机制，确保机器人能以最小的抓握力实现精细抓取，并避免易碎、柔软物品的损坏，提高了精细操作的泛化性。

朱荣表示：“如果机器人没有滑觉，在抓取物品时难以判断是否稳定抓握，而我们赋予机器人滑觉后，特别是超灵敏、超快速的滑觉反应，对各类物品的稳定抓握具有普适性，这是触觉感知技术的突破。”）

图丨朱荣（来源：朱荣

在多模触觉感知传感器研发的基础上，研究人员还提出了视觉与触觉的融合方案。

并且，搭建了机器人多模感知、决策、执行一体化的系统架构，从而让智能机器人具有对任务规划和任务执行的自主能力，完成了一系列复杂的精细操作任务。

当机器人需要从桌面上抓取细小或轻薄物品时，如笔和纸张，机器人展示出类人的智慧，巧妙地采用将物品移至桌边再拾取的行动路径，像人一样灵巧地完成抓取动作。

机器人操作装有液体的纸杯的情况，也比较具有代表性。

具体来说，它不是简单进行处理，而是可自主通过触觉感知系统，了解到纸杯中存在液体。随后，可在此基础上细致地将液体倒入水箱，并将空杯妥善放置于可回收箱内。

近日，相关论文以《多模态触觉感知与视觉融合，应用于机器人灵巧的家政服务》（Multimodal tactile sensing fused with vision for dexterous robotic housekeeping）为题发表在 Nature Communications[1]。

清华大学博士研究生毛骞和廖子健是共同第一作者，朱荣教授担任通讯作者。

图丨相关论文（来源：Nature Communications）

实际上，人体皮肤是一个天然的热感受器，通过与环境之间进行热交换可以实现对如温度、物质种类、风场等的丰富感知。

此前，该团队受到皮肤热感受器的启发，原创性地提出热感应多模触觉传感原理，为本次研究奠定了基础。触觉传感器采用统一的热敏检测方式，实现对多维信息的集成感知。

基于热感应原理的优势在于，能够使多模触觉传感器在结构、材料、检测方式等方面都非常简单。

“具身智能走向实际应用，不应该是复杂的系统，而是让系统更加简单化。”朱荣表示。

与计算机相比，人类的记忆能力和计算能力都不具有优势，那么，为什么人类能处理复杂的事务呢？原因就在于，人具有独特的逻辑推理能力。

基于这种考虑，研究人员设计了基于逻辑推理的混合级联策略，将视觉与触觉相融合，这一策略能够精准识别并分类各种生活物品。

朱荣指出，逻辑推理能够将复杂的问题简单化，并适用于复杂场景下各类物品识别和整理，因而具有强大的泛化性和鲁棒性。

图丨多模态触觉传感器的结构、工作原理和功能（来源：Nature Communications）

该技术在家庭服务和工业制造领域，具有较大的应用潜力。

·家庭服务。

在该项研究中，研究人员展示了机器人系统在家庭服务方面的潜力，例如整理物品、端茶倒水等。

在现实生活中，老年人、残障人士等群体在生活方面具有陪伴、生活技能支持的强烈需求。但目前，全球范围内还未出现家庭服务机器人的相关商业化产品。

“机器人目前还做不到家庭服务，它需要感知-决策-执行一体化的合理设计。”朱荣说。

·工业制造。

目前，工业制造领域已有工业机器人应用的案例，但在装配、质检、分拣等复杂任务中的精细操作能力不足。

当下，具身智能、人形机器人和大语言模型都是 AI 领域内的热点方向，它们最终将服务于复杂的场景。

朱荣表示，目前工业制造领域对机器人精细操作的需求迫切，可以大幅度提升工业自动化的水平、质量和效率。

“我们研发的多模感知决策系统表现出良好的精细操作能力，在家庭服务和工业制造领域都具有强大的应用潜力。”她说。

据了解，该团队与机器人厂商和汽车公司等保持密切的交流与合作，希望推进技术的早日产业化应用。

参考资料：

1.Mao, Q., Liao, Z., Yuan, J. et al. Multimodal tactile sensing fused with vision for dexterous robotic housekeeping. Nature Communications 15, 6871 (2024). https://doi.org/10.1038/s41467-024-51261-5

运营/排版：何晨龙