今天,分享一篇追求高性能触觉反馈腾讯Robotics X用执行器助力盲文读取、VR沉浸体验,希望以下追求高性能触觉反馈腾讯Robotics X用执行器助力盲文读取、VR沉浸体验的内容对您有用。
此前,我们已经初步了解腾讯 Robotics X 实验室在触觉传感器与执行器领域的探索及成果,并从技术角度解读了触觉传感器领域的一系列干货。本文同样将对该实验室在执行器领域的成果进行技术剖析,详解其中的实现方式、具体效果、研究意义以及潜在应用。
执行器是实现高性能触觉反馈的重要组成部分。如果说传感器是感觉器官,则执行器是控制器官。良好的触觉反馈是继视觉与听觉之后增强交互沉浸感的决定性因素,对于人机交互、人人交互具有其它感知无可取代的特殊性与重要性。
目前,在人体皮肤上真实重现触觉的设备缺乏。虽然在开发以高分辨率、高灵敏度、高时间精度和多传感模式捕获数字触觉特征的传感器方面,研究人员已经取得了很大进展,但仍需要一种直观的刺激方法来高效地虚拟化触觉,即在时空中记录和重现皮肤感觉。
现有的触觉刺激重现技术大致可以分为两类,分别是机械式刺激和电刺激。通过在皮肤上施加局部机械力或振动,机械执行器可以产生稳定持续的触感。但这些机械执行器往往体积庞大,在集成到便携式或可穿戴设备时严重限制了空间分辨率。驱动模式也导致线性电机或气动制动器等机械式执行器响应速度较慢。
相比之下,电刺激触觉执行器便灵活,能够提供更高的分辨率和更快的响应速度。不过电信号需要数百伏的电压才能穿透高阻抗的角质层,这带来了安全问题。此外,人体皮肤随时间和个人的差异呈现出高度可变性,需要连续校准才能确保触感始终保持在用户的舒适区间。
腾讯 Robotics X 实验室与合作高校共同探索了电流及电磁两种电刺激触觉技术方向,研发了高分辨率、可穿戴的电刺激触觉重现装置,及无线化、轻薄的触觉反馈电子皮肤系统,相关论文收录于 Science Advances、Microsystems & Nanoengineering 期刊。本文将深度解读上述研究的原理、实现方式和创新成果。
柔性触觉执行器:高分辨率、可穿戴电刺激触觉重现装置
在论文《Super-resolution Wearable Electro-tactile Rendering System》中,研究者面对机械式刺激和电刺激触觉重现技术的局限性,提出了一种可穿戴的电刺激触觉重现系统,它能够产生具备高空间分辨率(76 dots/cm^2)和快速反应率(4 kHz)的触觉刺激,并实现了史上首次达到人手指尖触觉感受器空间分辨率的微电流导引超分辨率刺激技术。当然,用户安全也考虑了进来,通过提出的高频调制方法,研究者将刺激电压降低到了 13V。论文已被 Science Advances 收录。
论文链接:https://www.science.org/doi/10.1126/sciadv.abp8738
这种全新的电刺激触觉重现系统能够高保真地展现不同触感,比如压力、振动和纹理粗糙度。下图 I-1 左为电刺激触觉重现系统的整体设计和架构,图 I-1 右为实际装置。图 I-1 A 为人体皮肤触感示意图,由外力引起的皮肤应变触发了机械敏感通道,将外力转换为电化学和电信号。图 I-1 B 为电刺激触觉系统示意图,皮肤中感应到的电流对机械感受器和神经产生了刺激,生成被大脑解释为触觉信号的动作电位。图 I-1 C 为电刺激触觉装置的光学图像,它是一个带有 25 个半球电极的柔性电路板,并连接在了橡胶手指套上。图 I-1 D 为人类触觉与电刺激触觉重现装置在空间分辨率、反应率和强度范围方面的比较。
技术概览
为了实现高时空分辨率和快速反应率的可穿戴电刺激触觉重现系统,研究者主要在以下几个方面进行了技术创新。
首先,与大多数依赖高压直流电脉冲来穿透高阻抗角质层的电触觉刺激器不同,本文采用高频交流电来克服绝缘问题。高频交流电可以穿透人体皮肤并刺激神经,增加交流电刺激的频率可以产生在同样的电流强度下产生更小范围的刺激, 并使电流更容易穿透皮肤角质层,从而刺激更多神经,重现更强的触感。
研究者同时采用了参数相同、相位差 180 度的两个交流电进行同时输出,进一步增强触觉。基于这种双高频交流电策略,志愿者测试表明 13V(检测阈值电压)到 28V(最大耐受电压)之间的刺激电压足以产生从轻微触摸到尖锐刺痛的不同触觉。
其次是粗糙度感知重现的幅度调制。我们知道,粗糙度感知主要是由触觉强度和振动频率来决定的,其中高强度、低频率触觉信号通常与表面粗糙度相关。研究者的刺激技术使用幅度调制实现了相同的效果。为了研究幅度调制对粗糙度感知的效果,志愿者被要求测试不同低频信号的幅度和频率,以近似触摸粗糙岩石、砂纸(60 粒度)、牛仔布、丝绸和玻璃等五种不同粗糙度表面的感觉。
结果表明,低频高压刺激最能模拟岩石和纱布等粗糙纹理,而高频低压刺激可以重现丝绸和玻璃等顺滑纹理,这与人体自然触觉保持一致。
下图 I-3 A 为电触觉控制系统,包含三个组件,分别是生成所需刺激电流 AC_1 和 AC_2 的函数生成器、通过反馈控制保证输出感知的电流监控器以及分别管理每个电极状态的开关阵列。图 I-3 B 为刺激电流的波形,10KHz 的方波由 40Hz 的正弦波进行幅度调制。图 I-3 C 为反馈控制策略下的稳定电触觉感知,其中刺激电压根据测量的电流而变化。
最后是超分辨率。每个指套拥有 25 个电极,以更高的空间视敏度来解决触摸问题。研究者利用双项电流反相位来控制电流的局部分布,通过控制每帧中某中心电及周围电极的动态开关部署, 实现在物理电极点之间产生额外的可分辨虚拟电极点,从而实现超分辨率。
直接位于物理电极下方位点的刺激被认为是正常分辨率位点,通过将目标电极连接到 AC_1 并将四个周边电极连接到 AC_2 来完成对正常分辨率位点的刺激。而通过制造 AC_2 连接电极围绕 AC_1 连接电极的不对称分布,刺激电流偏向更多 AC_2 电极所在的区域。这种电流导引技术下产生的刺激位点在两个物理电极之间,因此研究者将它定义为超分辨率位点。
目前,拥有 25 个电极的原型允许在 9 个中心电极的每对电极之间存在 2 个超分辨率位点,而在边缘的每个电极对有 1 个超分辨率位点。因此,中心区域的离散刺激位点总数由 9 个增加到 49 个,整个指套从 25 个增加到 105 个。
结果显示,中心区域的有效触觉空间分辨率高达 49/(0.8 × 0.8)=76 dots/cm^2,这与人体皮肤的慢适应型 I(SA-I)机械感受器强度类似。研究者的电流导引超分辨率策略无需额外硬件就能增加空间分辨率。
探索盲文系统、VR/AR 等应用可能
研究者展开了用户研究评估,招募了 20 名志愿者来识别强度、粗糙度、纹理和其他复杂模式,验证并探究了电刺激触觉重现系统的有效性和应用潜力。
首先,研究者利用触觉连续性错觉将数字和字母重现为时空不同的笔画,并模仿这些笔画的书写顺序。他们创新性地推出了一套盲文系统,允许视障者像正常人一样阅读和书写。其次,研究者还特别测试了其系统的 VR 和 AR 应用和体验,比如 VR 购物、VR 猫交互等。最后,研究者将电刺激触觉重现系统与厚手套(如消防员手套)上的触觉传感器集成,提高佩戴者的触觉灵敏度,允许对微小物体进行定位。
研究者设想其技术将迎来更广泛的应用,例如信息传输、手术培训、远程操作和多媒体娱乐等。不过,现有技术的应用仅限于本论文中演示的场景。因此,未来如果想要在更多领域发挥电刺激触觉重现系统的效用,需要充分考虑对不同场景的适配、针对性的技术调整、设备制作等众多因素。
无线化、轻薄的触觉反馈电子皮肤系统
电磁执行器是由一个线圈和一个悬空的磁铁组成,依据电磁感应原理而产生共振震动的装置。2019 年,发表在 Nature 的题为 “Skin-integrated wireless haptic interfaces for virtual and augmented reality” 的文章首次采用电磁执行器开发了一款无线化、轻薄的触觉反馈电子皮肤系统。自此,电磁执行器逐渐走入大众视野。2021年,发表在Science Advances的题为“Electronic skin as wireless human-machine interfaces for robotic VR”的文章进一步将电磁执行器的尺寸减小到 7 mm,用于人机交互的触觉反馈。
用于触觉接口的皮肤集成电子设备中机械致动器的小型化
在与香港城市大学、大连理工大学等高校合作的论文《Miniaturization of mechanical actuators in skin-integrated electronics for haptic interfaces》中,研究者进一步缩小电磁执行器的尺寸,直径为 5mm,并保持强烈的震动。论文已被 Microsystems & Nanoengineering 收录。电磁驱动器应用在具有触觉反馈功能的电子皮肤的时间较晚,所以目前还没有商业公司生产此种类型的电磁执行器。
论文地址:https://www.nature.com/articles/s41378-021-00301-x
研究者报告了一系列材料和机械设计,用于电磁执行器的小型化,以及将其集成到薄而软的电子皮肤中的触觉界面的策略。该电磁执行器的尺寸很小,直径为 5mm,厚度为 1.45mm,以电磁驱动的振动模式工作,其共振频率与人类皮肤的最敏感频率重叠。此电磁执行器振幅大,数值为 1.55mm,使触觉界面能够给人类皮肤带来非常强烈的振动感觉。
基于电刺激和机械振动等各种刺激模式,研究者开发了一些主动刺激的触觉界面。例如在假体控制和传感方面,假体上的传感功能的电子皮肤获取触觉信号,然后作为命令通过触觉反馈电子皮肤进行控制和执行反馈,从而使截肢者重新感受到“触觉”。又例如在手或手指上安装一个带有执行器的触觉界面来重现 VR 的触觉将非常有趣,就好像我们真的触摸到了一个物体。在此类触觉反馈功能的电子皮肤上,触觉反馈的分辨率极为重要,因为只有高分辨率的触觉反馈皮肤才有可能提供更多类型的触觉刺激,包括强度、区域和模式。
因此,要想实现高分辨率的触觉反馈电子皮肤,必须尽量减小触觉执行器的尺寸。目前将致动器阵列集成到手指上以提供触觉模式仍然是一个挑战,因为手指的宽度通常小于 2 厘米。本研究将电磁触觉执行器的尺寸缩减到了 5mm,为高分辨率触觉反馈提供了依据。
与同样采用电磁执行器的工作比较,比如上述 Nature 所发表的文章有如下确定:第一电磁执行器的直径比较大(18mm),无法提供高分辨率的触觉信息。第二电磁执行器的厚度太厚(2.5mm),导致触觉界面的最终厚度达到了 3mm,人在佩戴的时候会体验不佳。而本论文相应地解决如下问题:一方面大幅度缩减触觉执行器的直径即达到了 5mm,可以实现高分辨率的触觉激励和反馈。第二触觉执行器的厚度缩减至 1.5mm 以内,触觉界面的厚度缩减近 1 倍,大幅提升可穿戴的舒适度。
此外与其他机械力反馈触觉执行器比较,比如现在商用的线性共振马达可作为触觉执行器,其采用直流供电,震动频率固定不可调节,而本论文中的电磁执行器的谐振频率可调,在 100Hz~300Hz 范围内提供较强的触觉反馈,而此频率正是人类皮肤对震动触觉敏感的频率范围。
在实现时,电磁执行器由铜线圈、树脂支撑圆环、磁铁和激光切割的聚酰亚胺(PI)薄膜组成。铜线圈由线径为 0.05mm 的漆包铜线缠绕而成,内径为 2mm,外径为 5mm,厚度为 0.25mm。树脂支撑圆环是利用 3D 打印技术由光固化树脂胶打印而成,高度为 1mm,内径为 4mm,外径为 5mm。磁铁的直径为 2mm,厚度为 0.5mm。顶部的悬臂梁结构的 PI 膜片,由高精度激光切割制得,中心角度从 30° 到 180°,PI 膜的厚度为 40µm。通过紫外固化胶可以将磁铁粘贴在 PI 膜中心圆上,并且将线圈、支撑圆环和 PI 膜各部分紧密粘合在一起。最终触觉执行器的直径为 5mm,厚度为 1.45mm。
本论文对电磁执行器实现了小型化设计,直径减小至 5mm,厚度仅为 1.45mm。5mm 的直径使得可以在手指尖端集成 9 颗触觉执行器,所开发出的柔性轻薄触觉界面展现了现阶段基于电磁执行器的触觉界面的最优化分辨率设计。
人体对振动感觉最敏感的频率范围为 100Hz~300Hz,因此本论文基于对触觉执行器的结构进行设计,探索了触觉执行器共振频率的变化。在共振频率条件下,触觉执行器的振幅呈现出最大值,振动也最剧烈。因此,需要将触觉执行器的共振频率调节到人体皮肤最敏感的范围内,本论文以 200Hz 为目标,进行研究和探索。结果显示,随着减小触觉执行器 PI 膜横梁中心角的角度值,触觉执行器的共振频率降低。当中心角为 60° 时,共振频率为 200Hz,并且在 0.5V(56.18mA)正弦交流电驱动下,呈现出 1.55mm 的振动幅度。
最后,本论文提供了一个典型的应用场景,将手指置于触觉界面上或者通过手指动态触摸触觉界面,可以实现有效的盲文读取。所有的盲文字母都可以通过 6 个电磁执行器阵列以振动触觉的方式反馈给测试者或者盲人用户。
综上所述,本论文报告了一个用于高分辨率触觉界面的电磁执行器小型化的综合发展战略,其中机械执行器的直径可以小到 5mm,厚度可以小到 1.45 mm。每个振动触觉执行器在 200Hz 的共振频率下工作,这是人体感觉最敏感的振动频率区域的中间值。其大振幅值为 1.5 mm,使触觉界面能够给人类皮肤带来非常强烈的振动感觉。集成了 9 个执行器的触觉界面实现了 3×3 阵列,具有可控和可编程的执行模式,可用于皮肤的一个非常局部的区域,如指尖。基于这种可编程的强烈触觉刺激,这种 VR 触觉界面被应用于盲文识别,显示出 85.4% 的合理准确率,这为盲人的交流带来了相当大的便利。这种微型执行器和高分辨率触觉系统的开发将有望在 AR/VR 中带来更真实的触觉体验。
后续研究:探索感应与反馈一体化电子皮肤
为了让电子皮肤兼具触觉感应和触觉反馈两种功能,研究者设计了执行器与传感器一体的新型单元器件,通过电磁驱动单元柔性化结构,开发出了一款全柔性可弯折的电磁执行器。基于此柔性自感应电磁执行器所组装成的自传感电子皮肤,可以安装在身体多个部位,保形地与皮肤贴合,佩戴更舒适。该研究的实现方式及具体成果即将在近期见刊。