Facebook 今天早上宣布了 ReSkin，这是一种开源触摸感应合成“皮肤”，由该公司的研究人员与卡内基梅隆大学合作创建。利用机器学习和磁感应，ReSkin 旨在提供一种廉价、多功能、耐用且可替换的长期使用解决方案，采用无监督学习算法来帮助自动校准传感器。
除了ReSkin，也许在努力从定时来分散自曝详述了其内部的动荡，Facebook的今天还概述了在开发硬件，模拟器，图书馆，基准和数据集用于触摸感测，该公司表示，形成了AI系统的基础，其更广泛的进步可以通过触摸理解和互动。
“我们通常认为触摸是一种传达温暖和关怀的方式，但它也是感知我们周围世界的一种关键感知方式，”Facebook 研究科学家罗伯托卡兰德拉和硬件工程师迈克兰贝塔在一篇博客文章中说。“触摸为我们提供了无法通过任何其他感官辨别的信息，例如关于物质的温度、质地和重量，有时甚至是它的状态。”
触摸历史
触觉传感是机器人技术中的一个新兴领域，旨在理解和复制物理世界中人类级别的触摸。目标是让机器人能够在从家庭到工厂车间的环境中学习和使用自己的触摸，从而使机器人更高效、更安全、更温和。
过去几年，Facebook 一直在开发触觉传感器，主要专注于机器人抓取任务。2020 年，该公司的研究人员详细介绍了 Digit，这是一种高分辨率、低成本、紧凑的触觉传感器，旨在安装在多指机器人手上。
Digit 有一个带有外壳的塑料机身，有利于 3D 打印和注塑成型。三个 RGB LED 为弹性体凝胶表面提供照明，该表面是使用硅和丙烯酸制造工艺定制设计的，表面上平衡了坚固性和灵敏度。使用“压配合”连接将相机和凝胶安装到机身上，以便可以更换任何组件(例如弹性体)，并且可以更换外壳以允许不同的镜头焦距。
在实验中，该团队使用它使机械手能够在拇指和中指之间握住和操纵玻璃弹珠。在 50 次试验过程中，大约 25% 的时间手掉落弹珠。然而，研究人员将此归因于不准确和嘈杂的数据，而不是 Digit 设计中的缺陷。
Digit 的塑料外壳、凝胶和电子产品的制造文件于去年 6 月在GitHub上开源，以及用于编程的固件二进制文件。Facebook 今天宣布，它将与麻省理工学院的衍生公司 GelSight 合作生产 Digit。
重新换肤
根据 Facebook 研究员经理 Abhinav Gupta 和博士后研究员 Tess Hellebrekers 的说法，ReSkin 背后的目标是提供一个联系人数据源，这可能有助于在一系列基于触摸的任务(如对象分类)中推进人工智能。Gupta 和 Hellebrekers 说，通过使用 ReSkin 开发的具有触觉感知技能的 AI 模型可能在医疗保健环境中工作或抓取柔软的物体。由于 ReSkin 可以与其他传感器集成以收集视觉、声音和触摸数据并创建多模式数据集，因此 ReSkin 还可以帮助构建比以前更真实的世界模型。
“我们的触觉帮助我们在我们周围的世界中导航。有了它，我们可以收集关于物体的信息——例如它们是轻还是重、软还是硬、稳定还是不稳定——我们用这些信息来完成从穿鞋到准备饭菜的日常任务，”Gupta 和 Hellebrekers为 ReSkin 项目做出贡献的人在博客文章中说。“今天的人工智能有效地融合了视觉和声音等感官，但触觉仍然是一个持续的挑战。这部分是由于对野外触觉传感数据的访问有限。因此，希望将触摸融入他们的模型的人工智能研究人员努力利用人们所做的触摸感应的丰富性和冗余性。”
ReSkin——一种嵌入了磁性颗粒的可变形弹性体——甚至更便宜，100 件生产每件的成本低于 6 美元，而 Digit 生产 1,000 件的成本为 15 美元。Gupta 和 Hellebrekers 说，它的厚度为 2 毫米到 3 毫米，而 Digit 的厚度为 18 毫米，可用于超过 50,000 次交互，这使得 ReSkin 非常适合从机械手和触觉手套到臂套甚至狗鞋的外形。
“ReSkin 还可以提供高频三轴触觉信号，用于快速操作任务，如滑、扔、接和拍手。当它磨损时，可以很容易地将其剥离并更换为新的，”他们在博客文章中解释道。
克服挑战
值得注意的是，Digit 和 ReSkin 都不是同类中的第一个触敏传感器。其他包括 OmniTact 和GelFlex，这是一种来自麻省理工学院计算机科学和人工智能实验室的机器人抓手，具有 LED 和两个摄像头形式的细致入微的人类感官。新加坡国立大学还使用英特尔的原型芯片开发了触摸感应机器人“皮肤”。
但是，正如他们所说的那样，“软皮”历来被证明难以大规模制造，因为使用它们时会发生变化。每个传感器都必须通过校准程序来确定其各自的响应。增加挑战的是，材料会随着时间的推移而变化——而且根据它们的使用方式而有所不同——这意味着校准也必须自行适应这些变化。
ReSkin 通过消除软材料和测量电子设备之间的电气连接来克服这些障碍。传感器的磁信号依赖于接近度——电子设备只需在附近，无需连接。除此之外，ReSkin 还利用了一个对来自多个来源的数据进行训练的映射函数，使其比传统的映射函数更具泛化性和“稳健性”。并且传感器使用无监督模型使用少量未标记数据自动且连续地进行微调。
使用无监督学习，算法会受到“未知”数据的影响，这些数据不存在先前定义的类别或标签。这与“监督”学习相反，在“监督”学习中，算法在为特定输出注释的输入数据上进行训练，直到它们能够检测到潜在的关系。像在 ReSkin 上运行的那些无监督机器学习系统必须自学对未标记的数据进行分类，处理数据以不是从注释而是从数据的固有结构中学习。
“我们可以使用未标记数据的相对位置来帮助微调传感器的校准，而不是提供真实的力标签。例如，我们知道在三个接触点中，物理上彼此更接近的两个将具有更相似的触觉信号，”Gupta 和 Hellebrekers 解释说。“总而言之，ReSkin 开辟了现有系统无法实现的多种通用、可扩展且价格低廉的触感模块。现有的基于摄像头的触觉传感器需要表面和摄像头之间的最小距离，从而导致设计更加笨重。相比之下，ReSkin 可以作为一层覆盖在人类和机器人的手和手臂上。”
实际应用
为了证明 ReSkin 的实用性，Facebook 研究人员进行了多项实验，表明它可以应用于手部操作、接触定位和其他力测量任务。例如，Facebook 研究人员使用 ReSkin 来跟踪狗在休息、行走和跑步过程中施加的力的大小和方向，方法是将它和电路板放在狗鞋的鞋底内。
“我们对通用触觉感知的研究催生了今天的 ReSkin，它低成本、紧凑且持久。皮肤就像剥皮和穿上新绷带一样容易更换，可以立即使用，我们学习的模型在开箱即用的新皮肤上表现出色。这是一个强大的工具，可以帮助研究人员构建人工智能模型，为国外应用的多样性提供动力，”Gupta 和 Hellebrekers 写道。
模拟、数据集和基准测试
为了支持像 Digit 和 ReSkin 这样的硬件，Facebook 今年夏天开源了 Tacto 和 PyTouch，这是一个用于 PyTorch 机器学习框架的库。Tacto 是基于视觉的触觉传感器模拟器，而 PyTouch 是用于触摸传感的机器学习模型和功能的集合。
Tacto 可以每秒数百帧的速度呈现触摸读数，并且可以配置为模拟不同的传感器，包括 Facebook 自己的 Digit。正如 Calandra 和 Lambeta 指出的那样，模拟器在原型设计、调试和机器人基准测试中发挥着重要作用，因为它们允许进行测试而无需进行昂贵的实验。他们说：“除了能够在模拟中运行更快的实验的好处之外，获得正确的硬件以及减少触觉传感中硬件表面的磨损和撕裂的挑战使得模拟对触摸传感变得更加重要。”
至于 PyTouch，它为传感器提供了基本功能，例如检测触摸和滑动，以及估计物体姿态。该计划是将其与现实世界的传感器和 Tacto 集成，以实现模型验证以及“Sim2Real”功能——将模拟训练的概念转移到现实世界应用程序的能力。Facebook 还设想 PyTouch 让机器人社区使用专用于“即服务”的触摸传感模型，研究人员可以在其中连接传感器，下载预先训练的模型，并将其用作应用程序的构建块。
“我们……目前正在研究 Sim2Real 转移，用于在模拟中训练 PyTouch 模型并将它们部署在真实传感器上，作为快速收集数据集和训练模型的一种方式，”Calandra 和 Lambeta 说。“在模拟中，收集包含大量数据的大规模数据集可以在几分钟内完成，而使用真实传感器收集数据需要时间和人力来物理探测物体。最后，我们计划探索 Real2Sim 方法，以更好地从真实数据中调整模拟器。”
在触觉感知方面有一大堆障碍需要克服，包括硬件限制、对哪些触摸功能用于特定任务缺乏了解，以及缺乏广泛接受的基准测试。但 Facebook 断言，触摸感应的改进，无论增量如何，都可以帮助推进人工智能，并使研究人员能够构建具有增强功能的机器人。
朝着这一目标迈出的一小步，该公司发布了 ReSkin 的设计、文档、代码和基础模型，以帮助研究人员使用该传感器，而无需收集或训练他们自己的数据集。
“它还可以开启 AR/VR 的可能性，并引领工业、医疗和农业机器人技术的创新，”Calandra 和 Lambeta 说。“我们正在努力实现一个未来，每个机器人都可能配备触摸感应功能。”
