最牛抓取机器人：X射线“看透”物体堆，还能适应不同环境

原标题：最牛抓取机器人：X射线“看透”物体堆，还能适应不同环境

近日，谷歌和加州大学伯克利分校的研究人员在论文预印本网站arXiv上发表了两篇论文，描述了两项新的人工智能（AI）技术，使机器人能更好地适应从未见过的新环境、完成行抓取、捡拾、丢弃等任务。

第一项研究介绍了X射线机器搜索方案，能提高机器人识别目标物体的准确率。第二项研究介绍了一个适应训练算法，能提升机器人在不同环境中抓取目标物体的能力。

在实验环境中，机器人模型的抓取准确率达到82%！在模拟真实环境条件下，该机器人模型的抓取准确率也可以达到最高90%。

一、用X射线“透视”物体堆，抓取准确率比基线策略高15%

在电子商务、货仓货物装卸、家庭服务等场景中部署机器人可以节省人力资源、提升人类生活质量。但是，现有的机器人模型普遍不够智能，无法准确找到用户指定的物体，面对堆放的物体时尤其如此。

谷歌和加州大学伯克利分校的研究人员认为，集成X射线模块可以让机器人“透视”物体堆，提升机器人识别准确率。

这项研究名为《X射线：通过最小化学习占有率进行机器搜索（X-Ray：Mechanical Search for an Occluded Object by Minimizing Support of Learned Occupancy Distributions）》

论文链接：https://arxiv.org/pdf/2004.09039.pdf

1、分布率学习+X射线，让机器人“看透”物体堆

在这项研究中，研究人员让机器人模型记忆目标对象的外型，再让其用X射线照射堆放的物体，找出物体堆内部与目标对象外型最像的物体。

实验中，研究人员先训练机器人学习物体的分布情况，用3D物体模型模拟真实物体的堆放。

研究人员从开源数据网站Thingiverse（共有1296个3D CAD模型）中取样，选择出10个体积相等、尺寸不同的盒子作为目标物（长宽比从1:1到10:1不等）。为了使目标物更容易被遮挡，选取出的10个盒子厚度较小。

每一个目标物体都单独生成一个含有10000张图像的数据集，10个目标物体最后总共生成了100000张图像。为了对机器人学习情况进行验证，研究人员将每个10000张增强深度图像的数据集划分为训练集和测试集。其中，约8000张图片被用于训练，剩余约2000张则用于验证测试。

利用训练集，研究人员训练出一个基于ResNet-50模型的全卷积神经网络，训练时间约为2.5个小时。

接下来，用测试集验证模型对占有率分布的学习情况。

用平衡精度（Bal.Acc.，Balanced accuracy）和并交比（IoU，Intersection over Unio）来度量网络的学习情况。Bal.Acc.和IoU数值越大，代表学习效果越好。

表格第一列为模型在测试集中的表现，模型对长宽比1:1的盒子的分布率预测最为准确，Bal.Acc.和IoU值分别达到了98%和0.91。

除了长方体盒子，研究人员还选取了4个不规则物体作为目标对象进行示例预测。结果显示，模型能预测出前3个物体（盖子、多米诺骨牌、长笛）的分布情况。

基于对占有率分布预测的学习，研究人员为机器人集成X射线模块，让机器人“透视”物体堆、找出与目标物体外型最相似的物体。

实验过程中，先把物体堆的RGBD图像（通过X射线照射得到）和目标物体外型输入模型。模型根据RGBD图像预测物体堆内部分布情况，找出外型“像”目标物体的物体，并部署一个最简单的抓取动作。

2、被遮挡物体也能认出来

实验结果显示，不论目标物体是被完全遮挡还是部分遮挡，机器人都能通过判断物体形状把它识别出来。

研究人员比较了X射线策略与两个基线模型的抓取结果。X射线方案在82%的情况下成功抓取出目标对象，比表现最佳的基线策略还高15%。

二、进行模型适应训练，机器人抓取准确率最高达98%

通过第一项研究，机器人的抓取准确率有所提高，但实际应用场景与实验室模拟环境有很大差别。为了提升机器人在货仓、家庭等不同工作环境中的稳健性，研究人员对其进行了适应性训练。

这项研究名为《基于视觉的端到端机器人控制的高效适应训练（Efficient Adaptation for End-to-End Vision-Based Robotic Manipulation）》

论文链接：https://arxiv.org/pdf/2004.10190.pdf

1、预训练+改变实验条件，提升机器人环境适应性

首先，研究人员对抓取机器人模型进行预训练，选用QT-Opt算法，训练分两步进行。

第一步，在离线状态下训练机器人模型进行580000次抓取（约花费6000个小时）；

第二步，在线条件下，训练该模型对同一组对象进行28000次抓取。

经过两步训练，机器人模型在实验室模拟环境的抓取准确率能达到96%。

然后，研究人员模拟出5种真实环境，记录机器人在这5种环境中的抓取准确率。

5种环境分别为：棋盘背景、强光照射、将夹钳伸出1cm、将夹钳偏移10cm、用透明瓶子做目标物。

与基础策略相比，机器人在研究人员新设置的5种环境中的抓取准确率均有所下降，将夹钳偏移10cm时准确率下降最多（下降了39%）。

接下来，研究人员利用5种仿真环境中的训练数据，结合基本训练集，对模型进行微调。

2、准确率回升，最高可达98%

最终，经过1～4个小时的学习，机器人模型的抓取准确率回升。在基础条件下，抓取准确率达到98%；在棋盘格背景条件下，抓取准确率最高，达到90%。

论文还指出，随着训练时间继续加长，机器人的表现会更好。

结语：下一步将实现自动化

谷歌和加州大学伯克利分校的研究人员利用X射线机器搜索策略及一系列模型适应性训练方法，研发出一款环境适应性较高的抓取机器人。相比于已有的机器人模型，这款机器人更能适应实际应用的要求。

研究人员还表示，将在未来继续探索，下一个目标是提高机器人自动化程度，使其能够在无人监督的情况下完成任务。

文章来源：VentureBeat，arXiv