麻省理工学院计算机科学与人工智能实验室的研究人员称，可以通过触摸学习视觉的机器人触手可及。

　　在将于下周在加州长滩举行的计算机视觉和模式识别会议上发表的一篇论文中，他们描述了一个人工智能系统，该系统能够根据触觉信号生成物体的视觉表征，并从视觉数据片段预测触觉。

　　“通过观察场景，我们的模型可以想象触摸平面或锋利边缘的感觉，”该研究的主要作者、CSAIL博士生李云柱(音译)说。他与麻省理工学院教授拉斯·特德雷克(Russ Tedrake)、安东尼奥·托拉尔巴(Antonio Torralba)以及麻省理工学院博士后朱俊彦(Jun-Yan Zhu)共同撰写了这篇论文。“通过触摸周围，我们的(人工智能)模型可以纯粹从触觉来预测与环境的互动。把这两种感觉结合起来，可以增强机器人的能力，减少我们在操作和抓取物体时可能需要的数据。”

　　该团队的系统使用了GANs——由生成样本的生成器和试图区分生成的样本和真实样本的识别器组成的两部分神经网络来基于触觉数据拼凑视觉图像。他们从 VisGel获取样本数据，该数据库包含300多万对视觉/触觉数据对，其中包括近200个物体(如工具、织物和家用产品)的1.2万个视频剪辑。它推断出接触位置的形状和材质，并回头看参考图像来“想象”相互作用。

　　例如，给定鞋子的触觉数据，该模型可以确定鞋子最可能被触碰的位置。

　　参考图像有助于对对象和环境的细节进行编码，使机器学习模型能够自我改进。它被安装在一个Kuka机器人手臂上，带有一个触觉GelSight传感器(由麻省理工学院的另一个团队设计)，它将当前帧与参考图像进行比较，以确定触摸的位置和规模。

　　研究人员指出，目前的数据集只有在受控环境中进行交互的例子，他们说，一些细节，比如物体的颜色和柔软度，仍然很难让系统推断出来。不过，他们说，他们的方法可以为在制造环境中实现更无缝的人机一体化奠定基础，特别是在缺少视觉数据的任务中，比如关灯或工人盲目地把手伸进容器时。

　　“这是第一种能够令人信服地在视觉和触觉信号之间进行转换的方法，”加州大学伯克利分校(University of California at Berkeley)博士后研究员安德鲁?欧文斯(Andrew Owens)表示。“当有诸如‘这个物体是硬的还是软的?’或者‘如果我提起这个杯子的把手，我的握力会有多少?’这些问题时，像这样的方法有可能对机器人非常有用，这是一个非常具有挑战性的问题，因为信号是如此不同，而这个模型已经显示出了巨大的能力。”