麻省理工学院的人工智能系统可以用触摸看到物体

麻省理工学院的研究人员周一推出了一种人工智能 (AI) 系统，该系统可以通过触摸进行可视化，并通过查看进行感觉，从而为能够更轻松地抓取和识别物体的机器人铺平了道路。

虽然我们的触觉为我们提供了一个感受物理世界的渠道，但我们的眼睛帮助我们立即了解这些触觉信号的全貌。被编程为可以看到或感觉到的机器人不能完全互换地使用这些信号。

为了更好地弥合这一感官差距，美国麻省理工学院 (MIT) 的研究人员提出了一种预测性人工智能，可以通过触摸来学习视觉，并通过视觉来学习感觉。

该系统可以从视觉输入中创建逼真的触觉信号，并预测从这些触觉输入直接触摸的对象和哪个部分。他们使用了带有特殊触觉传感器的机械臂，称为GelSight。

使用一个简单的网络摄像头，该团队记录了近200个物体，如工具、家用产品、织物等，被触摸了12,000次。团队将这些12,000视频剪辑分解为静态帧，编译了 “VisGel”，这是一个超过300万个视觉/触觉配对图像的数据集。

“通过观察场景，我们的模型可以想象触摸平坦表面或锋利边缘的感觉，” 一名博士生、一篇关于该系统的新论文的主要作者李云珠说。“通过盲目接触，我们的模型可以纯粹从触觉上预测与环境的相互作用，” 李说。

他说: “将这两种感觉结合在一起可以增强机器人的能力，并减少我们在涉及操纵和抓取物体的任务中可能需要的数据。”

最近为机器人配备更多类似人类的物理感官的工作使用了大型数据集，这些数据集无法用于理解视觉和触摸之间的相互作用。该技术通过使用VisGel数据集以及称为生成对抗网络 (GANs) 的方法来解决此问题。

GANs使用视觉或触觉图像生成其他模态的图像。它们通过使用相互竞争的 “生成器” 和 “鉴别器” 来工作，其中生成器旨在创建真实的图像来欺骗鉴别器。

研究人员说，每当鉴别器 “抓住” 发电机时，它就必须暴露决策的内部推理，这使发电机能够反复自我改进。

人类只要看到物体就能推断出它的感受。为了更好地赋予机器这种力量，系统首先必须定位触摸的位置，然后推断出有关该区域的形状和感觉的信息。

参考图像-没有任何机器人与对象的交互-帮助系统编码有关对象和环境的详细信息。当机械臂操作时，该模型可以简单地将当前帧与其参考图像进行比较，并轻松识别触摸的位置和比例。

研究人员说，对于触觉到视觉，该模型的目的是根据触觉数据生成视觉图像。他们说，该模型分析了触觉图像，然后找出了接触位置的形状和材料。然后，它回头查看参考图像，以 “幻觉” 这种相互作用。

例如，如果在测试过程中向模型提供了鞋上的触觉数据，则它可能会生成最有可能触摸该鞋的图像。研究人员说，在没有视觉数据的情况下，例如当灯熄灭时，或者如果一个人盲目地伸入盒子或未知区域，这种能力可能有助于完成任务。