MIT新研究：机器人可以通过视觉和触觉感知物体

【天极网网络频道】6月18日消息，日前，麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员提出了一种预测性人工智能，它可以通过视觉和触觉来感知物体。

该团队的系统可以从视觉输入创建逼真的触觉信号，并从这些触觉输入中预测哪些物体和哪些部分被触摸。他们使用KUKA机器人手臂，并在手臂上添加了一个名为GelSight的特殊触觉传感器，该传感器由麻省理工学院的另一个小组设计。

该团队使用一个简单的网络摄像头记录了近200件物品，如工具、家用产品、物等，被触摸次数超过1.2万次。将这1.2万个视频片段分解为静态图像，该团队编制了“VisGel”，这是一个包含300多万个视觉/触觉配对图像的数据集。

麻省理工学院博士后Jun-Yan Zhu在关于该系统的新论文中说：“通过观察现场，我们的模型可以想象触摸平坦表面或锋利边缘的感觉。通过盲目地触摸，我们的模型可以从触觉中预测与环境的相互作用。将这两种感官结合在一起可以增强机器人的能力，并减少我们在涉及操纵和抓取物体的任务时可能需要的数据。”

MIT新研究：机器人可以通过视觉和触觉感知物体

为了给机器人配备更多类似人类的物理感官，麻省理工学院曾利用深度学习技术，从无声视频片断中预测声音，还创建过一个模型，预测物体对物理力的反应。不过，这两项工作都使用了无法理解视觉和触觉之间交互作用的大型数据集。该团队通过使用VisGel数据集以及生成对抗网络(GANs)解决了这一问题。

虽然我们的触觉给了我们一个感受世界的通道，但我们的眼睛可以帮助我们立即理解这些触觉信号的全貌。在此之前，经过编程能够看到或感觉到的机器人无法完全交替使用这些信号，而麻省理工学院的这项研究可以更好地弥补这一感官差距。