机器人通过观察人类来学习做家务

借助 WHIRL，机器人学会了如何完成 20 多项任务——从打开和关闭电器、橱柜门和抽屉，到盖上锅盖、推入椅子，甚至从垃圾箱中取出垃圾袋。

导语：一个新机器人系统Shikhar Bahl，可以直接从视频中学习人们的行为，概括行为内容，并从中学习，使得机器人能很高效的学习如何做家务。

资料来源：卡内基梅隆大学

机器人看着 Shikhar Bahl 打开冰箱门。它记录了他的动作、门的摆动、冰箱的位置等等，分析这些数据并准备好模仿 Bahl 的所作所为。

起初它失败了，有时完全错过了手柄，在错误的位置抓住它或不正确地拉动它。但经过几个小时的练习，机器人成功打开了门。

“模仿是一种很好的学习方式，”博士 Bahl 说。卡内基梅隆大学计算机科学学院机器人研究所 (RI) 的学生。“让机器人真正从直接观察人类中学习仍然是该领域未解决的问题，但这项工作在实现这种能力方面迈出了重要的一步。”

Bahl 与 RI 的教员 Deepak Pathak 和 Abhinav Gupta 合作，开发了一种新的机器人学习方法，称为 WHIRL，是野外人类模仿机器人学习的缩写。WHIRL 是一种用于一次性视觉模仿的有效算法。它可以直接从人机交互视频中学习，并将该信息推广到新任务，使机器人非常适合学习家务。

人们经常在家中执行各种任务。借助 WHIRL，机器人可以观察这些任务并收集所需的视频数据，最终确定如何自行完成工作。

该团队为现成的机器人添加了摄像头及其软件，它学会了如何完成 20 多项任务——从打开和关闭电器、橱柜门和抽屉到盖上锅盖、推椅子甚至从垃圾箱里拿出一个垃圾袋。每次，机器人都会看着一个人完成一次任务，然后开始练习和学习自己完成任务。

该团队本月在纽约举行的机器人：科学与系统会议上介绍了他们的研究。

“这项工作提供了一种将机器人带入家中的方法，”RI 的助理教授和团队成员 Pathak 说。

“无需等待机器人被编程或训练成功完成不同的任务，然后再将它们部署到人们的家中，这项技术使我们能够部署机器人并让它们学习如何完成任务，同时适应它们的环境并单独改进通过观看。”

当前教授机器人任务的方法通常依赖于模仿或强化学习。在模仿学习中，人类手动操作机器人来教它如何完成任务。在机器人学习之前，这个过程必须为单个任务完成多次。在强化学习中，机器人通常接受数百万个模拟示例的训练，然后要求将该训练适应现实世界。

在结构化环境中教机器人完成单个任务时，这两种学习模型都能很好地工作，但它们很难扩展和部署。WHIRL 可以从人类执行任务的任何视频中学习。它易于扩展，不限于一项特定任务，并且可以在现实的家庭环境中运行。

该团队甚至正在开发一个 WHIRL 版本，通过观看来自 YouTube 和 Flickr 的人类互动视频进行训练。

计算机视觉的进步使这项工作成为可能。使用基于互联网数据训练的模型，计算机现在可以理解和模拟 3D 运动。该团队使用这些模型来了解人体运动，从而促进 WHIRL 训练。

借助 WHIRL，机器人可以在自然环境中完成任务。电器、门、抽屉、盖子、椅子和垃圾袋没有被修改或操纵以适应机器人。

机器人最初的几次尝试都以失败告终，但一旦成功了几次，它很快就掌握了如何完成并掌握了它。虽然机器人可能无法以与人类相同的动作完成任务，但这不是目标。

人和机器人有不同的部分，它们的动作也不同。重要的是最终结果是一样的。门打开了。开关关闭。水龙头已打开。

“要在野外扩展机器人技术，数据必须可靠且稳定，并且机器人应该通过自行练习在环境中变得更好，”Pathak 说。