OpenAI利用7万小时的游戏视频成功训练Minecraft建造机器人

Minecraft可能听起来不像是一个支持高级人工智能研究的重要工具。毕竟，教一台机器玩一个十多年前发布的沙盒游戏哪有如此重要？但基于OpenAI最近的努力，一个训练有素的Minecraft机器人与人工智能的进步比大多数人可能意识到的更有关系。

OpenAI一直专注于造福人类的人工智能（AI）和机器学习的进步。最近，该公司利用超过7万小时的游戏视频，成功地训练了一个机器人玩Minecraft。这一成就远远超出了机器人玩游戏的范畴，它标志着使用观察和模仿的先进机器学习向前迈出了一大步。

OpenAI的机器人是模仿学习（也称为"监督学习"）的一个优秀范例。与强化学习不同的是，学习代理在通过试验和错误达到目标后会得到奖励，而模仿学习则是通过观察人类完成特定任务来训练神经网络。在这种情况下，OpenAI利用现有的游戏视频和教程，教他们的机器人执行复杂的游戏序列，这需要典型的玩家花大约24000个单独的动作来实现。

模仿学习需要对视频输入进行标记，以提供动作和观察结果的背景。不幸的是，这种方法可能是高度劳动密集型的，导致可用的数据集有限。这种可用数据集的短缺最终限制了代理人通过观察学习的能力。

OpenAI的研究团队没有通过广泛的手工数据标记工作，而是使用了一种特定的方法，即视频预训练（VPT），以大大扩展可用的标记视频的数量。研究人员最初捕获了2000个小时的有注释的Minecraft游戏，并使用它来训练一个代理将特定的行动与屏幕上的特定结果联系起来。然后，所产生的模型被用来为网上现成的70000小时之前没有标签的Minecraft内容自动生成标签，为Minecraft机器人提供了一个更大的数据集来审查和模仿。

整个练习证明了可用视频库的潜在价值，如YouTube，作为人工智能训练资源。机器学习科学家可以利用现有的和适当标记的视频来训练人工智能进行特定的任务，从简单的网络导航到帮助用户满足现实生活中的物理需求。