工程化家用机器人赋予一点常识

麻省理工学院（MIT）的工程师们致力于让家用机器人在面对推动它们偏离训练路径的情况时具备一些常识。他们开发了一种方法，将机器人运动数据与大型语言模型（LLM）的“常识知识”相连接。

这一方法使得机器人能够逻辑地将许多家务任务划分为子任务，并在子任务内部调整以应对干扰，从而使机器人能够继续进行下去，无需返回并从头开始任务——同时也无需工程师明确编程解决每一种可能的失败情况。

研究人员通过一个简单的家务任务——从一个碗中舀取弹珠倒入另一个碗来阐述他们的新方法。他们意识到，虽然一个人可能会连续演示一个任务，但该任务依赖于一系列子任务或轨迹。如果机器人在任何这些子任务中出现错误，其唯一选择就是停下来并从头开始，除非工程师明确标记每个子任务并为机器人恢复失败设置程序或收集新的演示。

然而，研究人员发现，部分工作可以由LLMs自动完成。通过这些连接，LLMs可以根据其对接下来可能出现的词的了解生成新的句子。研究人员发现，LLM除了句子和段落之外，还可以被提示产生涉及给定任务的子任务的逻辑列表。因此，他们开发了一种算法，将LLM对特定子任务的自然语言标签自动连接到机器人在物理空间中的位置或表示机器人状态的图像上。这个算法能够自动学习将机器人的物理坐标或机器人状态的图像与给定的子任务相映射。

研究团队在一个实验中使用这种方法对一个机械手臂进行了训练，在几次演示后，团队要求机器人独立完成舀取任务。在机器人执行任务的过程中，实验人员推动和挤压机器人，打掉勺子上的弹珠。然而，机器人能够自我纠正，并在完成每个子任务后继续进行下一个子任务，而不需要停下来并重新开始。

这项研究充分展示了他们的新方法，该方法能够将通过遥操作系统收集的训练数据转化为能够执行复杂任务的机器人行为，尽管存在外部干扰。