星际迷航的万花筒房间通过ChatGPT和视频游戏资源重新创造

《星际迷航》中的“全息甲板”被重新用ChatGPT和视频游戏资源重现

在《星际迷航：下一代》中，皮卡德船长和U.S.S.企业号的船员利用全息甲板，一个能够生成3D环境的空房间，为任务做准备并娱乐自己，模拟从郁郁葱葱的丛林到福尔摩斯的伦敦的一切。全息甲板创建的环境深度沉浸、完全互动，使用纯粹的语言进行无限定制：船员只需要求计算机生成环境，该空间就会出现在全息甲板上。

今天，虚拟交互环境也被用于在实际部署之前训练机器人，这个过程被称为“Sim2Real”。然而，虚拟交互环境的供应量惊人地短缺。“艺术家手工创建这些环境，”计算机与信息科学（CIS）助理和副教授马克·雅茨卡和克里斯·卡利森-伯奇的实验室的博士生岳扬说道。“那些艺术家可能花费一周时间建造一个单一的环境，”岳扬补充说，并指出了所涉及的所有决策，从空间布局到物体摆放再到渲染中所使用的颜色。

如果你想训练机器人在现实世界中应对一切复杂性，则这种虚拟环境的匮乏是一个问题。驱动如今人工智能革命的神经网络需要大量的数据，这在这种情况下意味着物理世界的模拟。“像ChatGPT这样的生成式AI系统是在数万亿字的语料上进行训练的，而Midjourney和DALLE等图像生成器则是在数十亿张图片上进行训练的，”卡利森-伯奇说道。“我们在训练‘具身智能’所需的3D环境数量仅相当一小部分。如果我们想利用生成式AI技术开发可以在现实世界环境中安全导航的机器人，那么我们将需要创建数百万甚至数十亿个模拟环境。”

于是，Holodeck应运而生，这是一个由卡利森-伯奇、雅茨卡、岳扬和Lingjie Liu联合创立的用于生成交互式3D环境的系统，同时还有来自斯坦福大学、华盛顿大学和人工智能艾伦研究所的合作者。以其《星际迷航》前辈命名，Holodeck利用人工智能来解释用户的请求，生成几乎无限范围的室内环境。“我们可以使用语言来控制它，”岳扬说道。“你可以轻松地描述你想要的任何环境，并训练具身智能代理。”

Holodeck利用大型语言模型（LLMs）中蕴含的知识，LLMs是ChatGPT和其他聊天机器人的基础系统。“语言是对整个世界非常简洁的表达，”岳扬说道。事实上，LLMs在设计空间方面具有意外的高度知识，这归功于它们在训练期间摄入的大量文本。实质上，Holodeck通过与LLM进行对话，使用一系列精心构造的隐藏查询将用户请求分解为特定参数。

就像皮卡德船长可能会要求《星际迷航》的全息甲板模拟一家秘密酒吧一样，研究人员可以要求Penn的Holodeck创建“一个有猫的研究员的1室1卫公寓”。系统通过将查询分为多个步骤来执行此查询：首先创建地板和墙壁，然后是门口和窗户。接下来，Holodeck搜索Objaverse，这是一个庞大的预制数字对象库，以找到在这样的空间中所期望的家具：咖啡桌、猫爬架等等。最后，Holodeck查询布局模块，研究人员设计该模块以约束物体的放置，避免出现厕所水平延伸于墙壁之外的情况。

为了评估Holodeck的逼真度和准确性，研究人员使用Holodeck和AI2早期工具ProcTHOR生成了120个场景，并请数百名宾夕法尼亚工程学院的学生指出他们更喜欢哪个版本，不知道哪些场景是由哪些工具创建的。对于每个标准——资产选择、布局连贯性和总体偏好——学生们一致地更喜欢Holodeck生成的环境。

研究人员还测试了Holodeck生成的能力，用于生成比公寓内部更不同寻常且难以手工创建的场景，比如商店、公共空间和办公室。将Holodeck的输出与使用人工创建规则而不是AI生成文本的ProcTHOR进行比较后，研究人员再次发现人类评估者更喜欢Holodeck创建的场景。这种偏好跨越了广泛的室内环境，从科学实验室到艺术工作室，更衣室到酒窖。

最后，研究人员使用Holodeck生成的场景来“优化”具身智能代理。“Holodeck的最终测试，”雅茨卡说，“是利用它来帮助机器人更安全地与环境交互，使它们能够进入以前未曾去过的地方。”

在包括办公室、托儿所、健身房和游乐场在内的多种虚拟空间中，Holodeck显著且积极地影响了代理的浏览新空间的能力。

例如，在使用ProcTHOR进行预训练时（其中代理进行了大约4亿次虚拟步骤），代理在音乐室中成功找到钢琴的概率仅约为6%；而在使用Holodeck生成的100个音乐室进行微调后，代理的成功率超过30%。

“这个领域长期以来一直在研究住宅空间，”岳扬说道。“但现实世界中存在着如此多样的环境——高效地生成大量环境来训练机器人一直是一个重大挑战，但Holodeck提供了这种功能。”