当前位置：首页 > news >正文

GRUtopia：构建虚拟世界中的智能机器人社会

news 来源：原创 2025/5/20 6:08:55

人工智能咨询培训老师叶梓转载标明出处

人工智能讲师大模型讲师叶梓前沿技术分享：GRUtopia：构建虚拟世界中的智能机器人社会

随着Embodied AI（具身智能）领域的快速发展，对于能够在复杂环境中执行任务的机器人的需求日益增长。然而，收集真实世界数据的成本高昂，限制了具身模型学习的发展。为了解决这一问题，上海人工智能实验室的OpenRobotLab提出了一个名为GRUtopia的项目，旨在通过模拟到现实（Sim2Real）的范式，推动具身模型学习的规模化。图1展示了GRUtopia项目的关键特性，包括不同的场景类别（如医院、食堂、办公室等）和涉及的任务类型（如导航、对话、操作等）。

表1比较了GRUtopia与其他平台在场景、对象、平台和基准测试方面的差异。它展示了GRUtopia在场景多样性和功能覆盖上的优势。

想要掌握如何将大模型的力量发挥到极致吗？叶老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具（限时免费）。

1小时实战课程，您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型，以发挥其最大潜力。

CSDN教学平台录播地址：https://edu.csdn.net/course/detail/39987

数据集与平台

GRUtopia平台基于大规模3D场景数据集GRScenes，该数据集以多样化的对象为特色。GRResidents系统是一个由大模型（LLMs）驱动的NPC系统，用于社交互动，以及World Knowledge Manager (WKM)，它为NPC提供平台APIs。

为了构建一个用于训练和基准测试具身代理的平台，需要一个完全互动的环境，其中包含多样化的场景和对象资产。因此，收集了约100k个高质量的合成3D场景，这些场景来自设计师网站，以获得多样化的场景原型。这些原型随后被清洗、标注，并最终组合成城镇，作为机器人的基本游乐场。

图2展示了数据集的分布情况，除了常见的家庭场景外，还包含了约30%的其他多样化类别的场景，如餐馆、办公室、公共场所、酒店和娱乐场所等。从大规模数据集中，初步策划了100个具有细粒度注释的场景用于开源基准测试。这些场景包括70个家庭场景和30个商业场景，家庭场景涵盖了多样的常见区域，商业场景包括医院、超市、餐馆、学校、图书馆和办公室等常见类型。此外，与专业设计师合作，根据人类习惯分布对象，使这些场景更加真实，这在以前的工作中通常被忽视。通过这种方式，为通用机器人在真实、大规模环境中的训练和测试奠定了坚实的基础。

图2-(b)显示了100个场景中包含的2,956个互动对象和22,001个非互动对象的分布情况，这些对象来自96个类别。这些场景中原本包含一些3D对象，但有些对象没有内部建模，使得训练机器人与这些对象互动变得不可行。为了解决这个问题，与专业团队合作修改这些资产，并创建完整的对象，使它们以物理上合理的方式可互动。此外，为了提供更全面的信息以使代理能够与这些资产互动，所有对象都标注了细粒度的部分标签，这些标签附加在NVIDIA Omniverse中的交互部分的X形式上。

在GRUtopia中，通过嵌入一些“居民”，即由大型语言模型（LLMs）驱动的生成性NPCs，赋予了世界社交能力，从而模拟城市环境中的社交互动。这个NPC系统被称为GRResidents。构建3D场景中真实的虚拟角色的一个主要挑战是整合3D感知能力。然而，虚拟角色可以轻松访问场景注释和模拟世界的内部状态，使强大的感知成为可能。因此，设计了一个World Knowledge Manager (WKM)，它管理虚拟环境的动态知识，并提供一系列数据接口以访问这些知识。依靠WKM，NPCs可以检索所需的知识，并执行细粒度的对象定位，通过参数化函数调用，这构成了它们的感知能力的核心。

图3概述了GRResidents，它包括两个模块：(a) 一个世界知识管理器，它从数据集注释和模拟器后端组织场景知识，并提供APIs用于知识检索。(b) 一个基于LLM的规划器，能够从世界知识管理器检索全局知识，并根据对话上下文生成响应。

WKM的主要任务是持续管理虚拟环境的知识，并为NPC提供场景的高级知识。具体来说，WKM从数据集和模拟器后端获取层次化的注释和场景知识，构建场景图作为场景的表示，其中每个节点代表一个对象实例，边表示对象之间的空间关系。WKM在每个模拟步骤中都保持场景图，并公开三个核心数据接口从场景图中提取知识：1) find_diff(target, objects)：比较目标对象和一组其他对象之间的差异；2) get_info(object, type)：获取对象的知识，以所需的属性类型；3) filter(objects, condition)：根据条件过滤对象。

LLM Planner是NPC的决策模块，由三个组件组成：一个存储NPC与其他代理之间聊天历史的内存模块，一个使用WKM接口查询场景知识的LLM程序设计器，以及一个消耗聊天历史和查询知识的LLM扬声器，以产生响应。当NPC接收到消息时，它首先将消息存储在内存中，并将更新的历史记录转发给LLM程序设计器。然后程序设计器迭代调用数据接口查询必要的场景知识。最后，知识和历史记录被发送到LLM扬声器，它生成响应。

表2显示了由不同LLMs驱动的NPCs在对象引用、语言定位和对象中心QA方面的交叉验证（Referring & Grounding）准确率和QA得分。实验表明，NPCs能够：(1) 生成对象标题；(2) 按描述定位对象；(3) 为代理提供对象信息。这些实验中的NPCs的后端LLMs包括GPT-4o、InternLM2-Chat-20B和Llama-3-70BInstruct。

图4展示了NPC在描述和定位方面的能力评估，通过NPC和人类之间的交叉验证进行。在引用实验中，NPC随机选择一个对象并描述它，然后人类注释者根据描述选择一个对象。如果人类注释者能够定位与描述相对应的正确对象，则引用成功。在定位实验中，人类注释者的角色由GPT-4o扮演，它提供对象描述，NPC定位它。如果NPC能够定位相应的对象，则定位成功。表2中的成功率显示，不同的LLMs在对象引用和定位方面的准确率分别为95.9%-100%和83.3%-93.2%，验证了NPC框架在对象引用和定位方面的准确性。

在对象中心QA实验中，评估了NPC通过导航任务中的问题-答案为代理提供对象级信息的能力。设计了一个管道，生成对象中心的导航情节，模拟真实世界场景，代理向NPC提问以获取信息，并根据答案采取行动。根据代理的问题，基于NPC的答案与真实答案之间的语义相似性来评估NPC。表2中的总体得分表明，NPC可以提供精确和有用的导航帮助。

由于物理模拟需要处理碰撞，低级控制APIs对于管理模拟器中的机器人代理至关重要。与以往使用动画和设置位置进行伪行动执行的工作不同，提供了基于强化学习（RL）的控制器作为APIs来驱动机器人。这种方法便于部署代理算法执行高级任务，利用预训练的、健壮的低级控制系统。具体来说，开发并提供了针对各种机器人的运动策略作为APIs，包括人形机器人（Unitree H1、Unitree G1、Fourier GR-1）和四足机器人（Unitree Aliengo与Unitree Z1 Arm）。这些运动APIs经过精心设计，用户友好，使研究人员和开发人员能够集成复杂的控制机制，而无需深入了解RL训练的复杂性。

在两种不同的环境下，对Unitree H1和Unitree Aliengo（带Z1臂）的运动控制器进行了广泛的评估：一个开放的平坦地形和一个杂乱的、家具丰富的环境。给机器人的任务是使用简单的最短路径搜索进行点对点导航。观察到成功率显著下降，从100%下降到H1的58%和Aliengo的14%。同样，测试操纵能力时，成功率从100%下降到8%。发现这种差异主要是由于路径或运动规划的失败，尽管低级控制表现强劲。这突出了将简单环境中训练的政策部署到真实世界的复杂场景中的挑战。因此，提倡更综合的研究方法，将低级控制研究与这些现实环境中的高级任务执行结合起来。作为一个临时的解决方案，引入了一个重置函数，恢复代理的稳定运动学状态，并使用重置次数来评估低级政策的鲁棒性。

基准测试

基准测试旨在评估具身代理的能力，包括主动感知环境、参与对话以澄清模糊的人类指令以及与周围环境互动以完成任务。图5展示了三个基准测试的示例：对象定位导航（Object Loco-Navigation）、社交定位导航（Social Loco-Navigation）和移动操作（Loco-Manipulation）。这些任务要求代理根据给定的语言目标进行导航，与NPC进行有效沟通以澄清指令，并测试机器人使用手臂拿起和放置物体的能力。

建立了三个基准测试来全面评估具身代理：

对象定位导航：评估主动感知和导航能力，要求代理根据给定的语言目标导航到目标对象。如果目标对象出现在代理的视野中，则认为成功。
社交定位导航：评估代理与NPC进行有效沟通以澄清指令的能力。代理必须通过询问问题来澄清目标对象的特征（最多三轮对话）。如果目标对象出现在代理的视野中，则认为成功。
移动操作：在定位导航的基础上测试机器人拿起和放置物体的能力。要求代理理解物体和容器的外观以及它们之间的关系。如果手持物体最终被放置在满足所有条件规定的位置，则认为成功。

所有情节都以代理在预定位置和方向开始。对于导航（基准测试1和2），使用配备RGB-D相机的Unitree H1人形机器人进行感知。对于移动操作（基准测试3），由于Unitree H1目前缺乏足够的操作能力，设置使用AlienGo作为移动底座和Unitree Z1作为操作器的移动操作器。RGB-D相机安装在距离AlienGo 0.8米的杆上，以确保相机的环境感知视野。

采用最先进的视觉语言模型（VLMs）作为基线，包括开源代表InternVL-chat-1.5和闭源的GPT-4o和Qwen-VL家族。对于对象定位导航，直接将机器人的当前图像观察和语言提示输入VLM。VLM然后从以下12个动作中选择一个动作作为输出：（1）向前移动2/4/6米；（2）对角线向左/右移动2/4/6米；（3）向左/右旋转90度；（4）停止。对于社交定位导航，引入了一个新的动作“询问”。对于移动操作，引入了新的行动类型“拿起”和“放置”以支持机器人代理的移动操作能力。

图6：基线代理的概述。定位模块（a）处理原始感官数据为语义丰富的信息，记忆模块（b）存储历史信息，如动作观察历史。决策模块（c），由VLM或LLM组成，根据（a）和（b）中的信息做出行动决策，而动作模块（d）执行输出动作。环境模拟动作产生的物理变化，并产生感官数据。代理还可以选择向NPC询问有关任务的进一步指令。

用于评估不同基准测试中代理性能的标准和指标：对于基准测试1和2，如果目标对象在代理的视野内且距离小于3米，则认为情节成功。对于基准测试3，当目标手持对象被准确放置在目标位置时，成功实现，使用世界知识管理器提供的API进行评估。在所有基准测试中，代理必须在14,400个物理模拟步骤的生命范围内执行STOP动作；未能这样做会导致情节被认为不成功。

在不同大模型后端下，大模型驱动的代理框架在三个基准测试中的比较分析如表4所示，随机策略的性能接近0，表明任务非平凡。当使用相对优越的大模型作为后端时，在所有三个基准测试中都取得了显著更好的整体性能。特别是，Qwen在对话中优于GPT-4o。

消融研究旨在了解任务设置和模型组件对代理框架性能的影响。如表5所示，比较了感知模块对实验结果的影响。结果表明，感知性能对整体性能有显著影响。特别是，使用Qwen-VL比GPT-4o获得了更好的结果。

展示了LLM代理在社交定位导航任务中执行的一个情节，以说明代理如何与NPC互动。代理被允许与NPC进行多达三次的对话，以查询额外的任务信息。在t = 240时，代理导航到一把椅子并询问NPC它是否是目标椅子。NPC随后提供有关目标的周围信息以减少歧义。在NPC的协助下，代理成功地通过类似于人类行为的互动过程识别出目标椅子。这表明NPC能够为研究人机交互和协作提供自然的社交互动。

https://arxiv.org/abs/2407.10943

GitHub - OpenRobotLab/GRUtopia: GRUtopia: Dream General Robots in a City at Scale

数据集与平台

基准测试

相关文章：