一个机器人一次性向所有机器人学习？全球34个实验室联合研究

机器人不能依赖于从互联网上抓取训练数据，而要从机器人数据中学习，这些数据通常由研究人员在实验室环境中为特定任务创建。如果没有丰富的数据，就无法让机器人在实验室外完成现实世界的任务。科学家希望从世界各地所有机器人共享的数据中受益，同时融入互联网数据赋予机器人推理能力，以此开发通用机器人大脑，驱动任何机器人。

来自世界各地的机器人分享数据，帮助开发通用机器人大脑

机器人把苹果放在罐头和橙子中间。(00:18)

创造一个通用机器人

生成式人工智能利用互联网上的大量数据训练大模型，但这些成果并不能轻易转移到机器人领域，因为机器人不能依赖于从互联网上抓取训练数据，互联网上也没有大量的机器人交互数据。

机器人需要从机器人数据中学习，而这些数据通常由研究人员在实验室环境中为特定任务缓慢而乏味地创建。尽管机器人学习算法取得了巨大进步，但如果没有丰富的数据，我们仍然无法让机器人在实验室之外完成现实世界的任务。

为此，科学家试图利用多种机器人的不同数据，来解决机器人的学习问题，制造通用机器人大脑。

“一个深度神经网络能否在来自足够多不同机器人的数据上训练，从而学会驱动具有不同外观、物理特性和能力的所有机器人？如果可行，这可能会为机器人的学习解锁大型数据集的力量。”莱文表示，RT-X数据集目前包含了22种机器人、近100万次试验，数据集中的机器人执行拾放物体、组装等各种行为，这是目前真实机器人动作的最大开源数据集，研究人员可训练机器人控制算法。

“就像一个人可以用同一个大脑开车或骑自行车一样，在RT-X数据集上训练的模型可以简单地从机器人自己的摄像头观察中识别出它所控制的机器人类型。”莱文举例，如果机器人的摄像头看到UR10工业臂，该模型将发送适合UR10的命令。

为了测试模型能力，参与RT-X项目的5个实验室，将他们独立开发的机器人最佳控制系统跟RT-X数据集训练出来的模型进行对比。结果显示，统一模型比每个实验室自己的最佳方法具有更好的性能，平均成功率提高了50%左右。

研究人员还发现，RT-X训练出来的模型可以利用其他机器人的不同经验来提高不同环境下的鲁棒性。即使在同一个实验室里，每次机器人尝试一项任务时，它都会发现自己处于略有不同的情况中，因此会借鉴其他机器人在其他情况下的经验。

创造一个会推理的机器人

复杂的语义推理很难单独从机器人数据中学习。虽然机器人数据可以提供一系列物理能力，但像“把苹果移到罐头和橙子之间”这类更复杂的任务，往往需要理解图像中物体间的语义关系、基本常识，以及和机器人物理能力没有直接关系的其他符号知识。

因此，研究人员在RT-X项目的机器人数据中加入了一个庞大数据源：互联网规模的图像和文本数据。他们使用现有的视觉语言模型，这个模型类似于ChatGPT或Bard等公众可用的模型，已精通需理解自然语言和图像之间联系的任务。结果发现，只要训练这个模型，让其对机器人指令（例如把香蕉放在盘子上）做出反应，就可以适应机器人控制。

2023年目录

《煤炭加工与综合利用》2023年第12期