一群机械臂手忙脚乱地自己干活，彼此配合、互不碰撞。
科幻大片场景真的走入现实了。优雅，实在是优雅。
△视频中为 4 个机械臂，在仿真环境下 4 个安装在桌子上，另外 4 个安装在天花板上。
这就是发表在 Science 子刊Science Robotics上，由 DeepMind、Intrinsic AI 和 UCL 等研究机构共同提出的最新成果——RoboBallet（机器芭蕾）。
RoboBallet 创新性地将图神经网络（GNN）用于强化学习，作为其策略网络和状态 - 动作价值估计，以解决多机器人（机械臂）协作运动规划中的复杂问题。
这一方法最多可以同时控制8个机械臂，协调多达56个自由度的配置空间，并处理多达40个共享任务， 每一步规划仅需0.3毫秒，且任务分配和调度完全不受约束。
值得一提的是，这篇论文的通讯作者——Matthew Lai，可谓是谷歌 DeepMind 的资深研究员。自 2016 年加入谷歌 DeepMind 以来，他曾参与过AlphaGo、AlphaZero等明星项目。
总的来说，RoboBallet 的核心是把图神经网络与强化学习结合起来，采用图神经网络（GNN）作为策略网络和状态 - 动作价值估计，解决了大规模多机器人任务分配、调度和运动规划的联合问题，实现了在计算上高效、可扩展且能零样本泛化的高质量轨迹规划。
具体来说，在现代自动化制造中，核心挑战在于如何让多个机器人在共享的、充满障碍物的空间中无碰撞地高效协作，以完成大量任务（如焊接、装配等）。
这涉及到三个高度复杂的子问题：
任务分配（Task Allocation）：决定哪个机器人执行哪个任务，以最小化总执行时间。
任务调度（Task Scheduling）：决定任务的执行顺序。
运动规划（Motion Planning）：在关节空间中寻找一条无碰撞路径，使机器人末端执行器移动到目标姿态。
这三个子问题一组合，复杂度急剧增加，传统算法在真实场景中往往难以计算可行解，工业界目前主要依赖耗时且劳动密集的人工规划。
因此，为了应对这种高维复杂性，RoboBallet 就被用来在随机生成的环境中进行任务和运动规划，其能够为与训练期间所见环境不同的环境（具有任意障碍物几何形状、任务姿态和机器人位置）规划多臂抓取轨迹。
为了实现这一点，RoboBallet 在数据表示层面，创新性地将整个场景建模为图结构。
其中，图中的节点代表场景中的核心实体，包括机器人、任务和障碍物，而边（Edge）则表示这些实体之间的关系（例如，相对姿态）。
机器人节点之间存在双向边，以支持相互协调和避碰。而任务节点和障碍物节点到机器人节点则存在单向边，用于向机器人传递规划所需的环境信息（如图 c）
接下来，RoboBallet 使用图神经网络（GNN）作为策略网络，通过权重共享来处理不断变化的图大小。其以观测图作为输入，并在每个时间步为所有机器人生成指令关节速度。这使得机械臂能够在只接收原始状态作为输入的情况下，进行关系和组合推理。
而在具体的策略学习和评估阶段，RoboBallet 通过微调 TD3（Twin-Delayed Deep Deterministic Policy Gradient）算法来训练策略网络，使模型能够生成多机械臂轨迹，同时解决任务分配、调度和运动规划等子问题，使得昂贵的在线计算转移到了离线训练阶段。
（注：在此任务中，机械臂因成功解决任务和避免碰撞而获得奖励）
同时，为了解决稀疏奖励的问题，RoboBallet 还采用了Hindsight Experience Replay方法，使模型能够在没有人工设计的奖励函数的情况下高效学习。
在具体的部署方面，RoboBallet 使用Franka Panda的七自由度机械臂、在随机障碍物和任务的模拟环境进行训练。
为了验证性能，研究团队在一个包含 4（8）个机器人、40 个任务和 30 个障碍物的模拟工作单元中进行测试，并与 RRT-Connect 方法进行比较。值得一提的是，这一切都只需在一块 GPU（图形处理单元）上完成，无论是真实的还是模拟的多臂工作单元。
实验表明，RoboBallet 在多个关键指标上表现出色：
在训练时间的扩展性方面，即使任务数量增加四倍，RoboBallet 收敛所需的训练步数也只是略有增加。
在规划速度方面。实验表明，在推理阶段，即便是包含 8 个机器人和 40 个任务的最大场景，每个规划步在 NVIDIA A100 上只需约0.3 毫秒，能够实现10 Hz 时间步下超过 300 倍的实时规划速度。
在单个 Intel Cascade Lake CPU 核心上，每个步长大约需要 30 毫秒，在 10Hz 时间步下仍比实时快约 3 倍。每个规划步骤包括对整个场景进行一次推理和一次碰撞检测。
在多智能体协同方面，随着机器人数量从 4 个增加到 8 个 ，平均执行时间减少了约60%。
而在泛化性方面，模型在随机生成的环境中训练后，无需额外训练即可零样本迁移（zero-shot）到具有不同机器人位置、障碍物几何形状和任务姿态的新环境中。
最后，RoboBallet 的高速和可扩展性使其能够应用于工作单元布局优化（将任务执行时间缩短了 33%）、容错规划和基于在线感知的重新规划等新能力。
参考链接
[ 1 ] https://x.com/GoogleDeepMind/status/1965040645103407572
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题 扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～
进群后，你将直接获得：
最新最专业的 AI 产品信息及分析
不定期发放的热门产品内测码
内部专属内容与专业讨论
点亮星标
科技前沿进展每日见
