1. 扩散策略如何让机器人学会"绣花功夫"
想象一下让机器人完成系鞋带这样的精细动作有多难——这需要同时处理柔软易变的鞋带材料、精确到毫米级的空间定位、多步骤连贯操作,以及双手的完美协同。传统机器人控制方法在这种场景下往往捉襟见肘,而ALOHA 2研究团队给出的解决方案令人眼前一亮:扩散策略+Transformer这对黄金组合。
扩散策略最初源自图像生成领域,其核心思想是通过逐步去噪的过程生成高质量输出。当这个思路被移植到机器人控制时,神奇的事情发生了:机器人动作轨迹的生成就像画家作画一样,从粗糙的轮廓开始,经过多次迭代逐渐细化。在齿轮插入任务中,这种特性表现得尤为明显——初始动作可能偏差几毫米,但经过50步去噪 refinement 后,最终能达到0.5mm的插入精度。
与传统的L1回归损失相比,扩散策略在三个方面展现出独特优势:
- 多模态动作捕捉:不同操作员演示的系鞋带方式各异,扩散策略能保留这些多样性
- 容错恢复能力:当衬衫从衣架滑落时,策略会自动触发恢复动作
- 长视界规划:1秒内的50个动作作为一个整体进行优化,避免短视决策
实测数据显示,在最具挑战性的ShirtMessy任务中,扩散策略成功率(70%)是传统方法(25%)的近3倍。这种优势在接触动力学复杂的场景(如齿轮啮合)中更为显著。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Transformer架构的魔法改造术
ALOHA 2的Transformer设计暗藏玄机。与常见的视觉-语言模型不同,这里的Transformer需要处理多模态时空数据:4路摄像头视频流(15fps)、机械臂关节角度、夹持器状态,以及扩散过程中的噪声预测。研究团队对标准Transformer进行了三项关键改造:
视觉编码器升级版:
python复制# 多视角视觉特征提取
class MultiViewEncoder(nn.Module):
def __init__(self):
super().__init__()
self.backbones = nn.ModuleList([ResNet50() for _ in range(4)]) # 4个独立编码器
def forward(self, imgs): #
