快讯速递

和DreamZero 一作聊聊WAM 这一年

和DreamZero 一作聊聊WAM 这一年

本文来自微信公众号: 42号电波 ,作者:小波,编辑:大吉,原文标题:《和 DreamZero 一作聊聊 WAM 这一年》11月9日,英伟达在奥斯汀的机器人学习大会CoRL发布GR00T 2。在它公布的一组测试中,双手机器人面对50项没有提供过目标机器人示范的任务,仅凭预训练能力,平均成功率达到40%;每项任务补充五次…

本文来自微信公众号: 42号电波 ,作者:小波,编辑:大吉,原文标题:《和 DreamZero 一作聊聊 WAM 这一年》

11月9日,英伟达在奥斯汀的机器人学习大会CoRL发布GR00T 2。在它公布的一组测试中,双手机器人面对50项没有提供过目标机器人示范的任务,仅凭预训练能力,平均成功率达到40%;每项任务补充五次示范,再做微调,成功率提高到95%。这些任务此前出现在人类视频或其他机器人的数据里,如今开始能够被迁移到一副新的身体上。

GR00T 2延续了今年2月DreamZero探索的世界动作模型(World Action Model,WAM)路线:让模型同时预测未来画面和机器人动作,把「世界接下来会怎样变化」纳入动作学习。到了这次发布,英伟达进一步把人类视频、手持采集设备和多种机器人数据放进同一套训练流程,并通过少量示范和强化学习,继续提高具体操作的精度与可靠性。

它在机器人系统里的分工也更加清楚。上层推理智能体拆解任务、检查进度、处理异常,通过接口调用GR00T 2;后者负责需要持续视觉反馈和精细控制的物理操作。模型能学会多少技能、适应新任务需要多少数据,以及失败后怎样恢复,都成了这次发布需要回答的问题。

这让WAM的讨论有了更多现实参照。DreamZero第一作者Seonghyeon Ye当初看重的,是视频模型能否给机器人带来没有专门示范过的动作能力。八个多月后,沿这条路线发展的模型开始处理更复杂的任务,研究者也必须进一步决定:预测未来的哪些部分最有用,哪些计算可以省掉,哪些经验还得从真实操作中补回来。

这些问题也出现在本届CoRL的议程上。11月12日举行的「机器人需要世界模型吗?」工作坊,将讨论显式预测与端到端策略的边界:未来变化是否需要被单独预测出来,还是可以通过训练进入策略内部;现有评测又能否区分两者在泛化、效率和失败恢复上的价值。另一场由Ye参与组织的Scaling H2R,则追问人类数据怎样扩大才有效——收益来自更多小时、更多样的任务,还是与目标机器人更匹配的操作经验。

Ye同时处在这两组问题之中。他是DreamZero的第一作者和项目负责人之一,也是近期DreamFree的共同作者。

DreamFree的思路是将未来知识蒸馏到模型表征里,在执行时省去未来视频生成的步骤。他相信世界建模的重要性,也在研究这种能力能否以另一种形式被保留下来。

接受42号电波采访时,Ye先说明,DreamZero是自己在英伟达的实习项目,实习结束后他已经离开,没有参与GR00T 2,也不了解公司的高层规划。他认可这次发布的进展,尤其关心如何在精细操作里保住泛化能力。但对于怎样继续发展WAM,他并不认为已经有了一套确定的答案。

最适合操作的基座,未必是今天追求画面效果的视频生成模型;人体数据值得扩大,但接触和力的信息仍需要研究;模型能完成新任务之后,还要找到让它稳定完成的方法。「机器人这边,学习配方、最优架构、数据采集这些都还没有收敛。」他说。

视频模型能带来多少没教过的动作

Ye解释自己为什么转向世界模型时,举了黑猩猩的例子:它们不懂人类语言,却能够操作物体,也能预判接下来会发生什么。这让他怀疑,以视觉语言模型为起点,再教模型输出动作,是否就是机器人操作最合适的学习方式。

许多视觉语言动作模型(Vision-Language-Action Model,VLA)从视觉语言模型继承识别物体、理解指令和语义关系的能力。这样的知识有助于机器人知道要操作哪个对象,但一种此前没练过的动作,还需要关于运动和物体变化的经验。Ye希望模型在学习控制时,就把这些变化一并学进去。

这个想法早于DreamZero。他参与的LAPA从视频前后帧的变化中学习「潜在动作」,再用带动作标签的机器人数据接到实际控制上。对Ye来说,它的重要性在于,模型可以借助预测世界变化的目标,从没有机器人动作标注的视频里学习。那时他就确信,未来预测应该在机器人策略中占据更重要的位置。

视频生成模型提供了一种更直接的起点。这类模型在大规模视频中学习物体和场景如何变化,已经积累了一部分可以迁移的经验。与其从头为机器人建立这种能力,团队开始尝试调用现成的预训练模型。

最初,这种能力被用来生成训练材料。2025年的DreamGen将视频模型适配到机器人领域,生成新的行为与场景,再从视频中提取动作信息,扩充策略训练数据。Ye回忆,他们在这一阶段看到了视频模型的泛化能力,于是提出下一步:既然它已经能生成机器人执行新任务的过程,能不能直接把它变成策略?

2月17日发布的DreamZero沿着这个问题向前走了一步。团队以一个140亿参数的视频模型为基础,让视频生成与动作学习进入同一个模型,训练时既要预测场景的变化,也要预测与之对应的控制动作。未来预测本身参与了策略的学习与执行。

如果有机会重做DreamZero,Ye仍会作出同样的选择。「因为我觉得那是到达目标最快的路径。」从模型训练到真实机器人评测,团队已经做过大量迭代,他不认为当初应该换一条路。

这项研究面对的一个实际问题,是机器人数据该怎样采。在有限的采集时间里,同一个任务重复许多次,还是让机器人尽量接触不同的物品、环境和操作,得到的是两种很不一样的数据。前者更容易把某个动作练准,后者才有机会覆盖训练任务以外的变化。

Ye说,DreamZero团队在微调时花了很多心思增加多样性。他们希望保住视频基座已有的能力,让模型接触更多变化。「虽然重复数据对精度可能有效,但会损失一部分泛化。」在他的经验里,追求新任务能力,需要从采集阶段就作出选择,不能等模型训练完,再要求它自行补出缺少的经验。

DreamZero在AgiBot上的一组测试说明了团队希望得到的收益。在包括解鞋带、握手等动作的十项未见任务中,它的平均任务进度为39.5%,对照的预训练VLA为16.3%。论文还记录到,一些VLA面对不同指令,仍倾向于伸向物体、尝试抓取,沿用训练中常见的动作。这里比较的是任务完成到哪一步,并非完整任务的成功率。

这组结果也保留了DreamZero当时的位置:它展示出对新动作更好的尝试能力,同时仍有大量没有完成的任务。对一个追求通用性的模型来说,能从旧经验中迁移出新动作,是值得继续投入的起点;接下来还要查清,失败究竟发生在哪里。

我们问Ye,如果模型预测一个杯子能被拿起来,配套的动作却没有做到,该把问题归到未来预测、动作生成,还是两者之间的连接?

他给出的观察有些出乎提问的预设。团队做了大量rollout,也就是让模型在机器人上实际执行任务,发现视频与动作之间的对齐相当好,联合学习这种对应关系也没有想象中困难。但视频预测失败时,动作往往也失败;几乎没有看到动作成功、视频预测却失败的情况。

「一旦视频预测失败,动作也会失败。」Ye据此判断,DreamZero的主要瓶颈在未来预测,改进能够预测物理变化的基座模型,应该能进一步改善策略。这是团队在这套系统里的实验观察,也解释了他为什么至今仍看好世界建模:模型对未来的理解,已经与真实执行的结果联系在一起。

未来要学进去,画面未必每次都要生成

今年3月20日,Ye曾在RoboPapers节目中介绍DreamZero。那次讨论围绕一个新鲜的问题展开:一个140亿参数的视频模型,怎样获得真实机器人的泛化能力。在这次采访里,我们重新提起那次对话,问他几个月后还有哪些判断不变、哪些已经改变。

Ye坦言,他已经不完全记得当时回答的上下文。但有一点仍然明确:「我仍然认为世界建模很重要。不过它不一定就是原始的像素生成。」

DreamZero借用了现成视频模型的预训练能力,也接下了视频生成的工作量。它要处理未来画面中的物体、位置、运动和大量视觉细节。对于视频产品来说,画面真实、自然、好看都是目标;对于控制机器人来说,最需要的是正确理解物理变化。两者有重合,却未必需要同样的训练目标和计算分配。

让视频生成跟上机器人动作,本身就是一项繁重的工作。DreamZero论文记录,团队通过系统、实现和模型层面的优化,将GB200配置下的推理延迟从约5.7秒降到约150毫秒,才使这个大模型能够以约7 Hz进行闭环控制。Ye所说从训练到评测的反复迭代,也包括把一个视频模型真正放进机器人的控制循环。

「做操作并不需要那么好看、那么逼真的视频,我们真正需要的是正确理解世界,比如物理这类东西。」Ye认为,长期看,最优的基座可能应该专门面向机器人操作,而不只是从一个追求画面效果的视频生成模型出发,再微调到机器人上。

这不等于否定他此前的选择。现成的视频模型让团队很快获得了可以使用的先验,DreamZero又证明这种先验能够转化为动作能力。现在更值得研究的是,这些知识以什么形式留在模型里,才能最有效地服务于控制。

3月公开的Fast-WAM已经把问题拆开做过一次实验。它在训练中保留视频与动作的联合学习,推理时跳过未来视频生成;研究者发现,省去推理时的视频生成后,模型仍有竞争力,而去掉训练阶段的视频学习,性能下降更明显。这使得一种可能性变得值得认真对待:未来预测的重要收益,可能在训练中就已经进入了模型表征。

Ye参与的DreamFree进一步沿着表征去做。这里的表征,可以理解为模型从观测中提取、供后续判断和控制使用的内部信息。训练时,一个冻结的视频教师模型能够看到当前和未来的画面;另一个编码器学习,仅凭当前观测,也提取出接近教师、包含未来信息的表征。随后,动作模块再从这些表征中学习控制。

这种训练利用了未来,但部署时不再要求模型把未来逐帧生成出来。DreamFree在项目报告的配置下,用单张H200运行140亿参数的视频基座,达到约11 Hz的推理速度。它试图保留的是预测未来带来的知识,并减少每次行动前为生成视频付出的时间。

Ye用「表征对齐」概括DreamZero与DreamFree之间的联系。DreamZero对下一状态做显式监督,让模型学习世界接下来应该是什么样;DreamFree则通过蒸馏,把相关知识压进模型内部。两项工作采用不同的方式,要求用于操作的内部信息与未来变化建立联系。

「大家会争论测试时模型该不该生成未来状态。但我觉得更重要的是,在训练阶段的某处,表征必须被对齐到能够建模未来。」他说。

按照这个判断,评估一个新架构时,是否输出了视频已经不足以说明它的能力。一个直接输出动作的模型,也可能在训练中学到了未来;一个能生成完整视频的模型,则仍要证明这些计算确实帮助了操作。研究重点因此落到了更细的地方:哪些未来信息应该保留,怎样训练它们,以及动作模块能否有效地使用它们。

最新的GR00T 2则给出了另一种取舍。为了降低计算量,Turbo版本将预测的视频空间网格缩小到原来的四分之一,但在一组后训练的灵巧操作任务中,成功率从完整版本的68.6%降到34.3%。技术报告没有把损失简单归因于某一个因素,却提出一个值得继续研究的判断:需要保留多少视觉细节,可能取决于任务与机器人本体。哪些未来信息可以压缩,不能只由推理速度决定。

这也让WAM与VLA的边界变得不那么整齐。DreamFree的项目页用「WAM式训练,VLA式推理」描述自己的方法。训练目标、内部表征和部署形态,可以有不同的组合,模型名称本身无法替代这些区别。

Ye对WAM泛化更好、适应更快的判断仍然鲜明,但他没有把DreamZero的具体架构当成终点。恰恰是在做出了这套系统之后,他开始更具体地追问:最适合操作的基座,应该学习怎样的未来?

百万小时之后,还缺一层信息

另一个正在迅速扩大的答案,是人类数据。

当我们问DreamZero还有什么明显值得继续做,Ye很快提到了UMI和人体数据。UMI是一种通用操作接口,采集者手持夹爪完成任务,将这段操作记录下来,供机器人学习。人体数据则允许研究者更广泛地记录人怎样在真实环境里工作,减少采集对机器人本身的依赖。

他回忆,DreamZero当时主要围绕遥操作采集的机器人数据训练。论文也做过加入少量人体视频的迁移验证,但把其他数据来源大规模纳入训练,是仍值得继续推进的方向。在他看来,GR00T 2已经沿着这个方向向前走了。

从公开数据看,这一步的规模变化相当明显。GR00T 2的预训练混合了约40.3万小时第一人称人体视频、约1万小时手持UMI示范,以及2.35万小时机器人遥操作数据。人类视频已经占据最大部分。英伟达报告,在72项下游任务的测试中,逐步增加人体视频,真实机器人的任务进度从50%提高到70%。

8月发布的Dyna-2把人体视频预训练规模从1,000小时逐级扩大到100万小时,再用一致的后训练方案进行真机验证。其报告中,14项任务的平均归一化成绩从20%提高到53%。测试既包括语言跟随,也包括打结、钥匙转动和瓶盖操作等任务;收益已经出现在真实操作中。

数据配比也没有停留在简单混合。GR00T 2的技术报告描述了三个训练阶段:先用人体和机器人视频学习交互过程,再联合学习多视角视频与动作,最后提高机器人数据的权重,进一步适应真实控制。人类经验负责扩大覆盖面,机器人示范帮助模型学会在具体身体上执行。但报告同时承认,不同数据来源之间还没有明确的投入回报关系:再增加一小时人体、UMI或遥操作数据,分别能换来多少能力,仍然不清楚。

这些结果为继续投入人体数据提供了依据。Ye也认可,扩大第一人称人体数据能够改善向机器人的迁移。但他对这种收益能覆盖多深的操作能力,仍有保留。

「这只是我的个人看法。」他特意作了限定。在他看来,当前这类数据带来的收益,主要体现在语言跟随和高层视觉、语义理解上;真正到操作层面的运动,以及对新任务的泛化,仍有很多问题没有解决。

他的理由落在采集信号上:许多第一人称人体数据主要记录视觉,再加上位姿估计,却没有直接记录接触或力。视频保留了操作过程中的可见变化,机器人真正接触物体时所需的信息,却可能没有被完整地留下来。

GR00T 2也没有把这个问题完全解决。其DexUMI采集设备已经能够记录指尖的法向力和剪切力,但模型尚未把触觉作为输入;技术报告仍将如何引入力和触觉、如何保住已有视觉能力,以及采用什么控制频率列为开放问题。采到一种信号与让模型有效使用它,是需要分别解决的两步。

「这是一层缺失,值得去研究。」Ye说。触觉传感器目前还不够稳定,但他认为,触觉和力都很重要。如果只按现有方式继续采更多视觉数据,这层信息并不会因为小时数增加就自动成为直接的测量信号。

现有公开结果已经显示,人体视频的收益能够进入真实操作,Ye对其能力边界的判断仍需要进一步验证。而他提出的接触和力数据,对应着这些扩展实验尚未回答的另一个问题:对于更精细、接触更复杂的操作,补充新的模态,能否带来继续增加视频所不容易获得的收益。

这也关系到下一笔数据投入该花在哪里。增加小时数、增加任务种类、补充传感信号,解决的问题并不相同。前者可以扩大已有经验的覆盖范围,新的模态则可能让模型第一次接触到此前没有直接记录的信息。哪一种更有效,需要落到目标任务和真实机器人上比较。

Ye对学术研究价值的理解,也在这里。他认为,在扩大投入之前,有必要先用小规模概念验证,弄清楚哪些信息能够有效迁移。机器人目前还没有像语言模型那样,形成相对稳定的架构、训练方法和数据扩展方式,研究者仍然有机会改变后续投入的方向。

我们进一步问,如果只能增加一两种传感信号,他会选什么。他没有选出一个唯一答案,而是先区分,要从触觉中获得什么。

如果是触觉手套,他认为电阻式传感器是一种可能;如果更关注法向力和剪切力,可以考虑磁式触觉或其他方案。也有人探索腕部传感器、IMU和人体可穿戴设备,从中估计与受力有关的信息。对他来说,传感器类别只是开始,最终要看采到的信号是否有用。

他的判断标准只有两项:能否直接、有效地迁移到机器人上,以及采集能否规模化。把传感器戴到人身上、连续记录足够长时间,并不自动满足第一项;在实验室里得到高质量信号,也不自动满足第二项。

UMI已经在迁移上给出了很好的示范。人拿着夹爪完成操作,机器人的执行也使用夹爪,采集与控制之间有较直接的对应关系。但这个接口同时限定了人能做的事:采集者需要握住设备,用夹爪完成任务,无法完整保留人手自然操作的自由。

Ye认为,如果把采集的可扩展性推到极致,让人用自己的手自然活动,大概才是最终希望到达的状态。但拿掉夹爪之后,怎样提取有用的操作信号,又成了新的难题。越接近日常生活的采集,越需要重新考虑,人类经验究竟通过什么接口交给机器人。

从DreamZero到百万小时人体视频,数据来源正在打开。Ye想继续追问的,是这个过程中哪些操作信息得到了保留,哪些仍然缺席。它会影响传感器的选择,也会影响模型该以什么为学习目标。

泛化以后,精度和可靠性从哪里来

对于WAM接下来的发展,Ye在谈到GR00T 2时提出了一个要求:在更精细的操作中保住泛化。前面的两种投入,最终都要接受这个检验——更好的基座和更多的数据,能否让机器人面对新任务时有更高的起点,同时把动作做准、把结果做稳。

GR00T 2在报告中把这些收益分得更具体:预训练提供广泛能力,纠正示范与强化学习弥补精度和接触上的不足,上层智能体则提供长任务中的记忆、检查与恢复。把最后的成功率全部归因于世界动作模型的架构,会遗漏这些环节各自承担的工作。

Ye强调数据多样性,是因为他不希望模型在适应具体机器人与任务时,丢掉预训练带来的广泛能力。重复训练能够改善精度,但模型换到新任务、新环境后,是否仍然保持同样的适应能力,需要另外检验。精细操作与泛化都成立,才是他希望看到的进展。

DreamZero团队为此还改动了模型使用历史信息的方式。预训练视频模型采用双向结构,他们将其改成自回归结构,让机器人能够把此前的执行过程作为上下文,供后续预测使用。Ye将这种上下文称作「视觉记忆」。

这使得预测能够建立在已经发生的执行过程上。机器人需要处理的世界,会随着自己的动作不断变化;此前观察到什么、执行过什么,应当成为下一步判断的依据。Ye把这一点与好的基座、多样的数据放在一起,视为改善真实执行的重要因素。

不过,记住过程之后,模型仍然可能给出不同的动作结果。Ye回忆,团队曾观察到一种情况:改变随机种子、让机器人多次执行同一任务,大约八次尝试中会有一两次成功。单次尝试失败,并不代表模型完全没有找到完成任务的可能。

这个观察让他对测试时增加计算量产生了兴趣。如果模型能够提出多个候选,并且有一个足够好的评判模型,能在执行之前判断哪一个更好,就可能把原本偶尔发生的成功,更稳定地挑选出来。他认为,这有机会发展成WAM在测试时做规划的一种方式。

但团队并没有深入做这件事。八次执行里出现一两次成功,也只是他在采访中回忆的实验现象,不能直接等同于一套已经验证的规划算法。要把这种潜力变成稳定收益,还需要解决候选质量如何判断的问题。

GR00T 2的长任务实验已经出现了一个具体例子。在三类玩具的300次连续装配中,系统成功了292次;八次失败里,有三次是螺丝没有完全拧入,但动作模型和上层智能体都判定任务已经完成。一个看起来接近成功的物理状态,仍可能骗过整套系统的检查。

这里恰好又回到了未来预测。WAM能提供一段预计会发生的过程,使研究者有机会在动作之前评价结果;评判是否有用,又取决于这段预测与真实世界的关系。画面中的任务完成了,不能自动保证机器人也会完成。预测能力、候选选择和真实执行,需要一起接受检验。

因此,省掉未来视频与利用未来做规划,可以对应不同的需求。对需要快速响应的操作,DreamFree尝试把未来知识留在表征中,减少在线计算;面对值得花更多时间比较的决策,Ye设想的多候选选择,则可能使用额外计算来提高表现。具体采用哪种方式,要看任务能承受多少等待、失败有多大代价,以及模型能否可靠地判断结果。

这也是他谈应用时没有给出统一答案的原因。工厂更强调精度与可靠性,家庭则同时要求安全、可靠,还要处理种类多得多的任务。Ye认为世界动作模型可能帮助改善安全,但团队尚未深入研究这一方向,他没有把它当作DreamZero已经证明的能力。

他个人对家用机器人很感兴趣。家务需要的知识极其广泛,日常物品和操作不断变化,这让它成为一个困难而有吸引力的问题。谈到时间表,他的直觉是,两三年内技术可能达到能够完成更多日常任务的水平;真正让消费者在家里长期、可靠地使用,还需要更久。

安全、维护和部署都在这段额外的时间里。一个模型已经能做某件事,还不足以决定产品什么时候能交付。用户接收的是一套要持续工作的系统,研究人员可以在实验室里逐项处理的问题,也会一起进入家庭。

Ye没有因为这些难题,改变对世界建模的判断。他改变的是对下一步研究重点的描述:现成视频模型提供了一个有效起点,长期仍要寻找更适合操作的基座;人体视频带来了更大的数据来源,接下来还要确定哪些物理信息值得记录、怎样记录。

在他的个人主页上,除通用机器人策略与世界动作模型之外,近期研究兴趣已经写到了带传感器的人体数据,以及它们如何帮助机器人进行接触丰富的操作和柔顺控制。做出DreamZero之后,他的注意力也延伸到了数据进入模型之前。

当人体数据开始以百万小时计时,Ye更想先确认,哪些尚未记录的信号值得被大规模采集。他给出的建议仍很具体:「在大规模扩展之前,更需要小规模的概念验证。」

原文出处:虎嗅 (本文由聚合程序自动采集,版权归原作者所有)