清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026
人机交互不只是目标,更是解决方案。 作者丨邓哲敏 编辑丨齐铖湧 2026 年 11 月 12 日,CoRL 2026 “Learn@Deploy”(机器人部署中学习)半日研讨会上,清华大学交叉信息研究院助理教授徐梦迪以 Keynote 讲者身份做开场报告。徐梦迪从清华车辆工程专业毕业后,前往卡内基梅隆大学机械工程系读博…

作者丨邓哲敏
编辑丨齐铖湧
2026 年 11 月 12 日,CoRL 2026 “Learn@Deploy”(机器人部署中学习)半日研讨会上,清华大学交叉信息研究院助理教授徐梦迪以 Keynote 讲者身份做开场报告。
徐梦迪从清华车辆工程专业毕业后,前往卡内基梅隆大学机械工程系读博,师从 Safe AI Lab 负责人赵鼎,论文《构建可适应的通用机器人》拿下该系最佳博士论文奖。她在论文中指出,构建通用机器人不能只靠堆参数、堆数据、指望预训练自然泛化,必须补上适应的能力,让机器人到现场后靠少量新信息快速调整策略。
博士毕业后,徐梦迪来到斯坦福视觉与学习实验室,跟随吴佳俊、李飞飞做博士后。期间,她做了 ROSETTA,用大模型把人类五花八门的口语偏好转成机器能学的奖励信号,让机器人学会训练时没见过的新指令。
2025年,徐梦迪加入清华叉院,组建自己的实验室,方向进一步聚焦到“部署时学习”。2026 年初,团队发布 CoVer-VLA,让机器人在行动前先多生成几组候选动作,再用验证器挑出最贴合指令的那一组,以此对齐指令。而 Dex-X 从人类视频学习灵巧操作,靠仿真补上视频里缺失的触觉监督,入选 CoRL 2026。
在这场报告中,徐梦迪对近两年的工作做了集中提炼,并向学界分享了她对未来技术发展的判断。以下为雷峰网从现场带回的演讲实录精编。
▎报告人:徐梦迪 清华大学交叉信息研究院助理教授
报告题目:Building Adaptable Generalist Robots for Human-Centered Environments

01
为什么要在部署中学习
今天我想讨论的是,如何构建可适应的通用机器人,尤其是有人类在场景中的机器人。这类场景的独特挑战在于,机器人要在开放世界中完成导航和操作任务,比如清理午餐后的桌面;还要与人交互,从遵循指令、偏好、手势,到物理辅助,比如扶人站立或行走。
我有一些观察,希望能激发大家思考为什么在以人为本的场景中部署时学习非常重要。

第一,人类很容易要求机器人完成超出其技能范围的任务。最简单的办法是让人做一次,机器人直接学习人的行为或偏好。比如倒水,机器人起初不会,或者遇到一个没见过的新水杯,人可以演示一次,让机器人了解物体性质并完成任务。
第二,开放世界环境很多情况下是可观测的。比如低成本机械臂要拿一个装了很多水的水壶,第一次尝试后,它知道水壶超出了负载,第二次就可以吸取经验,改用双臂抬杯再倒水。
第三,人类偏好差异很大。倒水时,不同人想要的水量不一样,哪怕是同一个人,一天当中不同时间想要的水量也可能不同。机器人需要与人进行流式交互,比如让人按绿色按钮直接控制水量。
这些观察都引导我们得出一个结论:机器人必须在部署时获取新信息来适应其策略。
但机器人学习仍然是机器学习问题,必须有监督。我们在部署时能获得哪些监督信号呢?我认为有三种是最重要的:智能体系统、人类反馈、仿真。

第一个是智能体系统,由语言模型、视觉语言模型或独立验证器组成,帮助机器人判断行为的好坏,并提供这些好和坏的信号,让机器人在不同尝试中适应策略。
另一个自然的监督资源,是让人类直接与机器人交互。但人的指令类型多样,包括语言、手势、演示及联合模态。
最后就是仿真,既可作为评估平台,也可用于训练,广义上包括物理模拟器、机器人模拟器和世界模型,通过预测不同动作的结果来帮助机器人选择更好的动作。
接下来我将分享我们近期的三篇论文,每篇都结合了不同的资源。

02
规模验证比规模策略学习更有效
首先,让我们谈谈为什么规模验证很重要。我们的结论是,规模验证可以比规模策略学习更有效地实现视觉语言动作对齐。
做这项工作是因为我们观察到,即使是最先进的视觉语言动作模型,指令遵循能力仍然有限。已有做法一是通过改写指令增强训练数据,但这不可能覆盖部署时所有人类指令;二是用更大的视觉语言模型骨干,但学习动作生成会导致严重遗忘。

那么,能否假设已有预训练视觉语言模型,只做轻量修改,通过测试时推理和验证来提升策略?
我们提出训练一个独立验证器,用对比学习训练,并与视觉语言动作模型组合成对比验证框架。离线训练时生成困难正例和负例;部署时验证器在两个层面工作,先验证当前任务的好指令,再验证给定指令下的好动作。
原文出处:雷峰网 (本文由聚合程序自动采集,版权归原作者所有)