快讯速递

清华曹婷:具身今年才追自进化,我们已在这条路上走很远了 | 世界模型 50 人

清华曹婷:具身今年才追自进化,我们已在这条路上走很远了 | 世界模型 50 人

这三个问题不解决,数据终究会成为具身最大卡点,一位前微软亚研科学家的“提前量”。 作者丨邓哲敏 编辑丨齐铖湧 今年初秋,Skild S1、Generalist GEN-1.5、RoboTTT 等工作密集亮相,不约而同将上下文学习(ICL)带入机器学习领域。AI科技评论(雷峰网)注意到,国内一支团队也在同一时间发布了能够…

这三个问题不解决,数据终究会成为具身最大卡点,一位前微软亚研科学家的“提前量”。

    作者丨邓哲敏

    编辑丨齐铖湧

                                                                                                       

今年初秋,Skild S1、Generalist GEN-1.5、RoboTTT 等工作密集亮相,不约而同将上下文学习(ICL)带入机器学习领域。AI科技评论(雷峰网)注意到,国内一支团队也在同一时间发布了能够实现上下文学习的世界模型,领头羊是清华大学智能产业研究院(AIR)教授曹婷。

2009 年,曹婷赴澳洲读博,师从编程语言与系统领域的两位顶尖学者,研究非对称多核处理器与 Java 这类托管语言之间功耗与性能的权衡。博士期间所著论文入选 CACM 研究亮点,图灵奖得主大卫·帕特森专门撰文推荐,并收录进自己的经典教材《计算机体系结构:量化研究方法》。

值得一提的是一篇发表在 ISCA 的论文:The Yin and Yang of Power and Performance for Asymmetric Hardware and Managed Software,其论证近乎诗意:虚拟机的垃圾回收、即时编译这些额外开销,恰好是可以卸到小核上去跑的差异负载,用小核的“阳”,去补虚拟机开销的“阴”;反过来,非对称硬件暴露出来的复杂性,又正好被托管语言的抽象所化解。

在我们看来,这段经历埋下了影响曹婷学术生涯的东西:一个关于阴阳的直觉——约束,从不只是限制,它也可以是逼出系统生机的起点。

博士毕业后,曹婷来到华为编译器与编程语言实验室,负责方舟编译器的内存管理,在有限的内存里,让程序跑得更快更省。2018 年,她加入微软亚洲研究院(MSRA)异构计算组,一待就是七年,做端侧 AI 推理,把几十亿参数的神经网络,塞进手机、PC 和 IoT 设备,让它们不靠云端,在本地的算力、功耗和存储里跑起来。低比特量化、LUT 查表推理、存算一体加速器,这些技术进入微软 Office、Windows、Bing,服务百万级用户。

2025 年夏天,曹婷加入清华 AIR。这一次,横在她面前的是更凶险的约束:训练数据极度匮乏、物理环境千变万化的现实。她很快发现,机器人在固定设置下能做对动作,环境稍有变化就失败,而那些失败里藏着的宝贵信息,又被传统系统随手丢掉。具身智能已经能做 Demo,却迟迟无法真正部署。

曹婷的答案,还是“阴阳”,既然约束无法穷举,那就把约束变成养分。当年 10 月,她和 MSRA 时期的老搭档、清华 AIR 副院长刘云新教授共同发起域变换(Z-Trans),押注具身自进化,并陆续发布 Z0、Zeva、Zeva Ego、Zetta、Z-infra 等工作。

从让软件在异构硬件上省功耗,到让模型在边缘设备上省算力,再到让智能在物理世界里学会自进化,曹婷这十几年做的始终是同一件事:让智能在条件不充分的情况下好好工作。

以下是AI科技评论与曹婷的对话,在不改变原意的基础上有所编辑。

01

 当机器人工厂慢慢冷下来

“整体的技术范式没有收敛,而且变化特别快,基本每个月都不一样,但一个离线、一个在线这套学习范式,应该是大家统一认可的。”

▎AI科技评论:今年上半年,整个行业还在疯狂建机器人数采工厂,试图用海量数据大力出奇迹。但到了下半年,陆续出现了许多具身上下文学习的工作,是前序研究证明了什么吗?

曹婷:我自己的体会非常深刻。今年 5 月份之前,大家还相信“离线训一个模型,它在线就能干活”,但现在看,这些数采工厂基本都冷掉了。

大家发现,离线数据采得再多,机器人在线依然干不成活,因为离线数据永远涵盖不到真实世界的全部情况。

看到之前的路走不通,大家才开始思考怎样让机器人不只依赖离线训练,还能在部署后利用新的示范和反馈进行在线的上下文学习。

▎AI科技评论:大家在技术上达成共识了吗?

曹婷:整体上学习范式分两种:一种 offline,一种 online。

在上下文中学习这个概念最早是从大语言模型(LLM)出来的,GPT 证明了上下文示例即可泛化。具身领域,大家也希望在上下文阶段给机器人演示一遍,它就能泛化到各种各样的情形。目前整体的技术范式没有收敛,而且变化特别快,基本每个月都不一样,但一个离线、一个在线这套学习范式,应该是大家统一认可的。

▎AI科技评论:大语言模型的 ICL 是靠涌现的,给几个文本例子它就会了。你能不能帮大家梳理一下,具身的ICL有什么不一样,目前具身 ICL 的工作有哪些路线?

曹婷:具身领域的 ICL 远比语言模型复杂,目前行业里有三条不同的路线。

第一种期待像 LLM 一样,能力自己涌现出来。比如 Generalist 说他们的能力是涌现出来的,训练时见过很多人类视频、很多 ego 数据,之后给它一段视频,它就能自己去干活。但我觉得这条路比较困难,背后可能有不少限制条件。

第二种是显式训练,类似Skild,给它一段视频,让它去预测下一条 action。这不是模型自己涌现的,而是训练时就这么训的。就跟之前的 VLA 一样,之前是 language 做 prompt、action 做输出,现在是 video 做 prompt、action 做输出。

我们的路线是第三种,叫 ICCL(in-conte

原文出处:雷峰网 (本文由聚合程序自动采集,版权归原作者所有)