快讯速递

浙大彭思达:从元宇宙到具身智能,一个三维视觉研究者的八年 | 世界模型50人

浙大彭思达:从元宇宙到具身智能,一个三维视觉研究者的八年 | 世界模型50人

八年研究,两个落地系统,超六万GitHub Stars。 作者丨李秋悦 编辑丨吴 彤 一支女团跳舞,镜头不必再听导演安排,观众甚至能看到拍摄时不存在的机位。传统MV拍摄,摄影机架在哪里,观众看到的就是哪个角度。现在用多台摄像机同时记录舞者动作,再重建出一个三维动态场景,镜头可以任意调换位置;从队形正面绕到侧面,穿过舞者…

八年研究,两个落地系统,超六万GitHub Stars。

    作者丨李秋悦

    编辑丨吴   彤

                                                                                                       

一支女团跳舞,镜头不必再听导演安排,观众甚至能看到拍摄时不存在的机位。

传统MV拍摄,摄影机架在哪里,观众看到的就是哪个角度。现在用多台摄像机同时记录舞者动作,再重建出一个三维动态场景,镜头可以任意调换位置;从队形正面绕到侧面,穿过舞者之间,甚至换一个从未真正架设过的机位,重新观看刚才的表演。

今年10月,韩国SM娱乐创始人李秀满在新女团A2O LITE的出道活动上,展示了这项名为4D Gaussian Splatting(4DGS)的技术。

SM娱乐旗下女团A2O LITE 《NEON》运用4DV.ai的4DGS新技术

彭思达对这项技术很熟悉。六年前,彭思达师从浙大教授周晓巍读博,在浙大CAD&CG国家重点实验室的三维视觉研究团队ZJU3DV下研究的就是动态三维人体重建。很快他做的Neural Body入选CVPR 2021最佳论文候选,4K4D把动态场景的渲染推进到4K实时水平,FreeTimeGS把渲染质量推进到可落地的程度。实验室积累的技术后来被一家名为4DV.ai的创业公司采用,出现了在影视飓风的视频里。

技术走出了实验室,但彭思达没有继续留在这个赛道。

2023年博士毕业后,彭思达选择留校任教,入选浙江大学软件学院“百人计划”研究员,把研究对象从人体换成了街道。理想汽车找上门来,双方合作自动驾驶仿真系统,Street Gaussians被应用到了理想汽车的仿真系统中。

两年后,自动驾驶仿真技术逐渐收敛,彭思达又开始研究机器人导航。

从动态三维人体重建、自动驾驶仿真到具身智能,作为一个做了多年计算机视觉的研究者,彭思达反而认为视觉并不是智能的主角。对于像人一样思考、推理和规划,文本可能更重要;对于机器人学会操作,重要的是真正理解动作轨迹的因果性。

“到了具身领域,视觉模态仍然不是主角,动作模态才是主角。”

以下是AI科技评论与浙江大学软件学院“百人计划”研究员彭思达的对话,在不改变原意的基础上有所编辑。

01


端到端不是最优解

▎AI科技评论:你们最近10月份公开的SuperNav和ScaleNav两项工作,分别对应机器人导航的「大脑」和「小脑」。为什么你们要把导航拆成「大脑」和「小脑」?

彭思达:我们观察到一个现象。之前很多人希望训练一个端到端导航模型,也就是微调一个VLM,让它直接预测行动。但我们持续尝试以后发现,这样微调有两个问题。

第一,把VLM的能力变差了。VLM本来还可以做一些识别等任务,一旦要求它直接输出动作,它就变笨了。

第二,他们使用的VLM本身就不是那么聪明。我们试过一些3B或者4B模型,给它一张图片,问一些问题,发现它的空间推理能力很差。

但为什么要用这些模型?因为只有3B或者4B这种模型,才能微调得动,所以这就有点不那么本质。

▎AI科技评论:你认为VLM直接预测动作不够本质,甚至可能损害原有能力。那问题出在哪里?

彭思达:我个人的看法是大部分公司不具备训练出通用智能模型的能力,只有OpenAI这种基模公司才真正掌握了训练VLM的能力。

要给模型注入某种能力,一定不是微调,一定得在预训练过程中就有这样的过程。如果某个小团队以前从来没训练过这种模型,突然号称微调一下就获得了这种能力,我认为大概率是在某个小数据集上过拟合,实际上没有任何能力上的验证,也没有技术进步性。

▎AI科技评论: 你们最终选择了什么方案?

彭思达:我们认为导航最重要的是回归问题本身,怎么更好地做决策、交互,怎么在环境里面更好地移动。刚好Agentic System、Coding Agent这种架构出现以后,我们发现非常适合满足这个技术需求。

既然走Coding Agent路线,就以通用多模态大模型作为核心,让它负责整体规划、决策、推理。具体怎么在环境中执行,只需要给Coding Agent提供合适的工具,比如导航小脑。

SuperNav是做决策系统,决定接下来应该去哪,应该记住哪些东西,怎么规划导航路线。ScaleNav做的是导航小脑的事情,相当于大脑指定一个点,小脑负责怎么走过去。

原文出处:雷峰网 (本文由聚合程序自动采集,版权归原作者所有)