中大梁小丹团队,GeoThinker 两项研究成果,破除空间推理「几何信息用不好、计算开销大」难题
不再实时调用外部三维几何编码器,视觉语言模型空间推理提速约 3.6 倍。 作者丨张岂萍 编辑丨幸丽娟 给视觉语言模型多塞一份三维几何信息,它就一定看得更准?还真不一定。判断物体的位置、距离和空间关系,是视觉语言模型实现空间推理需要具备的能力。现在一种常见做法,是接入 VGGT 这类三维几何编码器,从多视角图像中提取深度…

作者丨张岂萍
编辑丨幸丽娟
还真不一定。
判断物体的位置、距离和空间关系,是视觉语言模型实现空间推理需要具备的能力。现在一种常见做法,是接入 VGGT 这类三维几何编码器,从多视角图像中提取深度、点云等空间线索,辅助模型判断。
但外部几何信息并不是越多越好。无关的几何特征可能干扰模型判断,每次调用外部三维模型,也会增加推理时间。
围绕这一问题,中山大学梁晓丹团队连续开展了 GeoThinker 系列研究。
第一项工作 GeoThinker 针对无关几何特征干扰判断的问题,让模型根据问题主动挑选有用的几何线索,更好地利用外部三维几何信息。该工作已被 ICML 2026 收录。
不过,这项工作仍需依赖 VGGT 实时提取几何特征,增加了推理阶段的计算开销。
为了减少这部分开销,团队联合小鹏汽车、南洋理工大学和穆罕默德·本·扎耶德人工智能大学(MBZUAI),进一步将研究延伸到模型内部的空间表示学习,让视觉语言模型学会自己生成空间线索,在推理阶段不再依赖外部三维几何模型。模型的空间推理耗时从1.45秒缩短至0.40秒,速度提升约3.6倍,空间推理表现基本保持不变。

论文地址:https://arxiv.org/pdf/2610.20592
两项研究的通讯作者都是中山大学教授梁晓丹。作为 AI 领域青年奖项名单上的“熟面孔”,她是国家“万人计划”青年拔尖人才,曾获达摩院青橙奖、吴文俊人工智能优秀青年奖等多项高含金量青年奖项。她长期研究多模态视觉理解、三维表征与具身智能,GeoThinker 系列工作正是她沿着这一方向持续深耕的成果。
GeoThinker-F 是怎么做到在推理时不依赖外部模型、还能把计算开销降下来的?先从第一项工作 GeoThinker 说起。

01
GeoThinker:几何信息不在多,而在用得准
GeoThinker 的核心创新,是让视觉语言模型能够根据推理任务,有选择地利用外部几何特征,减少无关信息的干扰。相关论文《Thinking with Geometry: Active Geometry Integration for Spatial Reasoning》已被 ICML 2026收录 。

论文链接:https://arxiv.org/pdf/2602.06037
视觉语言模型做空间推理,常会用到三维几何编码器 VGGT(Visual Geometry Grounded Transformer)。
VGGT 可以结合多张照片提取场景三维几何信息。例如输入客厅不同角度的照片,它能整合多视角信息,分析沙发、茶几的位置关系,输出几何特征,帮助视觉语言模型解答空间类问题。
但几何信息并非越多越好。判断桌子在沙发的哪个方向,并不需要房间里所有家具和墙壁的信息。
为此,团队设计了空间信息融合机制(Spatial-Grounded Fusion)。它允许模型根据当前问题,主动去几何特征里寻找相关线索,再通过重要性门控(Importance Gating)突出关键区域,减少无关信息的干扰。

在衡量空间感知能力的综合基准 VSI-Bench( Visual Spatial Intelligence Benchmark )上,GeoThinker 取得 72.6 分,比基础模型提高了 14.7 分。
AI 科技评论已对这项工作进行过详细解读,点击查看VSI-Bench 72.6 分新SOTA,横扫多项榜单!中山大学&引望发布GeoThinker:开源最强空间智能模型,重塑“主动感知”新范式
不过,这份高分背后的代价也很明显:推理慢、算力消耗大。
因为 GeoThinker 每次做空间推理都得额外跑一遍 VGGT 编码器,这就导致它很难满足自动驾驶、机器人等场景对“即时反应”的要求。
能不能连这一步也省掉,让视觉语言模型自己学会生成空间信息?这就引出了 GeoThinker-F 要解决的问题。

原文出处:雷峰网 (本文由聚合程序自动采集,版权归原作者所有)