快讯速递

英伟达博客发声:她不一样,她懂显卡 ( bushi ),她懂端到端!

英伟达博客发声:她不一样,她懂显卡 ( bushi ),她懂端到端!

她叫Alpamayo 2 Edge,因果推理结合扩散动作,端到端输出闭环表现提升 48.9%。 作者丨郑佳美 编辑丨岑 峰 点开前,你以为老黄家的惊天大瓜又有了什么后续; 点开后才发现:这个“她”连人都不是。她叫 Alpamayo 2 Edge。 英伟达11月10日刚发布出来的一款端到端自动驾驶模型。VLM 骨干约 2…

她叫Alpamayo 2 Edge,因果推理结合扩散动作,端到端输出闭环表现提升 48.9%。

    作者丨郑佳美

    编辑丨岑   峰

                                                                                                       

点开前,你以为老黄家的惊天大瓜又有了什么后续; 点开后才发现:这个“她”连人都不是。

她叫 Alpamayo 2 Edge。 英伟达11月10日刚发布出来的一款端到端自动驾驶模型。VLM 骨干约 2.45B、动作专家约 0.2B,跑在车规级芯片 DRIVE AGX Thor 上。

但“懂端到端”这四个字,还真不是标题党蹭流量。在各路AI疯狂“嘴替”、大模型疯狂自言自语的时代,英伟达力挺的这姑娘(划掉)这模型,是真·人间清醒。

Alpamayo 2 Edge希望让汽车里的 AI 不仅能看懂道路,还能理解复杂交通关系、分析潜在风险,并根据场景自主生成驾驶动作。简单来说,就是让 AI 从会看、会理解,进一步走向会开车。

当然,让 AI 在服务器里推理和让它在高速行驶的汽车里推理,完全是两回事。车载算力有限,响应时间也有严格要求,模型既要具备复杂场景下的推理能力,又不能把大量计算资源消耗在冗长的思考过程中。

Alpamayo 2 Edge 围绕这个问题做了一套新的设计:普通端到端模型输入图像直接输出轨迹,中间发生了什么是黑箱。而 Alpamayo 2 Edge 被强制要求生成 Chain-of-Causation(因果链)推理:不光要开车,还要说出为什么这么开。

所以汽车究竟需要怎样“懂端到端”的 AI,才能既想得明白,又开得及时?这套新 VLA 给出了一个颇有意思的技术方案。

01


让模型自主控制推理开销

Alpamayo 2 Edge 的一个核心设计,是让模型学习何时需要展开完整推理。自回归语言模型下推理文本越长,生成耗时越高,而车载系统还需要为视觉编码和轨迹生成预留计算资源。

NVIDIA 为此引入了 Adaptive Reasoning,并设计特殊标记 <NOMINAL>。当模型判断当前属于常规驾驶状态时,可以直接输出这个标记,结束显式推理文本的生成;遇到复杂交通交互时,再生成完整的 Chain-of-Causation(CoC)推理链。

这里有一个重要的实现细节:<NOMINAL>并不意味着关闭视觉网络,也不代表模型跳过后续动作计算。它改变的是语言模型的输出方式,减少常规场景下的推理 Token。公开架构没有披露独立的外置风险分类器,模型需要通过训练学会两种输出模式的选择。

那么,模型如何知道什么场景需要推理?这涉及 CoC 的数据构建。

NVIDIA 的自动标注流程会先从车辆轨迹中提取 Meta-Action,也就是自车的高层运动行为,再根据行为发生变化的时间点定位关键帧,随后调用 VLM 生成场景因素与驾驶动作之间的因果解释。标注还需要经过验证,检查解释是否有画面依据,以及描述的动作是否符合实际轨迹。

这里有一个重要的设计取舍:驾驶视频中存在大量连续画面,但并非每一帧都会产生新的驾驶决策。如果逐帧生成推理文本,训练集容易积累大量重复描述。

以 Meta-Action 变化为锚点,可以把监督集中在车辆行为发生变化的时刻,让模型学习障碍物、交通参与者和道路条件如何影响自车动作。

NVIDIA 使用 Alpamayo 2 Super 生成 CoC 自动标注,再通过离线蒸馏训练 Edge 模型。公开数据约包含 115,000 小时多摄像头驾驶视频,以及 370 万条 CoC 推理标注。

例如,前方车辆减速时,模型需要结合左侧来车、道路边界和自身速度判断是否能够绕行。CoC 要表达这些因素与减速、等待或转向之间的联系,同时避免引用决策发生之后才出现的信息。

这样,模型学习的内容包含两层:复杂场景下如何组织因果解释,以及常规场景下何时可以省去显式解释。前者提供驾驶推理监督,后者控制文本生成成本。

不过,自动生成的 CoC 仍可能继承教师模型的偏差,解释与实际驾驶动作是否一致,还需要在后续训练中检验。

02


从场景理解到连续轨迹

完成场景分析后,模型还需要把判断转化为车辆能够执行的运动轨迹。Alpamayo 2 Edge 将这项工作交给独立的 Diffusion Action Expert(约 0.2B 参数),与 VLM 骨干(约 2.45B 参数)形成双模块架构。

这套架构的输入设计也围绕驾驶场景展开。模型每轮处理 6 路摄像头、22 帧图像。前向广角和长焦各提供 5 帧,覆盖过去 2 秒、1 秒、0.5 秒、0.1 秒和当前时刻;左右侧向与后向四路摄像头各提供 3 帧,覆盖过去 1 秒、0.1 秒和当前时刻。

前向摄像头保留更密集的历史信息,用于识别道路变化和前方交通参与者的运动状态;侧后方画面补充周边车辆信息。此外,模型还接收 20 个历史 Ego Pose,按照 0.1 秒间隔覆盖过去 1.9 秒,并转换到当前自车坐标系。

这里的 Ego Pose 很关键。摄像头提供外部环境的视觉信息,Ego Pose 描述车辆自身的位置和姿态变化。两类信息经过统一的时间与坐标处理后,模型才能结合自车运动历史理解道路中其他参与者的相对运动。

在完成视觉与运动信息编码后,VLM 负责提供场景语义、导航条件和 CoC 推理,动作专家则接收这些条件,生成连续控制量。

动作专家输出每个时间步的加速度和曲率,再通过 Unicycle Model 积分形成车辆轨迹。加速度描述纵向速度变化,曲率决定路径弯曲程度。相比直接让语言模型生成大量坐标,这种控制量表达更贴近车辆运动学。

原文出处:雷峰网 (本文由聚合程序自动采集,版权归原作者所有)