NVIDIA 发布用于自动驾驶的 Alpamayo 2 Edge
盖世汽车讯 据外媒报道,NVIDIA在Hugging Face平台上发布了Alpamayo 2 Edge模型。该模型拥有20亿个参数,旨在帮助自动驾驶开发者在车载算力和延迟限制的约束下进行开发。此次发布的内容还包括部署方案及评估工具,可用于生成并分析驾驶轨迹及其背后的解释。

图片来源:NVIDIA
该模型针对DRIVE AGX Thor平台进行了优化,专为车载环境下的10 Hz运行频率而设计。在Alpamayo产品页面上,Edge版本已被列为可用;它与参数量达340亿的Alpamayo 2 Super版本相区分——后者主要用于驾驶预测、场景理解、自动标注以及辅助训练规模较小的模型。
具备自适应推理能力的紧凑型模型
Cosmos 3 Edge 采用基于 Nemotron 的推理核心,并结合“扩散动作专家”(diffusion action expert)来生成驾驶动作。在这种“视觉-语言-动作”架构中,环视摄像头视频、时序上下文、自车运动历史以及导航文本被转化为未来的行驶轨迹,并生成“因果链”(Chain-of-Causation)解释,用以阐明决策与因果因素之间的关联。此外,该模型还能回答有关驾驶场景的各类开放式问题。
在常规驾驶情况下,Edge 无需为每一项决策都生成推理过程记录。此时,推理脚本会输出特殊的“常规”(NOMINAL)标记,从而在模型持续生成行驶轨迹的同时,减少标记生成量并降低推理计算开销。
该模型卡列出了全球部署范围;模型权重采用 OpenMDW-1.1 许可协议,源代码则采用 Apache License 2.0 许可协议。其训练数据集包含约 11.5 万小时的多摄像头驾驶视频(附带自运动和轨迹标注),以及约 370 万条“因果链”(Chain-of-Causation)推理轨迹。数据涵盖了来自摄像头、惯性测量单元(IMU)和 GPS 的记录,以及合成的推理轨迹。
在训练阶段,Alpamayo 2 Super 生成了用于离线蒸馏的推理自动标注(autolabels)。随后,Edge 通过 AlpaGym 仿真环境中的闭环强化学习,从自身行为所产生的结果中进行学习。据 NVIDIA 称,与未进行闭环强化学习的最佳检查点(checkpoint)相比,这一阶段使闭环驾驶性能提升了 48.9%。
端侧延迟与验证限制
下载的 BF16 权重可在受支持的 NVIDIA GPU 上直接作为 PyTorch 模型运行,但在 DRIVE AGX Thor 平台上实现实时运行则需要进一步优化。NVIDIA 提供的方案采用了 FP8 量化校准、ONNX 导出、TensorRT 及 TensorRT-Edge-LLM 技术,并结合 DFlash2 推测解码(speculative decoding)来实现实时推理。在运行 DRIVE OS 7.2.7.0、CUDA 13.4 和 TensorRT 11.3.1.9 的 DRIVE AGX Thor-X 平台上,该方案从摄像头输入到轨迹输出的延迟为 160–190 毫秒(具体取决于推理计算量)。
据 NVIDIA 报告,在 AlpaSim 闭环仿真器中,Edge 模型在两次“责任归属事故”(即由模型自身决策导致的事故)之间的平均行驶里程为 15.15 公里,而参数量为 40 亿的 Qwen-Drive-1.0 模型该指标仅为 0.25 公里。在同一对比测试中,Edge 模型的最小平均位移误差(ADE)为 0.53 米,而 Qwen-Drive-1.0 为 1.68 米;该数值越低,说明轨迹预测越准确。
在基准软件兼容性方面,模型说明文档(Model Card)指出其已在单块 NVIDIA H100 80GB GPU 上完成测试,并明确其他 GPU 架构尚未经过验证——这与针对 Thor-X 平台优化的方案属于不同的说明范畴。若要将该模型集成至自动驾驶系统中,在正式部署前,还需使用特定应用场景的数据进行额外测试,并开展单元级及系统级的迭代验证。
AlpaJudge:连接评估与训练
NVIDIA 还发布了 AlpaJudge——一种经人工校准的评估与奖励模型,其权重和代码采用相同的许可协议。AlpaJudge-RB 属于“基于参考”(reference-based)的评估模型:它接收问题、参考答案以及候选答案(不含图像),并输出一个 0 到 1 之间的对齐概率。而“无需参考”(reference-free)的 AlpaJudge-RF 模型则利用三个广角前视帧、三个长焦前视帧、自车元动作历史、未来上下文信息以及候选推理过程,输出五项评估准则的概率,以及动作评分、组件评分和综合评分。
根据 NVIDIA 的指导建议,较高的推理评分表明候选推理过程符合评估准则;但若要全面描述驾驶行为,仍需结合碰撞、偏离道路、近距离接触以及轨迹相关的指标。对于评分较低的样本,不应直接自动丢弃,而应进行人工审查,因为这些样本往往能揭示罕见的失效情况。评分极高的样本可能反映了模型已能稳定解释的场景,而评分居中的样本则往往提供了进一步训练的宝贵机会。
这一公开的强化学习方案可利用 AlpaJudge-RB 对采样得到的推理过程进行评分,同时考量轨迹误差与舒适度。NVIDIA 建议保留轨迹筛选机制并记录各项评分指标,以确保即便解释过程流畅但内容有误,也无法仅凭此获得高额总奖励。该方案的实际意义在于它构建了一套完整的开发闭环:涵盖轻量化端侧推理、基于评分的解释评估以及针对性再训练;并通过碰撞情况和轨迹数据,验证“更优质的解释”是否确实能转化为“更出色的驾驶表现”。
欢欢@盖世汽车供应链
悠悠@盖世汽车
豆豆@盖世汽车





