盖世汽车讯 5月31日，英伟达（NVIDIA）发布NVIDIA Alpamayo 2 Super，这是一款拥有320亿参数的基于推理的视觉语言动作 (VLA) 模型，扩展了NVIDIA Alpamayo系列的开放式AI模型、仿真框架和物理AI数据集，旨在为安全的L4级自动驾驶出租车开发提供支持。

图片来源英伟达

除了该模型之外，NVIDIA还发布了一系列新工具、模型和智能体技能，完善了从真实世界数据采集到闭环训练和车载部署的完整流程，其中包括NVIDIA AlpaGym、NVIDIA OmniDreams和全新的NVIDIA Omniverse NuRec模型。

Alpamayo 2 Super无需从零开始构建关键的自主基础设施，从而加速了自动驾驶汽车 (AV) 的开发。它能够实现类人感知、推理和行动，并提供安全验证和监管合作所需的可解释性。

为了更好地训练用于道路部署的模型，AlpaGym框架提供了一个闭环强化学习 (RL) 平台。NVIDIA OmniDreams生成式世界模型能够生成逼真的闭环自动驾驶场景，使开发人员能够大规模模拟罕见且持续时间长的驾驶场景。

为了提高开发人员的效率，NVIDIA为其所有自动驾驶开发工具提供物理AI代理技能。例如，由NVIDIA Omniverse NuRec提供支持的神经重建技能使用真实世界的车队驾驶场景进行模拟，并大规模生成合成训练数据。

“Alpamayo标志着汽车开始能够安全地进行推理，而不仅仅是驾驶，”NVIDIA 创始人兼首席执行官黄仁勋表示。“只有NVIDIA提供开放的模型、仿真、真实世界数据和智能体技能，使整个全球无人驾驶出租车生态系统能够发展出L4级能力，从而理解极端情况、解释决策、赢得信任并安全地扩展到数百万辆汽车。”

Alpamayo 2 Super现已推出，适用于基于推理的自动驾驶汽车

NVIDIA Alpamayo系列的参数处理能力从100亿扩展到320亿，Alpamayo 2 Super的推出使其超越了轨迹生成，能够对整个驾驶流程进行推理、规划和执行。凭借涵盖推理、自动标注、场景理解、模型评估以及将知识提炼为更小模型的多任务处理能力，它为可扩展的L4级自动驾驶汽车的开发和部署提供了基础模块。

主要特性包括：

3倍参数规模：基于NVIDIA Cosmos™世界基础模型，Alpamayo 2 Super的参数规模扩展至320亿，相比前几代的100亿参数，显著提升了推理能力、3D空间理解能力以及在长尾场景下的轨迹预测能力。

全方位感知：从前置摄像头扩展到覆盖前后左右的360度全景感知，为模型提供更全面的上下文信息，从而实现更安全的变道、并线和路口穿越。

元动作：新增元动作输出，包括让行、变道和停车等宏观动作，使模型除了能够预测轨迹和因果链（CoC）轨迹外，还能预测用于后续规划的高级驾驶决策。

推理自动标注和二维接地：引入推理自动标注和二维接地功能，使拥有320亿参数的基础模型能够提供高质量的推理标签，将标注周期从数月缩短至数天，并重塑自动驾驶数据管道的经济性。

改进的CoC和轨迹质量：改进了CoC轨迹，尤其是在传统模仿学习型自动驾驶技术难以应对的罕见、复杂、长尾场景中。

这些进步使Alpamayo 2 Super成为NVIDIA迄今为止最强大的开放式驾驶基础模型。Alpamayo 2 Super被设计为教师模型，可以精简为紧凑型模型，并在NVIDIA DRIVE Hyperion™平台的加速计算能力上运行——NVIDIA DRIVE AGX Thor™，该平台运行于车辆内部。

随着教师模型从NVIDIA Alpamayo 1 Nano和NVIDIA Alpamayo 1.5 Nano等参数量达100亿的模型扩展到Alpamayo 2 Super的320亿参数模型，基于Alpamayo构建的下游自动驾驶技术栈能够从单一的开源版本中继承更高质量的推理和感知能力，而无需各制造商从头开始重建。

自发布以来，Alpamayo的下载量已接近40万次。Alpamayo开放平台还包含训练后脚本，方便研究人员和开发人员根据自身数据集、场景和驾驶策略调整模型。

Alpamayo 2 Super预计将于今年夏季在GitHub上发布推理代码，并在Hugging Face上发布模型权重。

AlpaGym支持闭环训练和部署周期

NVIDIA还推出了NVIDIA AlpaGym，这是一个开源、高吞吐量的闭环强化学习框架。

开环训练使用记录的数据评估模型并生成单轮动作，而AlpaGym则在NVIDIA AlpaSim中运行模型，使其经历连续的决策和观察周期，每一次刹车、转向和导航选择都会影响环境。

因此，AlpaGym能够揭示静态数据集无法捕捉到的累积误差和极端情况故障，从而使模型能够从经验中学习。

AlpaGym基于AlpaSim微服务仿真栈和NVIDIA Omniverse NuRec构建，支持高效、可扩展的闭环强化学习，从而推动驾驶性能的提升。结合Physical AI AV数据集，Alpamayo提供了一条从开环预训练到闭环优化的连续路径。

NVIDIA还将CoC自动标注管道开源发布在GitHub上。该管道能够从原始驾驶视频片段中自动生成基于决策且具有因果关系的CoC标签，无需人工标注，从而为大规模训练具身推理模型提供所需的因果训练数据基础。

NVIDIA推出全新物理AI代理技能，助力自动驾驶开发

为支持基于推理的自动驾驶开发，NVIDIA推出基于NVIDIA Agent Toolkit的全新物理AI代理技能，旨在指导开发者及其编码代理完成构建和验证大规模自动驾驶系统所需的仿真、数据生成和闭环训练工作流程。

这些技能包括基于NVIDIA Omniverse NuRec库的神经重建技能、用于生成逼真场景的NVIDIA OmniDreams技能以及用于闭环强化学习的AlpaGym技能。