盖世汽车讯 如今许多自动驾驶汽车通过两种感知方式同时“观察”路况：摄像头捕捉行人的颜色、纹理及轮廓，而激光雷达（LiDAR）则发射激光脉冲，精确测量行人与车辆的距离。这两种方式相辅相成，所提供的综合信息优于单一传感器单独工作时的表现。

然而，这种组合也存在缺陷。由于融合模型主要基于清晰的日间影像进行训练，它往往倾向于依赖在那种环境下表现最佳的传感器，因此在面对复杂或恶劣工况时可能会失效。例如，雨水会散射激光雷达的光束，而在夜间行驶时，摄像头则需应对黑暗环境及强光眩光带来的挑战。

图片来源：SUTD

据外媒报道，为了解决这一问题，新加坡科技设计大学（Singapore University of Technology and Design, SUTD）的Zhao Na助理教授主导了两项研究，分别构建了不同的模型。在题为《CCF：面向域泛化多模态3D目标检测的互补协同融合》（CCF: Complementary collaborative fusion for domain generalized multi-modal 3D object detection）的研究中，团队调整了检测器对各传感器权重的分配方式，使其能够适应新环境。而在题为《PanDA：自动驾驶中多模态3D全景分割的无监督域自适应》（PanDA: Unsupervised domain adaptation for multimodal 3D panoptic segmentation in autonomous driving）的研究中，他们利用新环境中的无标签数据，帮助模型在进入该环境后实现自适应。

“真正的挑战不仅仅在于噪声的增加，更在于各传感器的可靠性会发生动态变化，”Zhao Na说道，“我们的研究旨在让系统具备超越训练环境的泛化能力，并能根据可用信息的变动，动态调整模型对各个传感器的依赖程度。”

校正检测器的激光雷达（LiDAR）偏差

互补协同融合（CCF）方法始于对问题的诊断。此类检测器通常分别利用各传感器生成候选目标，随后进行融合。研究团队在分析标准检测器的训练过程时发现，激光雷达生成的候选目标与真实物体匹配的频率是摄像头候选目标的37.5倍；而传统的评估方式仅关注最终融合结果，从而掩盖了这一不平衡现象。

CCF的解决方案包含三个方面。首先，各传感器的候选目标拥有独立的训练信号，确保摄像头候选目标不再被淹没。其次，摄像头候选目标会借用邻近激光雷达点的深度信息，以更精确地定位目标位置。此外，在训练过程中，系统会对图像和点云应用互补掩码（masking）处理：即当某传感器的数据被遮蔽时，另一传感器的数据得以保留，从而迫使模型同时学习来自两者的信息。

在自动驾驶数据集 nuScenes 上，该模型在雨天、夜间和波士顿测试集上的平均精度均值（mAP）分别提升了 2.8、1.3 和 3.2 个百分点，同时保持了在日间场景下的性能。

“并不存在诸如‘雨天就靠摄像头’或‘黑暗环境就靠激光雷达’之类的固定规则，”Zhao Na解释道，“对于每一个潜在目标，模型都会权衡现有的各类信息，并学习应在多大程度上依赖每种传感器。”

利用临时标签与双重专家机制的适应方案

PanDA 承接了 CCF 在全景分割任务上的工作；该任务要求对每个激光雷达点进行类别标注，并针对汽车、行人等可计数对象进行独立的实例标注。PanDA 无需针对新城市或雨季场景的视频数据进行人工标注，而是让模型自行生成临时标签，随后再对这些标签进行精细化处理。

具体而言，该方案的成功得益于两个关键思路。其一是“有意破坏”训练数据：通过在图像或激光雷达扫描数据中，将物体内部及其边缘区域的局部信息抹除（置空），迫使模型学会利用剩余的传感器数据及周围环境信息来重建场景。

第二阶段由两位专家负责完善初步标注。3D 专家利用 LiDAR 数据中的几何连续性，对初步标注中呈现碎片化状态的路面及其他区域进行延伸补全；2D 专家则借助大型预训练视觉模型，针对模型识别把握不大的对象重新进行标注。

“3D 专家可以被视为测绘员，而 2D 专家则扮演识别者的角色，”Zhao Na说道，“前者负责修复不完整的形状，后者则负责纠正分类错误。”

适应性提升仍需在实际场景中验证

在 nuScenes 数据集上，PanDA 显著提升了全景分割质量（Panoptic Quality）：从波士顿到新加坡的场景迁移中，指标提升了 13.2 个百分点；从晴天到雨天提升了 8.9 个百分点；从白天到夜晚则提升了 8.4 个百分点。在夜间场景下，该模型取得了 73.1 分的成绩，优于两个使用标注夜间数据训练的监督学习参考模型（得分分别为 53.5 分和 70.6 分）。

Zhao指出了一个需要注意的问题：夜间数据集仅包含 602 帧训练图像，这在一定程度上限制了参考模型的表现。她表示，在投入量产车辆使用之前，这些方法必须经过针对罕见事件、不同城市环境以及不同传感器配置的测试；此外，其处理速度、可靠性及安全机制也必须得到验证。

“下一个重要里程碑是开发出能够跨不同传感器类型和配置实现可靠泛化的感知系统，”她说道，“这些系统还必须能够评估信息的可靠性，并在雨天、夜间驾驶、陌生城市及复杂交通状况等多种场景下做出正确的感知决策。”