盖世汽车讯 自动驾驶汽车既令人着迷，又令人恐惧，因为它们必须准确评估和驾驭快速变化的环境。计算机视觉使用计算从图像中提取信息，是自动驾驶的一个重要方面，其任务范围从低级（例如确定给定位置距离车辆有多远）到更高级（例如确定道路上是否存在行人）。

据外媒报道，圣路易斯华盛顿大学（Washington University in St. Louis）麦凯维工程学院（McKelvey School of Engineering）计算机科学与工程教授Nathan Jacobs和研究生团队开发出联合学习框架，以优化两个低级任务：立体匹配和光流。立体匹配会生成两幅图像之间的差异图，是避免障碍物的深度估计的关键步骤。而光流旨在估计视频帧之间的每像素运动，对于估计对象如何移动以及摄像头相对于对象如何移动非常有用。

图片来源：圣路易斯华盛顿大学

最终，立体匹配和光流都旨在了解图像的像素位移，并使用该信息来捕获场景的深度和运动。Jacobs团队的联合培训方法利用它们固有的相似性，同时解决这两项任务。

Jacobs称，这些任务的训练模型面临的一大挑战是获取高质量的训练数据，既困难又昂贵。该团队方法利用计算机生成的合成图像和真实图像域之间图像到图像转换的有效方法。这种方法使他们的模型能够在现实场景中表现出色，同时仅根据合成图像的真实信息进行训练。

Jacobs表示：“新方法克服了光流和立体匹配方面的重要挑战之一，获得了准确的地面实况。由于我们可以获得大量模拟训练数据，因此我们可以获得比仅在可用的标记真实图像数据集上进行训练更准确的模型。更准确的立体匹配和光流估计可以减少错误，避免错误通过自动驾驶管道系统的其余部分进行传播，；例如避障系统。”