盖世汽车讯 自动驾驶汽车通常由深度学习模型控制，但这些模型有时会在意外情况下出现故障。例如，汽车可能会莫名其妙地刹车，阻挡迎面驶来的紧急车辆。此时，驾驶员或乘客可能需要迅速做出反应以避免碰撞。

据外媒报道，为了帮助人们更好地预测车辆的失误，麻省理工学院（MIT）和自动驾驶技术公司Motional的研究人员开发了一种新方法，可以清晰地解释底层模型的决策过程。

图片来源：MIT

通常，深度学习模型的内部推理过程晦涩难懂。但这种名为概念包装网络（CW-Net）的新方法，可以将推理过程转化为概念，这些概念能够忠实地描述自动驾驶汽车的决策，而不会影响其驾驶性能。

CW-Net使用易于理解的概念（例如“接近静止车辆”或“靠近骑行者”）来解释基于机器学习的规划器的决策。这些解释可以纠正驾驶员和乘客对车辆行为的误解，并提高他们的情境感知能力。

在私人赛道上进行的道路测试中，CW-Net的解释帮助安全驾驶员更准确地预测车辆行为；一项针对非专业用户的大型模拟研究也得到了类似的结果。这些实验表明，CW-Net可以为工程师在排查车载人工智能系统故障时提供重要的反馈。从长远来看，这项技术可以提高自动驾驶车辆的安全性和透明度，同时建立驾驶员和乘客对车辆的信任。

“这项研究表明，解释如何有助于人类构建心智模型并理解系统的行为，以及如何将其应用于工程和开发中以改进技术，”麻省理工学院航空航天学教授、计算机科学与人工智能实验室（CSAIL）交互式机器人小组主任、CW-Net论文的共同资深作者Julie Shah表示。“除非我们构建这些技术的方式能够让我们信赖并预测其行为，否则它们的使用基础将是不稳固且不安全的。”

该论文的另一位共同作者是第一作者Eoin Kenny，他曾是麻省理工学院的博士后，现在是摩根大通的高级人工智能研究员；共同资深作者是Momchil Tomov，他是Motional公司的一名研究科学家。以及Motional团队成员Akshay Dharmavaram、Sang Uk Lee、Tung Phan-Minh、Shreyas Rajesh、Yunqing Hu和Motional总裁兼首席执行官Laura Major。该研究成果今日发表于期刊《Nature》。

忠实的解释

基于机器学习的规划器充当自动驾驶汽车的“大脑”。这些强大的深度学习架构处理来自车辆摄像头和激光雷达传感器的数据，生成车辆环境的高级概要信息，决定车辆下一步的行动，并输出车辆行驶轨迹。

这些规划器通常是黑箱模型，这意味着它们的内部决策过程非常复杂，难以理解。这可能导致科学家和安全驾驶员无法理解自动驾驶汽车为何会做出意料之外的决定，例如幽灵刹车。

研究人员设计了CW-Net，旨在用易于理解的概念解释车辆的决策，同时确保这些解释能够准确反映车辆行为背后的真正原因。

“尤其是在自动驾驶汽车这类高风险场景中，确保解释不具误导性至关重要。由于CW-Net在决策过程中遵循因果律，因此其解释的准确性得到了保证。” Kenny说道。

CW-Net是一种“概念分类器”，它是一种经过训练的人工智能算法，能够预测输入数据中存在的高级概念。研究人员将CW-Net模块集成到自动驾驶车辆现有机器学习规划器架构的核心部分。

它将模型内部的推理过程转化为易于理解的概念，例如“接近静止车辆”或“靠近骑行者”。然后，它强制规划模型架构的最后一个部分在决定车辆下一步行动时使用这些概念。通过这种方式，CW-Net确保这些概念能够准确地解释车辆的行为。

同时，CW-Net利用其分类的概念，实时生成清晰的解释，并与车辆轨迹一同输出。

“与其只是疑惑车辆为何停止，不如利用实时数据提供反馈，以便在部署过程中测试系统。您还可以将这些数据提供给工程师，以改进系统，”Kenny说道。

研究人员使用包含1.3亿个自动驾驶汽车场景示例的数据集训练CW-Net来预测概念，每个场景中都标注了多个概念。如此庞大的标注数据集使其能够在各种场景下准确识别概念。

他们还将CW-Net设计为模拟基于机器学习的规划器的驾驶决策，因此该模块不会对车辆性能产生负面影响。

最终，CW-Net生成了准确且易于理解的解释，而无需更改原始的深度学习模型。

提升情境感知能力

为了测试CW-Net，研究人员将该模块部署在一辆真实的自动驾驶测试车辆（Motional公司的无人驾驶出租车）上，并在一个配备安全驾驶员的私人赛道上进行测试。他们发现，CW-Net能够帮助安全驾驶员更好地预测车辆在突发情况下的行驶行为。

例如，车辆在接近骑自行车的人时总是会停车，安全驾驶员认为这是因为车辆检测到了骑自行车的人。但CW-Net的解释表明，该模型并未正确配置以检测骑自行车的人，而是选择了一条会导致碰撞的行驶轨迹。实际上，车辆停车是因为其紧急制动程序在距离骑自行车的人过近时启动了。

掌握了模型错误的信息后，安全驾驶员在类似情况下可以更快地降低车速或启用手动驾驶模式。这也有助于工程师修复模型，避免未来再次出现此类故障。

研究人员在更大规模的在线模拟研究中，利用在拉斯维加斯道路上捕捉到的真实驾驶场景，也观察到了类似的结果。CW-Net的解释显著提高了参与者预测自动驾驶车辆行为的能力。

未来，研究人员可以扩展CW-Net，使其能够涵盖更多概念，并探索不同的训练和设计技术，从而提升性能和可解释性。

“我们的研究表明，可解释性对于这些高风险环境至关重要，也表明未来在开发用于自动驾驶汽车或其他安全关键型环境的人工智能时，人们应该始终牢记这一点，”Kenny表示。