感知模块作为智能驾驶模块之一，是将物理世界与车机大脑相连接的重要一环。如何让汽车像人类一样，将“眼前所看”转化为“脑中所想”，进一步变成“所作所为”，这对于算法模型有很大的考验，BEV（Bird's Eye View）感知算法能够更好地融合多传感器的特征，提高感知和预测的准确率，成为当下智能驾驶解决方案的热门选择。零束科技凭借自主研发的BEV感知架构，设计基于Transformer技术的多任务模型训练和全感知链路，在有限计算资源下成功实现了动态静态障碍物感知、车道线感知、Freespace 、动态障碍物轨迹预测等多任务模型训练；同时，通过外参增强、BEV平面增强和多模态向量引导训练等技术，支持各极端场景泛化域的感知输出，在各种复杂场景下表现出高精度的感知结果；基于强大的数据训练平台和模型快速迭代能力，实现智能驾驶全场景精准感知与预测，为客户提供快速量产落地的智能驾驶解决方案。

基于Transformer技术的全场景精准感知BEV架构

零束科技BEV感知架构采用了部分共享网络和多任务检测网络结构，融合 6V图像融合网络、时空融合网络、BEV感知网络和多任务检测网络的设计思想，不仅实现了核心功能如障碍物检测、车道线检测等，而且通过BEV occupancy网络增强freespace感知，提升了对通用障碍物的感知精度。基于transformer技术建模agent与环境 ，输出agent未来轨迹长度明显超越传统rule-based方法。

BEV障碍物检测

采用多相机联合方案，将所有相机的图像输入到一个神经网络中，生成全局BEV视角特征图，减少额外的跨相机障碍物重识别步骤。

BEV车道线检测

基于GCN的道路拓扑预测网络架构设计，显著提升了车道线感知精度，可支持全场景 Mapless 。

BEV基于Transformer的轨迹预测

结合Transformer，设计车道线感知和动态障碍物的轨迹预测，显著提升了智能驾驶系统的感知能力和可靠性。

支持各极端场景泛化域的感知输出，精准提供感知结果

智能驾驶系统的可靠性在各种复杂的道路、气象条件和交通状况下至关重要。为解决不同车型传感器外参带来的感知输出偏移问题，零束科技采用了外参增强技术和BEV平面增强技术，准确适配各类极端和非常规场景挑战，增强智驾系统在各种复杂场景中的高鲁棒性和适应性，从而降低事故风险。此外，为进一步提升模型在极端环境下的输出精度，引入多模态向量引导训练技术，通过对不同模态数据的引导，使模型能够在各种复杂和极端情况下提供更准确感知结果，包括黑夜、雨天、雪天、雾霾等恶劣场景，以及密集车流中出穿梭的行人和非机动车（包括身穿雨衣的行人和非机动车）。

 BEV平面增强技术

黑夜场景

雨天场景

强大的数据训练平台和模型快速迭代能力

训练数据方面，零束科技采用了三个来源的数据作为车端模型的训练基础，包括数采自动标注和人工标注、仿真数据和长尾数据。通过引入大模型技术，生成各种类型的仿真数据和Corner Case数据，其中涵盖了黑夜、雨天、特殊装桶、特殊路牌、特殊红绿灯、车道线、交通路面标志、机动车、行人等各种场景和目标。在不同光照环境、遮挡环境和姿态下，实现了完整的合成链路和数据标注链路，成功克服了长尾场景的数据补充难题，确保车端模型的有效迭代 。

未利用黑夜生成数据训练，车辆漏检

利用黑夜生成数据训练，车辆成功检出

模型迭代方面，引入互联网的敏捷开发流程和门径式管理，形成了零束科技自己独特的视觉感知管理体系。迭代速度达到了每月一个大版本，每周一个小版本，已实现了自动上下匝道、大曲率匝道无接管、自动变道超车等功能落地，为零束科技打造高性价比的感知和预测算法产品。

目前，零束科技已完成BEV架构的前融合网络构建，并积极拓展多模态的前融合架构，未来，零束科技将结合预测和规划，形成完备结构的端到端自动驾驶框架，不断扩展智驾场景“边界”，持续为用户带来新价值。