盖世汽车讯 据外媒报道，布朗大学（Brown University）工程学院的研究人员开发出一种新型成像系统，能够在浓雾或浑浊水域等部分不透明环境中观测并追踪移动物体。

图片来源：布朗大学

这项发表在期刊《先进科学》（Advanced Science）上的研究介绍了一种结合两种技术的方法：一是动态视觉传感器（一种仅记录亮度变化而非捕捉完整帧图像的摄像设备），二是用于重构传感器所探测到的移动物体的脉冲神经网络计算机模型。

在实验室测试中，面对传统摄像机无法看清物体的浑浊水域和弥漫雾气环境，该系统重构出的图像与隐藏目标之间的结构相似度评分高达96%，同时还能实时追踪目标的移动位置。

研究人员表示，这种受大脑启发的系统是首个能够同时追踪并成像那些被浓密散射介质遮挡、且处于随机运动状态物体的端到端技术。

布朗大学工程学博士后研究员Ning Zhang解释道：“之所以难以看清雾中的物体，是因为从物体表面反射的光线在抵达人眼或相机镜头之前，就已经被雾气散射了。该研究项目旨在利用新型成像相机和一种受大脑启发的模型，滤除散射效应，从而重构出雾气遮挡后的景象。”

研究人员指出，该系统未来有望在多个实际场景中得到应用，例如自动驾驶汽车及其他自主车辆、风暴或山火期间的无人机搜救行动，甚至是医学成像领域。

受到大脑的启发

为了开发这项技术，研究人员从人类视觉系统中获取线索，该系统可以以惊人的速度和效率处理图像。

视网膜不像摄像机那样一次性收集完整图像，而是主要对视野的变化（边缘、运动和闪烁）做出反应，并将这些信息提供给大脑，大脑随着时间的推移重建场景。当它感觉到变化时，它会向大脑发送神经尖峰，用于更新大脑对世界的重建。

研究人员能够利用类似的架构来创建一个系统，该系统可以快速有效地处理图像，但在雾天或浑浊条件下的表现优于人类视觉。

该系统采用了一种动态视觉传感器，能够检测视野内单个像素的光强变化。由于只有当像素感知到的亮度变化超过预设阈值时，该像素才会触发信号，因此即便大部分光线被雾气或其他散射介质散射，传感器仍能捕捉到移动物体。

此外，由于散射背景的变化速度远慢于移动目标，传感器会很大程度上忽略雾气的影响，主要响应那些与物体发生过相互作用的光线。传感器记录下的原始数据是一团形状模糊的脉冲信号，而脉冲神经网络正是为了处理这些信号而发挥作用的。

布朗大学工程学教授、该研究的资深作者Arto Nurmikko表示：“人眼在运动检测方面表现出色，但摄像机——特别是动态视觉传感器——在某些方面更具优势，例如它对人眼无法感知的近红外光非常敏感。”

它仅捕捉关于运动物体的信息，从而有效滤除部分模糊干扰，并生成一种输出形式——即将相关信息编码为异步脉冲序列；这与生物视网膜获取数据并将其转化为大脑视觉皮层可理解形式的过程颇为相似。

这项研究的核心创新在于一种模拟视觉皮层的类脑计算机模型：这是一个深度脉冲神经网络，它接收来自视觉传感器的数据，能够在极短时间内（不到一秒）重建随机运动且通常难以辨识的物体的图像，同时追踪其运动轨迹。该网络以脉冲作为基本信息单元进行运作。

为了测试该系统，研究人员透过遮挡视线的雾室或浑浊水箱，投射了移动的字母数字字符图像以及不同种类飞鸟的轮廓。实验表明，该系统能够成像并追踪那些标准摄像系统或人眼无法识别的随机移动物体。

此外，该系统还具有极高的能效。传感器本身的功耗仅为几十毫瓦。脉冲神经网络的能耗仅为传统神经网络的一小部分，这是因为它基于稀疏脉冲而非密集帧数据进行计算。

研究人员指出，这种方法存在局限性。由于传感器仅对变化做出响应，物体必须相对于摄像机移动才能被捕捉到；此外，目前的系统还原出的是物体的轮廓，而非完整的灰度图像。在光线极暗的环境下，传感器的灵敏度也会下降。

该团队目前正在探索适用于弱光环境的光增强前端技术，以及能够将该方法扩展至三维目标探测的深度解析方案——例如，通过测量光的传播时间，或像人眼一样将两台事件相机组合使用。

“这项技术在周围介质引起的光散射问题较为严重的场景中大有可为，例如自动驾驶汽车、搜救无人机以及水下导航等，”Zhang说道，“我们的目标是突破感知能力的极限，从而提升安全水平、改善医疗健康状况，并拓展更多应用领域。”