受飞行昆虫启发 香港理工大学开发出用于感知动态运动的光电分级神经元
盖世汽车讯 据外媒报道,通过观察飞行昆虫微小的视觉系统,香港理工大学(Hong Kong Polytechnic University,PolyU)的研究人员开发出用于感知动态运动的光电分级神经元,丰富了视觉传感器的敏捷反应功能。
图片来源:
生物视觉系统可以在复杂环境中以高能效有效感知运动。特别的是,飞行昆虫具有高闪烁函数频率(FFF),可以感知高速运动的物体。这种自然灵感可能会使用非常经济的硬件资源推进机器视觉系统。用于动作识别的传统机器视觉系统通常涉及复杂的人工神经网络,例如“空间”和“时间”流计算架构。
由PolyU理学院副院长兼应用物理系教授柴扬教授带领的研究团队证明,光电分级神经元可以进行高信息传输率(>1000 bit/s),并在感觉终端融合空间和时间信息。值得注意的是,该研究发现赋予了传统图像传感器全新的功能。
柴教授表示:“这项研究从根本上加深了我们对仿生计算的理解。研究结果有助于自动驾驶汽车的潜在应用,自动驾驶汽车需要识别道路交通中的高速运动。此外,该技术可用于某些监控系统。”
仿生传感器内计算
机器视觉系统通常由具有物理分离的图像传感器和处理单元的硬件组成。然而,大多数传感器只能输出“空间”帧,而不能融合“时间”信息。急性运动识别需要将“空间”和“时间”流信息传输到处理单元并在其中融合。这种受生物启发的传感器内运动感知在运动处理方面取得了进展,但同时也对计算资源提出了相当大的要求。
相关研究论文名为《光电分级神经元用于受生物启发的传感器内运动感知》”,已发表于期刊《Nature Nanotechnology》。该研究团队专注于传感器内计算的研究,以处理感官终端的视觉信息。在此前的其他研究中,该团队展示了静态图像的对比度增强以及对不同光强度的视觉适应。
柴教授表示:“多年来,我们一直致力于人工视觉。以前,我们仅使用传感器阵列来感知不同环境中的静态图像并增强其特征。此后,我们进一步展开研究,确定是否可以使用传感器阵列来感知动态运动。然而,感官终端无法承受复杂的硬件。因此,我们选择研究微小的视觉系统,例如能够敏捷感知动态运动的飞行昆虫。”
与人类相比,具有微型视觉系统的果蝇等飞行昆虫可以更快地敏捷地识别移动物体。具体来说,它们的视觉系统由非尖峰分级神经元(视网膜-层)组成,这些神经元的信息传输率(R)远高于人类视觉系统中的尖峰神经元。昆虫微小的视觉系统大大缩短了视网膜(传感器)和大脑(计算单元)之间的信号传输距离。
从本质上讲,分级神经元可以在感觉终端对时间信息进行有效编码,从而减少在计算单元中融合时空(空间和时间)信息的丰富视觉数据的传输。这种受生物启发的敏捷运动感知促使研究团队开发出用于传感器内运动感知的人工光电分级神经元。
高精度动作识别
高精度运动识别对于自动化车辆和监控系统等机器应用至关重要。研究发现,MoS2光电晶体管中浅捕获中心的电荷动力学可模拟分级神经元的特性,显示出1,200 bit⟩s−1的信息传输速率,并有效地编码了时间光信息。
通过对时空信息进行编码并将压缩图像输入人工神经网络,动作识别的准确率达到99.2%,远高于传统图像传感器的识别率(~50%)。
该研究对需要大量计算资源的运动处理提出了挑战。现在,人工分级的神经元可以直接感知和编码时间信息。仿生视觉传感器阵列可以对时空视觉信息进行编码并显示轨迹的轮廓,以有限的硬件资源实现运动感知。
从昆虫视觉系统的敏捷运动感知中得到启发,该研究以智能方式在机器视觉系统的传输速度和集成静态和动态运动的处理方面取得了重大进展。