盖世汽车讯 几十年来，事件相机（event camera）——通过持续监测光强变化来模拟生物视网膜——一直被寄予厚望，有望彻底改变机器人感知世界的方式；与传统相机相比，它能让机器人做出更迅速的反应，运行也更加可靠。

然而，解读事件相机产生的数据并非易事——这些数据看起来就像是一连串令人眼花缭乱的点，而非人们所熟悉的图像序列。因此，长期以来，处理这类数据往往需要依赖多种专用算法的组合，而每种算法通常都仅针对单一任务而设计。

图片来源：宾夕法尼亚大学

据外媒报道，宾夕法尼亚大学（University of Pennsylvania）的工程师们开发出了一种名为“快速特征场”（Fast Feature Field，简称 F3）的通用计算工具。该工具能够高效地将事件相机每秒产生的数千万个信号，转化为各类机器人均可使用的数据信息。

这一工具的出现有望彻底改变机器人领域：它首次使得事件相机能够在自动驾驶汽车、无人机等平台上得到广泛应用，从而显著提升机器人在多种光照条件下识别物体、估算距离以及感知运动的能力。

“我们预计这将成为事件相机发展史上的一个分水岭，它展示了如何实现可靠、高速且具有广泛应用价值的事件相机数据处理，”电气与系统工程系（ESE）副教授、计算机与信息科学系（CIS）兼聘教授 Pratik Chaudhari 说道。他是发表在期刊《科学-机器人学》（Science Robotics）上的一篇新论文的资深作者。“‘快速特征场’（Fast Feature Field）技术能够帮助机器人更准确地感知世界，从而让那些日益频繁出现在我们天空和街道上的机器人变得更加安全。”

宛如眼球的相机

与传统相机不同——传统相机以固定时间间隔（例如每秒 30 帧）记录完整图像——事件相机则会对入射光做出持续响应。该论文的合著者、计算机与信息科学系（CIS）的Ruth Yalom Stone讲席教授Kostas Daniilidis表示：“事件相机就像哺乳动物视网膜中的视杆细胞和视锥细胞；它们能够感知光线的变化，并能指出视野中哪些区域变亮了或变暗了。”

然而，与生物眼不同的是——生物眼拥有额外的细胞层来解读这些信息——事件相机此前一直缺乏一种通用的方法，从其产生的数据中提取出有意义的模式。该论文的第一作者、计算机与信息科学系（CIS）的博士生Richeek Das补充道：“视网膜中除了视杆细胞和视锥细胞外，还有许多其他类型的细胞。例如，神经节细胞负责感知运动和色彩，而无长突细胞等结构则有助于抑制冗余信息。”

由于缺乏能够承担此类额外处理任务的软件，事件相机在研究领域之外的应用一直受到严重阻碍。Chaudhari指出：“如果无法剔除冗余信息，事件相机所产生的数据就会包含过多的噪声，且数据量极其庞大，根本无法直接使用。”

预测未来

研究人员最初尝试利用数学技术来汇总视觉信息，并试图为事件相机开发出一种类似于“快速傅里叶变换”的工具——这是一种在信号处理领域广泛应用的技术，能够将复杂信号分解为各个组成部分。

然而，经过数月的实验，研究团队始终未能找到一种可靠的方法，既能处理事件相机所产生的高速率海量数据，又能最终从中提取出场景的布局及其内部的运动信息。

最终，研究人员意识到，他们可以训练一个神经网络——这是一种能够从数据中进行学习的人工智能——让它自行探索出总结信号的方式。关键在于，如何教会它去识别哪些模式。

他们发现，答案在于“预测”。Das表示：“为了根据过去的情况准确预判未来事件，神经网络必须学会表征场景的结构，以及场景中正在发生的运动。通过训练 F3 去预测未来事件，我们就能教会它识别数据中潜在的模式，而无需针对每一项任务都专门设计一套方案。”

跳过空白区域

最终，研究人员找到了一种通用的方式来表述事件相机数据。然而，要将这一构想转化为机器人能够高效使用的软件，又是一项新的挑战。Chaudhari 表示：“我们最初的实现方案运行速度太慢，无法满足事件相机所具备的那种快速、实时感知能力——而这正是事件相机最吸引人的地方。”

解决问题的关键在于意识到：在事件可能发生的所有位置中，绝大多数实际上都是空的。Das 说道：“尽管事件相机每秒可以产生数千万个信号，但在数据所涵盖的潜在位置中，约有 95% 的区域根本没有任何事件发生。”

换句话说，在任何给定时刻，相机中的大多数像素点都没有新的信息需要上报。Das 补充道：“我们意识到，只需在确实发生事件的位置进行计算即可，而不必去处理那些空白区域。”

为事件相机提供“通用语言”

今年早些时候，Sony AI推出了“Ace”——一款会打乒乓球的机器人。它利用事件相机追踪乒乓球的速度与旋转，使其能够与职业选手同台竞技，甚至战胜他们。

然而，Ace 所采用的精密视觉系统是专为乒乓球运动开发的。这凸显了事件相机在更广泛应用中所面临的一个长期障碍：工程师们往往需要针对每一项新应用开发专用软件，而无法直接利用现有的计算机视觉工具。

Daniilidis表示：“正如 JPEG 和 MPEG 等压缩格式让图片和视频能够更轻松地在不同设备间共享一样，F3 为事件相机提供了一种‘通用语言’。它将事件相机的信号转换为一种格式，使得那些原本为传统相机开发的各类软件，也能够适配并使用这些信号。”

快速且灵活的机器人视觉

为了展示这种多功能性，研究人员在多种任务中对 F3 进行了测试，包括物体识别、距离估算和运动追踪。测试所用的数据来自汽车、四足机器人和飞行无人机，涵盖了从夜间城市街道到拥挤室内空间等各种环境。

测试结果兼具高精度与高速度：基于 F3 的方法在多项机器人感知任务中达到了业界领先水平。采用 F3 的算法比以往的方法快约 2 到 5 倍；F3 本身处理高清事件相机数据的速度可达每秒 120 次，而在较低的 VGA 分辨率下，处理速度可达每秒 440 次。Das 表示：“F3 能够为多种不同类型的机器人实现基于事件的实时感知。”

在与计算机与信息科学系（CIS）的博士生 Dexter Ong 和 Ioannis Asmanis 开展的合作研究中，该团队正利用 F3 构建自主无人机，使其能够借助事件相机在环境复杂且光线昏暗的区域进行导航。Daniilidis 说道：“这为敏捷型无人机开辟了令人振奋的可能性。F3 已成为我们技术流程中的一个关键组件。”

事件相机的未来

研究人员设想，未来可以将 F3 直接集成到事件相机的电路中。届时，它便能发挥类似高效相机驱动程序的作用，自动将原始信号转换为现有计算机视觉软件可直接使用的格式。

“我们的目标是让事件相机的使用变得像传统相机一样简单直观，”Chaudhari 说道，“我们希望工程师们能够充分利用这些相机卓越的性能，而无需在每次让机器人执行新任务时，都去重新开发相应的软件。”