盖世汽车讯 乘坐自动驾驶汽车时，兔子可能会突然出现在前方道路上。汽车传感器会捕捉到兔子的图像，并将图像发送到计算机进行处理并做出决定，随后将决定发送到汽车的控制装置，以进行调整，从而可以安全地避开兔子。

这只是计算机视觉（人工智能的一个领域）的一个例子。人工智能使计算机能够获取、处理和分析数字图像，并根据该分析提出建议或决策。

计算机视觉市场正在迅速增长，从DoD无人机监控到商用智能眼镜，再到自动驾驶汽车系统。正因为如此，人们希望可以进一步改进计算机视觉。据外媒报道，近日，南加利福尼亚大学（University of Southern California，USC）维特比（Viterbi）信息科学研究所（ISI）和Ming Hsieh系电气与计算机工程系（ECE）的研究人员完成了DARPA（国防高级研究计划局）项目的第1和第2阶段，旨在在计算机视觉方面取得进展。

图片来源：南加利福尼亚大学

两个工作分布在两个独立的平台上

在上面的兔子在路上的场景中，“前端”是视觉传感（汽车传感器捕捉兔子的图像），“后端”是视觉处理（分析数据）。这些都是在不同的平台（传统上是物理分离的）上进行的。

ISI高级电子产品总监Ajey Jacob解释说：“在需要将大量数据从图像传感器发送到后端处理器的应用中，物理上分离的系统和硬件会导致吞吐量、带宽和能效方面出现问题。”

为了避免上述问题，一些研究人员从邻近的角度来解决这个问题——研究如何使后端处理更接近前端图像收集。Jacob解释了这种方法：“你可以将处理过程带到 CPU（计算机）上，并将CPU放置在更靠近传感器的位置。该传感器将收集信息并将其发送到计算机。如果用于汽车，则车内CPU可以进行处理，但如果用于无人机，但计算机由于体积太大无法搭载。此外，无人机还需要能够联网，并有较大电池支持数据包的发送。”

因此ISI/ECE团队采取了另一种方法，着眼于减少或完全消除后端处理。Jacob 表示：“就是对像素本身进行计算。所以不需要计算机。不需要创建另一个处理单元，仅在在芯片上本地进行处理。”

一个像素内的前端处理

用于人工智能应用的图像传感器芯片上的处理被称为像素内智能处理（IP2）。使用IP2，处理就发生在像素本身的数据之下，并且只提取相关信息。这要归功于计算机微芯片的进步，特别是用于图像处理的CMOS（互补金属氧化物半导体）。

该团队提出了称为内存中像素处理（P2M）的新型IP2范式，利用先进的CMOS技术使像素阵列能够执行范围更广的复杂操作，包括图像处理。

领导该前端电路设计的ISI计算机科学家和ECE助理教授Akhilesh Jaiswal解释说：“我们提出了一种在摄像头芯片内融合传感、存储和计算的新方法，这是首次结合混合信号模拟计算，并将该技术与半导体芯片3D集成方面取得的进展相结合。”

像素内处理后，只有经过压缩的有意义数据才会向下游传输到AI处理器，从而显著降低功耗和带宽。IS高级研究工程师Joe Mathai表示：“我们在像素传感器上的压缩和计算之间找出正确的权衡点进行了大量工作。”

之后，该团队创建了一个框架，可以将芯片缩小到传感器的大小。而且从传感器传输到计算机的数据也非常小，因为数据首先被删减，或者在像素本身上计算。

从前到后，再到未来

RPIXELS（用于高效低能量异构系统的像素内循环神经网络处理）是针对DARPA挑战提出的最终解决方案。它将前端像素内处理与ISI团队优化以支持前端的后端相结合。

在测试RPIXEL框架时，该团队发现：数据大小和带宽均减少了13.5倍（DARPA的目标是将这两个指标减少10倍）。

ISI高级计算机科学家Andrew Schmidt表示：“”RPIXELS通过将神经网络的第一层直接紧密耦合到像素中进行计算，减少了延迟（进行图像处理所花费的时间）和带宽，因此能够基于传感器“所见”更快地做出决策。它还使研究人员能够开发新颖的后端对象检测和跟踪算法，以继续创新，从而获得更准确和更高性能的系统。”