盖世汽车讯 据外媒报道，韩国首尔国立大学（Seoul National University）研究人员开发出两项新技术，通过仅传输人工智能 (AI) 分析所需的数据来减少通信开销，并缩短用户在使用智能手机上的其他应用程序后返回人工智能应用程序时必须等待响应的时间。

图片来源：https://doi.org/10.1145/3795866.3796689

首尔国立大学工程学院电气与计算机工程系教授 Kyunghan Lee 领导的研究小组开发出 TACToC（一种仅选择性传输 AI 任务所需信息的通信系统）和 mzCache（一种减少智能手机 AI 响应延迟的内存管理系统）。

与现有方法相比，TACToC 降低了高达 14.5 倍的通信成本，同时将准确性损失保持在 3 个百分点以内。在使用多个应用程序的环境中，与传统的基于存储的恢复方法相比，mzCache 将 AI 的首次响应时间缩短了高达 5.5 倍。

“TACToC”有选择地仅传输人工智能任务所需的信息

推理卸载将智能手机、自动驾驶汽车或机器人捕获的视频发送到远程服务器进行人工智能分析，可以减轻设备的计算负担。然而，传统的视频压缩是围绕人类观看者的视觉质量而设计的，因此传输了人工智能分析不需要的信息。

面向任务的通信是一种仅传输人工智能任务所需信息的方法。然而，现有的方法需要对编码器进行单独的训练，以提取和压缩每个任务的信息，例如图像分类或对象识别，这在处理多个任务或添加新任务时造成了负担。

研究团队的 TACToC（面向任务的通信的任务自适应通信）通过单个编码器支持多个 AI 任务。 TACToC 不是为每个任务重新训练整个编码器，而是更改包含任务信息的小提示，以有选择地仅识别该任务所需的视觉特征。例如，当自动驾驶车辆使用相同的摄像机镜头来识别周围物体或估计它们的距离时，系统会选择并传输对每个任务最重要的信息。

该系统的核心是一个“任务可描述编码器”，它结合了两种算法：相关特征估计和基于提示的任务嵌入。系统预测每个视觉特征对人工智能任务的贡献程度，并仅选择所需的信息，而任务信息则使用少量可训练的标记来表示。

当添加新任务时，只需要训练相应的标记。选定的信息被压缩并发送到服务器，服务器重建分析所需的特征而不是原始图像，从而允许现有的人工智能模型无需修改即可使用。

在使用公共数据集进行五项任务（语义分割、姿态估计、图像字幕、图像分类和深度估计）的实验中，TACToC 与现有方法相比，将通信成本降低了 1.5 倍至 14.5 倍，同时将准确性损失保持在 3 个百分点以内。即使同时处理多个任务，随着任务数量的增加，传输的数据量变化也很小。

切换任务只需要更新大约 1,900 个参数，大约需要 12.5 毫秒。与现有的面向任务的通信方法相比，TACToC 的训练吞吐量提高了大约三倍，同时使用了大约五分之一的内存。在 NVIDIA 的 Jetson AGX Orin 边缘 AI 设备上，它每秒处理大约 21 帧。

在反映真实移动网络条件的实验中，TACToC 保持了稳定的精度，同时与 H.265 视频压缩相比，减少了约 16.7% 的带宽使用量，与现有的面向任务的通信方法相比，减少了约 41.1% 的带宽使用量。由于它可以在不修改现有通信网络架构的情况下进行部署，因此该技术有望减少自动驾驶汽车、机器人、无人机和智能闭路电视系统的通信开销，同时还支持下一代 6G 语义通信和物理人工智能服务中的应用。

“mzCache”通过在计算时恢复内存来加速 AI 响应

该团队还开发了 mzCache 来解决设备上 AI 的内存瓶颈，其中 AI 模型直接在智能手机上运行。设备端人工智能在隐私方面具有优势，因为数据不需要发送到外部服务器，但为了让人工智能记住之前的对话，模型和对话历史记录必须保留在内存中。即使是紧凑的 AI 模型也可以使用大约 5-7 GB 的内存用于模型本身和对话处理。

当用户从人工智能切换到另一个应用程序（例如相机、游戏或视频应用程序）时，就会出现问题。为了释放空间，操作系统 (OS) 回收 AI 已使用的内存。当用户返回人工智能时，响应会延迟，同时数据会恢复。研究团队在实际智能手机上进行的测量表明，首次响应时间从 0.8 秒增加到约 16 秒。当内存压力变得严重时，AI可能会被强制终止，导致之前的对话上下文也丢失。

研究人员关注的事实是，这个问题不仅源于AI模型本身的计算速度，还源于操作系统的内存管理。实际上，现有的内存压缩技术仅将 AI 对话历史记录减少了 0.2%–9.3%。

mzCache 将 AI 内存划分为小单元，允许系统仅回收其他应用程序所需的内存。当用户返回时，它会同时执行内存恢复和AI计算。当图形处理单元 (GPU) 使用现有数据执行计算时，中央处理单元 (CPU) 会恢复剩余数据。

利用人工智能模型从较早的层开始顺序执行计算的事实，研究人员设计了该系统，从较晚的层开始逐出内存，并从较早的层开始恢复内存。他们还结合了两种恢复路径——一种将压缩的对话历史记录保留在内存中，另一种使用存储——允许恢复适应已回收的内存量。

在 Galaxy S25+ 和 OnePlus 12 等商用智能手机上进行的实验表明，与将数据移至存储并随后恢复的传统方法相比，mzCache 将 AI 的首次响应时间缩短了 2.1 倍至 5.5 倍。当 AI 内存完全回收时，mzCache 的响应速度比默认的 Android 方法快 25.9 倍，同时还减少了恢复和计算所消耗的能源。

一项实验也证实了这些优势，在该实验中，用户在 10 个应用程序（包括社交媒体、视频、游戏和相机应用程序）之间交替使用大约 45 分钟。在传统的操作系统方式下，每次AI都会被强制终止。然而，使用 mzCache，人工智能在 10 次重复试验中保持活跃，并保留了之前对话的上下文。

mzCache 的实现大约有 6,000 行代码，可以作为 Android 应用程序运行，而无需修改操作系统的核心组件内核。它可用于减少与多个应用程序一起运行的人工智能助手的响应延迟，预计未来将扩展到使用统一内存的智能眼镜、笔记本电脑和工作站等设备。

对于TACToC研究，Lee教授表示：“这项研究提出了一种高效的机器对机器通信技术，可以选择性地仅传输各种人工智能任务所需的信息，为实现基于网络的物理人工智能奠定了技术基础。”

关于 mzCache 研究，他表示：“这项研究提出了一种高性能的方法来操作和管理 AI 模型，即使在内存有限的情况下，也能保持设备上 AI 的响应能力和对话上下文。”他补充道：“我们希望它能够发展成为在智能手机和智能眼镜等多种设备上提供稳定人工智能服务的基础，并为韩国成为物理人工智能领域的领导者做出重大贡献。”