盖世汽车讯 自动驾驶汽车、送货无人机和城市机器人都面临着同样的残酷数学现实：道路上行驶的车辆越多，现有的碰撞检测工具的性能就越差。在密集的多智能体环境中，传统的碰撞检测依赖于穷举式的成对检查，这意味着每个智能体都必须在每个时间步与其他所有智能体进行比较，这种计算量呈O(N²)增长，并迅速超出实时安全预算。

据外媒报道，印度国家理工学院赖布尔分校（National Institute of Technology Raipur）的研究人员现在推出了一种框架，该框架突破了这种二次方级的计算瓶颈，同时还能保护车辆数据的隐私，他们的研究成果在自动驾驶系统领域引起了广泛关注。

这项名为MAQDRL（Multi-Agent Federated Deep Q-Learning with QuadTree spatial partitioning，即多智能体联邦深度Q学习与四叉树空间划分）的新框架，已在期刊《认知计算》（Cognitive Computation）上以开放获取论文的形式发表。该团队由Aditya Kumar Raj、Anurag Sharma和K. Jairam Naik领导，旨在解决长期困扰复杂城市环境中自动驾驶车辆路径规划的两大瓶颈：一是将原始传感器数据流传输到集中式服务器的延迟和隐私问题；二是随着车队规模的扩大，碰撞检测的计算量呈爆炸式增长。他们的解决方案融合了三种此前鲜少结合的理念：轻量级局部强化学习、模型参数的联邦平均以及借鉴自计算几何的数据结构。

MAQDRL的核心在于一种看似简单的分工。每个智能体，无论是模拟车辆还是未来的配送机器人，都仅使用局部观测数据训练其自身的紧凑型深度Q网络：其网格位置、已用时间步长、到目标的欧氏距离以及在定义的碰撞边界内与附近智能体的平均距离。智能体不会发送任何原始轨迹、传感器数据流或回放缓冲区样本。相反，每五个回合后，每个智能体仅将其神经网络参数（仅2,629个可训练权重，约10.27 KB的32位浮点数据）发送到移动边缘计算聚合器，在那里，这些参数通过联邦平均融合为一个共享的全局策略，然后重新分发给整个车队。在十个智能体场景中，一次完整的同步过程仅需0.20兆字节的通信量，而十轮训练总共消耗约2兆字节——作者认为这个数字足够适中，可以轻松适应路边移动边缘计算单元的限制。

第二个支柱是四叉树，这是一种经典的空间索引结构，当一个单元格中的智能体数量超过预设容量时，它会递归地将二维区域细分为四个象限。在MAQDRL的模拟世界中——一个100 × 100的网格，其中填充了十个智能体，每个智能体的起始位置随机分配，目标各不相同——四叉树会在每个时间步重建，以反映智能体的最新位置。一种惰性合并策略会将智能体总数低于容量阈值一半的兄弟节点合并，从而防止结构在稀疏区域分裂成过多的碎片。

这样做的好处显而易见：查询哪些智能体位于给定碰撞边界内的时间复杂度从二次方降低到对数级O(log N)，使得每个智能体只需检查其空间相关的邻域，而不是整个群体。该团队的复杂性分析表明，每个时间步的总成本为O(N(d + log N))，其中d是局部策略网络的大小——这与MADDPG、MAPPO和MARC等基线方法所面临的O(N²)依赖性相去甚远，这些方法依赖于集中式批评家、联合行动空间或全局回放缓冲区。

该训练方案基于一种紧凑的神经网络架构，研究人员称之为SAF-QNet。一个五维状态向量（包含x和y坐标、目标距离、时间步长和局部邻近度）输入到一个由64个ReLU神经元组成的全连接隐藏层，之后是一个由32个神经元组成的隐藏层和一个五输出头，该头为离散动作集（上、下、左、右或保持）生成Q值。精心的预处理确保了稳定性：状态特征经过最小-最大值归一化到[0, 1]范围内，以避免单个变量主导梯度计算；动作采用独热编码，防止网络将“上”误认为数值上与“下”相邻；奖励通过减去均值并除以奖励向量的标准差进行标准化。此外，还对状态轨迹应用了方差为0.01的高斯噪声增强，以增强策略的抗扰性。奖励函数融合了达到目标的积极信号、碰撞的惩罚以及随着与目标距离的增加而衰减的接近项，从而引导智能体选择短而节能的路径。