盖世汽车讯 无人驾驶飞行器（UAV，Unmanned Aerial Vehicles），通常称为无人机（drones），如今已广泛应用于多个领域，从影视制作、航拍到工业巡检、精准农业，以及在紧急救援任务中进入受阻区域。尽管许多现有无人机能够在环境中快速移动并规避大型障碍物，但大多数在复杂拥挤环境（cluttered environments）中仍然表现受限。此外，它们通常难以执行一些高难度机动动作，无法安全穿越狭小缝隙或抵达封闭、隐蔽区域。

据外媒报道，近日，浙江大学的研究团队开发出一套新的控制策略，可显著提升无人机精准执行复杂机动动作以及穿越极窄开口的能力。这些控制策略基于一种名为强化学习（Reinforcement Learning, RL）的机器学习方法训练而成，可将机载传感器采集的信息直接转换为电机控制指令。相关论文已发表于期刊《科学·机器人》（Science Robotics）。

在论文中，论文共同第一作者为浙江大学控制科学与工程学院巫天越、浙江大学湖州研究院徐广通等人写道：“其中一个最具挑战性的问题是，四旋翼无人机如何在三维特殊欧几里得群（SE(3)）的约束条件下，以高速或激进的方式穿过狭窄缝隙。这要求四旋翼无人机必须利用瞬时倾斜姿态（tilted attitude）以及机体结构的非对称性，才能完成缝隙穿越。我们通过开发一种感觉—运动策略（sensorimotor policies），实现了这一能力。这种策略能够将机载视觉信息和本体感知（proprioception）直接映射到低层控制指令。”

图片来源：浙江大学控制科学与工程学院

基于强化学习训练的新控制策略

巫天越、徐广通及其团队成员研发的“感觉—运动策略”采用强化学习（RL）进行训练。强化学习是一种基于试错（trial-and-error）的学习方式，当智能体做出准确预测或成功完成任务时会获得奖励。这些策略能够将机载摄像头捕获的图像，以及无人机内部采集的状态信息（如姿态、角速度和加速度），直接转换为电机控制命令。

研究团队写道：“这些策略通过强化学习结合端到端策略蒸馏（end-to-end policy distillation）在仿真环境中完成训练。针对无模型强化学习（model-free RL）在受限解空间中的探索难题，我们采用了一种初始化策略，利用基于模型规划器（model-based planner）生成的轨迹来提升训练效率。”

研究人员随后在仿真和真实环境中对这些新策略进行了测试。结果显示，这些策略成功使无人机穿越了矩形开口以及不同角度倾斜的异形缝隙。更值得注意的是，无人机还能够穿越动态移动的开口，以及由多个连续、紧密排列开口组成的复杂轨迹。

巫天越、徐广通及其团队成员表示：“精细设计的仿真到现实（sim-to-real）迁移方案，使该策略能够高重复性地控制四旋翼无人机穿越低间隙（low-clearance）的狭窄缝隙。例如，该方法使四旋翼能够在仅5厘米（约合2英寸）的安全余量下，穿越一个倾斜角度最高达90°的矩形开口，而无需预先知道开口的位置或朝向。即便未针对动态缝隙进行专门训练，该策略仍能实时反应并调整飞行路径，成功穿越移动中的开口。”

研究团队还在多组高难度测试赛道中验证了该方法，这些赛道由多个狭窄且彼此间距极小的缝隙构成。

面向现实应用的潜力

巫天越、徐广通及其团队成员的这项研究，可能会启发更多计算机科学家开发类似的“感觉—运动策略”，使无人机能够在复杂、动态且拥挤的环境中安全导航。与此同时，该团队提出的新控制方法也有望进一步优化，并拓展至当前无人机难以应对的更多场景。

未来，这些策略有可能部署到商用无人机平台上，大幅提升其机动性（agility）和执行复杂任务的能力。例如，它们可以帮助无人机在自然灾害后穿越废墟缝隙寻找幸存者；在工业场景中进入隐蔽区域或管道进行巡检；也可以探索矿井坍塌区、隧道以及通风井等其他受限空间。