近日，自动化学院（人工智能学院）王萍副教授联合北京理工大学、哈尔滨工业大学与空军工程大学的相关研究团队在固定时间安全最优避障控制领域取得重要进展，该进展有助于推动智能系统向更安全、更高效的方向发展。

研究团队提出了一种具有避障意识的非线性零和博弈的安全固定时间强化学习框架，首次建立了固定时间安全纳什均衡的充分判据，有效解决了干扰和多障碍物耦合条件下的最优避障控制问题，揭示了快速稳定、安全与最优之间的内在耦合关系。相关研究成果以长文形式发表于控制领域权威刊物  Automatica  (DOI：10.1016/j.automatica.2025.112673)，论文网址链接地址为：https://doi.org/10.1016/j.automatica.2025.112673，论文题目为《Safe  fixed-time  reinforcement  learning  for  nonlinear  zero-sum  games  with  obstacle  avoidance  awareness》，本研究得到了国家自然科学基金的资助。

提出“固定时间安全最优零和博弈控制方案”，解决了安全学习策略收敛慢的难题

针对非线性系统在外部扰动及多障碍环境下的固定时间安全最优避障问题，研究首先构建了零和微分博弈模型以抑制扰动影响。其次，研究进一步构建了分段连续屏障函数，全面刻画障碍物的检测、缓冲与避障区域，该屏障函数仅在检测区域被激活。特别地，通过参数μ1的灵活调节，实现了从“快速敏感响应”到“平滑渐近控制”的权衡，有效平衡了区域最优性与局部避障。随后，将屏障函数融入代价函数，并通过引入阻尼常数来实现安全与最优性的平衡，由此将受扰避障转化为无约束零和博弈。研究首次通过证明安全集前向不变性与闭环系统固定时间稳定性，揭示了满足固定时间收敛微分不等式的李雅普诺夫函数亦是保证最优性的稳态哈密顿-雅可比-艾萨克斯（HJI）方程的解。进一步，团队开发了仅基于评论家网络的固定时间强化学习策略，实现了对安全纳什策略的快速学习，克服了传统方法在无限时域最优控制中求解HJI方程难及实时性不足的局限，为复杂多障碍物环境下的安全避障与动态优化提供了新途径。

图1 分段连续屏障函数的多区域激活特性及参数 μ1 对奖励密度的调节

典型仿真场景验证控制框架有效性，研究成果应用未来可期

为验证所提算法的实际性能，研究团队分别选取简化的无人机系统以及一般的数值系统开展研究。仿真结果表明，所提控制框架不仅能确保系统状态在安全集内运行，还能在固定时间内实现最优避障控制，确保安全性与最优性的有效平衡。此外，分段连续屏障函数的引入确保了得到的避障轨迹更加及时与柔顺，有效避免了过早进行避障的行为，这种结合微分博弈、屏障函数与安全强化学习的研究方法，为复杂连续时间非线性系统的安全控制提供了有效的理论工具。

图2 无人机的固定时间避障轨迹图：(a)第一视角  （b）第二视角

图3 近似安全纳什策略的轨迹图

图4 critic学习更新律的轨迹图

图5 与Kokolakis和Vamvoudakis  (2022,  ACC)中提出的屏障函数在整个操作过程中持续激活的算法相比较的避障轨迹图

图6 与Wang等人(2023,IEEE TASE)提出的基于actor-critic结构的渐近学习算法相比较的避障轨迹图：(a)第一视角 （b）第二视角

表1 相比较算法下的收敛时间与状态数值

《Automatica》创刊于1963年，自1969年起由国际自动控制联合会（IFAC）全面主办、Elsevier  出版，是系统与控制领域的国际顶刊，专注于控制理论、智能自动化、机器人、优化与系统辨识等方向。与《IEEE  Transactions  on  Automatic  Control》（IEEE  TAC）并称为国际控制与自动化领域两大顶级期刊，是自动化科学与工程领域最具影响力的学术阵地之一。（供稿/图片：自动化学院  编辑/审核：郭辉）