近日，集成电路学院（信息与电子工程学院）媒体信息网络研究所林巍峣教授团队与合作者，在无人机自主导航领域取得重要突破。团队提出并实现了一种基于可微分物理的端到端视觉控制策略，首次将可微分仿真训练的策略成功部署至真实无人机系统中，实现了单机最高20m/s的避障以及多机集群的复杂任务。相关研究成果以“Learning vision-based agile flight via differentiable physics”（通过可微分物理学习基于视觉的敏捷飞行）为题发表于Nature Machine Intelligence。
研究背景
近年来，空中机器人被广泛应用于搜索救援、电力巡检和物资投递等复杂动态环境中，对飞行器的敏捷性和自主性提出了更高要求。传统方法通常采用基于地图的导航策略，将感知、规划与控制模块分离处理，虽取得一定成果，但其级联结构易导致误差累积和系统延迟，难以满足高速动态场景及多机协作的需求。而基于学习的方法，如强化学习和模仿学习，在单机飞行中表现出色，但在多机系统中面临训练成本高、专家策略设计困难等问题，限制了其在群体智能中的应用。因此，如何高效训练具备鲁棒性与扩展性的视觉驱动多机协同策略，仍是亟待解决的关键问题。
创新成果
针对这一问题，团队提出了一种端到端的方法，通过可微分仿真将深度学习与基于第一性原理的物理建模相结合使用简化的质点物理模型，通过在机器人仿真中反向传播损失梯度，直接优化神经网络控制策略。实验证明，在训练端，结合物理模型和数据驱动的训练方法只需现有强化学习框架的10%的样本即可实现相同的表现。在部署端，该方法在多智能体和单智能体任务中均表现出色。在多智能体场景中，系统展现出自组织行为，能够在无需通信或集中规划的情况下实现自主协同。在单智能体任务中，系统在未知复杂环境中的导航成功率高达90%，其鲁棒性显著优于现有最先进的解决方案。上述系统无需状态估计模块即可运行，并能够适应动态障碍物。在真实森林环境中，其导航速度最高可达20米/秒，是此前基于模仿学习方案的两倍。值得注意的是，所有这些功能都部署在一个价格仅为150元低成本计算机上，其成本不到现有配备GPU系统的5%。
在单机场景中，将网络模型部署在无人机上后在不同的真实环境中进行测试，包括树林、城市公园，以及含有静态和动态障碍的室内场景。该网络模型在未知复杂环境中的导航成功率高达90%，相比现有最优方法展现出更强的鲁棒性。
在真实树林环境中，无人机飞行速度高达20米/秒，是基于模仿学习的现有方案速度的两倍。所有测试环境均实现zero-shot零样本迁移。该系统无需GPS或者VIO提供定位信息即可运行，并能适应动态障碍物。
多机协同场景中，将网络模型部署到6架无人机上执行同向穿越复杂障碍和互换位置任务。该策略在同向穿越门洞、动态障碍物和复杂静态障碍物的场景中展示了极高的鲁棒性。在多机穿越门洞互换位置的实验中，展现出了无需通信或集中规划的自组织行为。
论文信息
本文第一作者为上海交通大学集成电路学院（信息与电子工程学院）硕士生张宇昂，共同第一作者为上海交大自动化与感知学院胡喻和苏黎世大学宋运龙，通讯作者为上海交大集成电路学院（信息与电子工程学院）林巍峣教授和上海交大自动化与感知学院邹丹平教授。该工作得到了国家自然科学基金等项目的支持。媒体信息网络研究所（MIN：https://min.sjtu.edu.cn/）致力于发展先进的多媒体信号处理、多媒体通信与网络、智能视觉与人工智能等技术，推动宽带化、数字化、智能化的电子信息系统跨越式发展，近年来在Nature Machine Intelligence、Science Advances、IEEE TPAMI等国际期刊上发表一系列高水平论文。论文链接：https://www.nature.com/articles/s42256-025-01048-0期刊信息《自然·机器智能》（Nature Machine Intelligence ）是Nature系列旗下人工智能领域的顶级子刊，旨在发表机器学习、机器人技术和人工智能等多个领域的高质量原创研究和综述文章。该期刊五年影响因子为31.8。
