CN111176309A - 一种基于球面成像的多无人机自组群互感理解方法 - Google Patents

Abstract

本发明涉及无人机组群图像处理技术领域，尤其是涉及一种基于球面成像的多无人机自组群互感理解方法。该方法在无人机群失去通信联络的条件下，每架无人机仍然保留先前的分组信息、任务信息以及组内各无人机初始位姿；每架无人机利用球面复眼成像信息，从众多的相似目标中，将本组内的领航机和跟随机检测出来，并对组内各友机目标进行持续跟踪，同时得到各友机的位置和姿态估计结果。本发明能极大提高多无人机组群***在军事领域复杂电磁对抗环境中的防干扰、防拒止的能力，成为无线射频组网通信方式的有效补充，是应对强电磁对抗的有效组群方式。

Description

一种基于球面成像的多无人机自组群互感理解方法

技术领域

本发明涉及无人机组群图像处理技术领域，尤其是涉及一种基于球面成像的多无人机自组群互感理解方法。

背景技术

随着反无人机集群技术的发展，战场复杂强电磁对抗环境会对依赖无线射频通信的无人机集群造成极大威胁，甚至致命影响。因此，研究在失去无射频通信联络后的新型多无人机组群机制，成为亟需研究的课题，以使无人机群在组网通信信息被干扰切断后，仍能实施组群任务。

为应对无人机集群作战中的强电磁干扰环境，目前主要有三种技术途径：

(1)提高无线射频通信***的抗干扰能力，但在极强的电磁屏蔽环境下，仅依靠无线通信***的抗干扰能力显得力不从心；

(2)提高组群算法的鲁棒性，考虑无线射频通信出现时间延迟或异常情况，采用时变拓扑条件下的鲁棒协同控制方法，但仍无法解决通信被完全切断后的协同问题；

(3)采用无线射频通信以外的组群方式，一些方法探索了采用化学物质探测、自由空间光通信等新方式获取组群信息，但化学物质探测和自由空间光通信的应用场景极为有限。

公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于球面成像的多无人机自组群互感理解方法，以解决现有技术中存在的技术问题。

为了实现上述目的，本发明采用以下技术方案：

本发明提供一种基于球面成像的多无人机自组群互感理解方法，其包括：在无人机群失去通信联络的条件下，每架无人机仍然保留先前的分组信息、任务信息以及组内各无人机初始位姿；每架无人机利用球面复眼成像信息，从众多的相似目标中，将本组内的领航机和跟随机检测出来，并对组内各友机目标进行持续跟踪，同时得到各友机的位置和姿态估计结果。

作为一种进一步的技术方案，所述每架无人机利用球面复眼成像信息，从众多的相似目标中，将本组内的领航机和跟随机检测出来，并对组内各友机目标进行持续跟踪，同时得到各友机的位置和姿态估计结果包括采用如下方法：

S1、球面复眼成像友机目标检测、跟踪与位姿估计；

S2、面向群体行为互感自洽的深度学习理解与预测。

作为一种进一步的技术方案，所述球面复眼成像友机目标检测、跟踪与位姿估计包括如下方法：

通过研究一种面向搭载球面复眼相机无人机组群任务的球面卷积神经网络以促使多种球面投影计算机视觉任务的完成，以球面成像的卷积神经元转换网络为依托，与若干透视投影成像领域的优势网络结合，形成相应的球面成像图像增强、目标检测、目标跟踪、位姿估计卷积神经网络；

其中，球面成像的卷积神经元转换网络用于将普通透视投影成像的卷积神经元转换为球面投影成像的卷积神经元，在计算卷积计算时，通过卷积神经元的替换，实现卷积神经元转换：

式中，K为卷积神经元，I为特征图；

其中，球面成像图像增强拟与深度图像先验方法结合，从噪声球面图像开始，训练一个生成网络，目标是拟合一个低质量的球面图像，将该生成网络中间结果输出，即可得到增强后的球面图像；球面成像目标检测拟与YOLOV3结合，目的是在球面成像中实时检测多架无人机，初始时能结合组内无人机初始位姿进行检测位置估计；球面成像目标跟踪与Real-time MDNet结合，目的是在球面成像中实时持续跟踪多架无人机；球面成像位姿估计与Convolutional Pose Machine结合，同时联合复眼定位和无人机动力学方程，精确估计球面成像中各无人机的位姿。

作为一种进一步的技术方案，在位姿估计时，采用无人机动力学方程将为位姿估计提供约束条件和数据支撑，假设不考虑地球曲率和自转以及无人机的弹性变形和质量变化，根据飞行力学中欧美体制规范，在机体坐标系下建立无人机飞行动力学方程如下：

无人机运动学方程组为：

式中，[u，v，w]^T为无人机速度分量；

为机体姿态角；[p，q，r]^T为角速度；[x_g，y_g，h]^T为飞机在地面坐标系下的坐标；[F_x，F_y，F_z]^T为气动合力分量；[M_x，M_y，M_z]^T为气动合力矩分量；m为无人机质量；g为重力加速度。

作为一种进一步的技术方案，所述球面复眼成像友机目标检测、跟踪与位姿估计还包括球面成像的训练数据集构建方法：

采用真实数据与虚拟数据结合的混合形式，并研究半监督训练方法，以支持真实数据与虚拟数据的混合训练，包括采用三种数据训练球面卷积神经网络：

第一种，在训练球面卷积神经网络时，获取真实全景背景视频与真实无人机群采集的数据以训练球面卷积神经网络，其中，第一种数据的数量在三种数据中最少；

第二种，在训练球面卷积神经网络时，获取真实全景背景视频与虚拟无人机群构成的混合现实视频所提供的数据，第二种数据的数量在三种数据中较多，以自动获得无人机位置、速度、姿态的标签；

第三种，在训练球面卷积神经网络时，虚拟全景背景视频与虚拟无人机群构成的纯虚拟带标签的数据，第三种数据的数量在三种数据中最多，作为训练球面卷积神经网络的重要补充；

通过上述三种数据训练出来的球面卷积神经网络将采用多项认证与联合优化的方式进行训练。

作为一种进一步的技术方案，所述球面复眼成像友机目标检测、跟踪与位姿估计还包括球面成像深度神经网络压缩方法：

根据无人机组群飞行任务的需要，结合基于深度分割的紧致球面卷积核设计与知识迁移的球面卷积神经网络压缩方法，包括：通过教师网络和学生网络联合优化，在网络中间设置局部损失，在全连接层设置全局损失与和真实标记差异的标记损失，最后输出较小的学生网络。

作为一种进一步的技术方案，所述面向群体行为互感自洽的深度学习理解与预测包括如下方法：

首先，建立面向无人机群体行为自洽的领航机和跟随机行为语言与位姿调控响应规则，包括：小组内领航机与跟随机具有的行为状态集合为A＝{a₁，a₂，a₃，a₄}，其中a₁为搜索行为、a₂为攻击行为、a₃为任务变更行为、a₄为领航跟随响应行为：

其一、当领航机处于a₁状态时，跟随机识别或确认领航机的行为状态a₁，并将姿态调整为平飞状态进入或保持行为状态a₁，使领航机处于视场特定范围内；

其二、当领航机处于a₂状态时，跟随机识别或确认领航机的行为状态a₂，通过不断调整姿态保持领航机在视场的特定范围内，以保证跟随机与领航机处于相似俯冲姿态接近目标；

其三、当领航机处于a₃状态时，将改变位姿由平飞状态进入俯冲状态，此阶段持续时间较短，此时跟随机视场内的领航机迅速下移并有概率从视场中消失，则跟随机立即判定领航机是否处于a₃状态，确认则跟随机迅速切换为a₂状态，并重新调整位姿使领航机保持在视场特定范围内；

其四、当小组内出现新的领航机时，新的领航机将进入a₄状态，并表现出特定行为告知跟随机，此时跟随机确认并进入a₄状态，将跟随对象切换为新的领航机完成响应；

同时，将群体目标检测、目标跟踪与位姿估计归为中低密度群体特征，将群体整体特征归为中高密度群体特征，利用球面卷积神经网络提取目标空间域特征与目标轨迹和位姿特征，并且与球面卷积神经网络直接提取的群体整体特征联合训练，用于分析出无人机群的“搜索行为”、“攻击行为”、“任务变更行为”和“领航跟随响应行为”；并利用隐马尔科夫模型(λ＝(A，B，π)，其中，A表示状态转移概率分布，B表示观测概率分布，π表示初始概率分布)，对群体行为进行关联性分析，通过计算机仿真获得位姿数据与时空域特征数据，利用多无人机群体目标位姿估计结果，对无人机群体进行时空特征的挖掘，既得到了群体的空间信息，又得到了群体的运动信息，在上述四种无人机行为的基础上，获取无人机群体时空域数据驱动下的领航机/跟随机行为转移规律，以此进行行为预测。

采用上述技术方案，本发明具有如下有益效果：

本发明提供的基于球面成像的多无人机自组群互感理解方法，从球面复眼成像视觉中提取有用的组群信息，为无人机集群在强电磁干扰下的作战提供了新的研究思路。在失去通信联络条件下，借助生物球面复眼能对大范围空间进行成像的原理，并依靠基于人工智能理论的组群信息视觉理解、分析与预测，完成大规模多无人机组群任务。本发明能极大提高多无人机组群***在军事领域复杂电磁对抗环境中的防干扰、防拒止的能力，成为无线射频组网通信方式的有效补充，是应对强电磁对抗的有效组群方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的技术方案关系图；

图2为本发明实施例提供的采取的总体技术路线；

图3本发明实施例提供的球面成像的卷积神经元转换网络(NTN)方案；

图4本发明实施例提供的球面成像增强检测跟踪估计方案；

图5本发明实施例提供的球面成像的训练数据集构建方案；

图6本发明实施例提供的球面成像深度神经网络压缩方案；

图7本发明实施例提供的球面成像行为互感理解深度神经网络方案。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明涉及的组群任务主要有“目标搜索”与“饱和攻击”两种任务，概念描述如下：

(1)在失去通信联络前，仍采用无线射频组网通信模式，无人机群采用层次型拓扑结构，在面向目标搜索与饱和攻击任务的协同控制算法支配下，无人机群分为了由若干无人机组成的任务小组，每个任务小组内分为领航机和跟随机，领航机通过最优化算法向各跟随机发布任务信息和航迹信息，跟随机执行领航机指令，每个小组在同一时刻仅共同完成一项任务——目标搜索或者饱和攻击，执行目标搜索的小组在发现目标后，转为饱和攻击任务，或通过无线通信通知其他更适合完成对该目标实施饱和攻击任务的小组，由其他小组去执行。

(2)在突发的电磁干扰发生后，无人机间通信联络中断，此时每架无人机仍然保留先前的分组信息、任务信息以及组内各无人机初始位姿，此后便是本发明的主要内容，首先利用球面复眼成像信息，从众多的相似目标中，将本组内的领航机和跟随机检测出来，并对组内各友机目标进行持续跟踪，同时得到各友机的位置和姿态估计结果。在失去通信联络后，组与组之间通信中断，每架无人机只关注本组内的友机。

具体地，本实施例提供了一种基于球面复眼成像的组群互感理解方法，结合群体行为理解和多重约束条件，解决失去通信联络的无人机组群问题。

(1)球面复眼成像友机目标检测跟踪与位姿估计；无人机组群飞行过程中需要实时检测的目标包括两类，一类是侦察或攻击的地面目标，一类是己方友机，本发明重点在于己方友机的检测、跟踪与位姿估计。本发明与已有研究主要不同之处可以归结为以下三点：成像模式从传统小视场角(FOV)相机到大视场角球面相机的转变、从单相机检测到复眼多相机联合检测的转变、从单目标检测到多目标实时检测的转变，而普通的卷积神经网络并不能对球面图像进行有效的分析，因此需要形成能有效处理球面复眼成像的深度神经网络结构。同时，如果在无人机的球面复眼视频中逐帧检测目标，会造成计算能力的重复浪费，并且难以达到实时检测的效果，因此需要在目标检测的基础上，研究多无人机目标跟踪。本发明将多无人机目标跟踪中存在的主要困难问题归结为以下三点：多机遮挡问题、己方友机外观相似问题、队形变化带来的可视无人机子群变化问题，并且需要实时计算出本机与其他无人机之间的位置关系，其关键点在于球面卷积神经网络条件下，端到端的多目标实时检测方法，以及端到端的多相似目标实时跟踪与位姿估计方法。

(2)面向群体行为互感自洽的深度学习理解与预测；在获取了组内友机位姿信息之后，需要理解与预测友机的行为，通过互相感知，补充无法获取的无线射频通信信息，以支持本机行为的自洽优化控制。本发明将无人机群任务分为“目标搜索”和“饱和攻击”两种任务，其中涉及的主要行为有“搜索行为”、“攻击行为”、“任务变更行为”、“领航跟随响应行为”，在失去通信联络后，无人机之间需要相互感知理解，并限定这四种行为仅在同一组的内部进行理解与预测，这四类行为均可由特殊的无人机位姿以及小组的群体时空特征进行判定，使每架无人机都能够在球面复眼成像信息处理的基础上，理解组内其他无人机的行为，从而为后序预测与控制提供依据，继续完成切断通信联络前的本组任务。

本实施例的核心是研究一种面向搭载球面复眼相机无人机组群任务的球面卷积神经网络，以支持球面图像增强、目标检测、目标跟踪、位姿估计等多种球面投影计算机视觉任务，该球面卷积神经网络要满足如下两个条件：

1)小体积与高效率，无人机上的计算资源有限，无人机飞行过程中的智能分析与计算需要在实时的条件下完成，因此必须要能实时运行小体积高效率的卷积神经网络，并达到较高的准确精度。

2)能够充分利用现有普通透视投影视频图像的卷积神经网络，由于无人机组群飞行的真实球面投影视频图像数据的获取成本较高，其用于训练的数据集难以达到普通视频图像数据集的规模，因此如果能充分利用现有大量已经训练完成的普通透视投影视频图像卷积神经网络，将极大地促进球面投影计算机视觉任务的完成，从而更好地支持搭载球面复眼相机无人机组群任务的完成。

基于上述分析，本发明提出研究球面成像的卷积神经元转换网络，发明的总体技术路线如图2所示，包含了核心网络基础技术层、增强检测跟踪估计层。

1)核心网络基础技术层，主要包含了本发明重点研究的球面成像卷积神经元转换网络，该网络将普通透视投影成像的卷积神经元转换为球面投影成像的卷积神经元，复杂度只与卷积神经元有关，而与图像大小无关，将有效减小球面卷积神经网络体积，提高计算效率；并且该卷积神经元转换网络将有效利用众多普通透视投影成像已经训练好的卷积神经网络，将为其准确率提供了有效保障。该层为本发明的核心技术，将为另外一层技术的研究提供有力支撑。

2)增强检测跟踪估计层，该层依托球面成像的卷积神经元转换网络，与众多透视投影成像领域的优势网络结合，形成相应的球面成像图像增强、目标检测、目标跟踪、位姿估计卷积神经网络。

(1)球面成像的卷积神经元转换网络与成像增强检测跟踪与位姿估计

卷积神经网络(Convolutional Neural Networks,CNNs)目前已经成为处理二维图像最为流行的方法之一，在物体分类、检测与识别方面相较于传统方法产生了突破性的进展。但由于球面图像在投影到二维平面时会产生几何关系的失真，所以普通的卷积神经网络并不能对球面图像进行有效的分析。

本发明针对上述问题，研究球面成像的卷积神经元转换网络(Neural TransformNetwork,NTN)，不重新训练原始CNNs，而是学习若干转换网络(函数)，将原始CNNs的卷积神经元转换为球面成像的卷积神经元，然后直接将已在大型标注普通图像数据集上训练好的CNNs应用于球面成像上，并以此为基础和核心，探索基于球面成像深度神经网络的无人机目标检测、跟踪、位姿估计和群体行为理解方法，如图3所示，即在进行卷积计算时，通过卷积神经元的替换，实现卷积神经元转换：

式中，K为卷积神经元，I为特征图。

本发明依托所研究的球面成像卷积神经元转换网络，与众多透视投影成像领域的优势网络结合，形成相应的球面成像图像增强、目标检测、目标跟踪、位姿估计卷积神经网络，如图4所示。具体而言，球面成像图像增强拟与深度图像先验方法结合，从噪声球面图像开始，训练一个生成网络，目标是拟合一个低质量的球面图像，将该生成网络中间结果输出，即可得到增强后的球面图像；球面成像目标检测拟与YOLOV3结合，目的是在球面成像中实时检测多架无人机，初始时可以结合组内无人机初始位姿进行检测位置估计，以实现高精度检测；球面成像目标跟踪与Real-time MDNet结合，目的是在球面成像中实时持续跟踪多架无人机；球面成像位姿估计与Convolutional Pose Machine结合，同时联合复眼定位和无人机动力学方程，精确估计球面成像中各无人机的位姿。

假设不考虑地球曲率和自转以及无人机的弹性变形和质量变化，根据飞行力学中欧美体制规范，在机体坐标系下建立无人机飞行动力学方程：

无人机运动学方程组为：

式中，[u，v，w]^T为无人机速度分量；

为机体姿态角；[p，q，r]^T为角速度；[g_x，y_g，h]^T为飞机在地面坐标系下的坐标；[F_x，F_y，F_z]^T为气动合力分量；[M_x，M_y，M_z]^T为气动合力矩分量；m为无人机质量；g为重力加速度。无人机动力学方程将为位姿估计提供更为精确的约束条件和数据支撑，极大提高成像位姿估计精度，同目前的人体姿态估计算法相比，有着更为精确的保障手段。

由于无人机组群飞行数据采集与标注成本较高，采用真实数据与虚拟数据结合的混合形式，并研究半监督训练方法，以支持真实数据与虚拟数据的混合训练，如图5所示，真实全景背景视频与真实无人机群采集难度大成本高，所以只能获取很少一部分数据，以真实全景背景视频与虚拟无人机群构成的混合现实视频可以提供较多数据，并且可以自动获得无人机位置、速度、姿态等标签，可以生成以虚拟全景背景视频与虚拟无人机群构成的纯虚拟带标签大量数据，从而作为训练球面卷积神经网络的重要补充。三种数据训练出来的球面卷积神经网络将采用多项认证与联合优化的方式进行训练，尽可能的提高训练准确度。

同时，为了进一步减小无人机上深度神经网络的体积，提高计算效率，支持实时计算，需要研究球面成像深度神经网络压缩算法。目前，深度卷积神经网络的压缩还集中于图像分类问题上，本发明将研究与无人机组群飞行任务结合的球面卷积神经网络压缩方法，由于球面成像卷积神经网络与传统透视成像卷积神经网络主要差异在卷积层上，因此本发明根据无人机组群飞行任务的需要，重点研究结合基于深度分割的紧致球面卷积核设计与知识迁移的球面卷积神经网络压缩方法，如图6所示，通过教师网络和学生网络联合优化，在网络中间设置局部损失，在全连接层设置全局损失与和真实标记差异的标记损失，最后输出较小的学生网络。

(2)基于位姿调控响应关系的球面成像行为互感理解与预测

无人机群体的主要任务归结为两类：

1)组队目标搜索：是指某组无人机按搜索效率最大化原则，对某任务区域的目标进行搜索；

2)组队饱和攻击：是指某组无人机对一个目标进行协同攻击，实现毁伤效能的最大化。

由这两类任务，衍生出的具体行为主要有以下四类，这四类行为均可由特殊的无人机位姿以及小组的群体时空特征进行判定。

1)搜索行为：某组中的无人机均在平飞执行搜索任务；

2)攻击行为：某组中的无人机均在向下俯冲执行攻击任务；

3)任务变更行为：某组执行搜索任务的无人机小组，在领航机发现目标后，带领小组由目标搜索任务变更为饱和攻击任务，领航机和跟随机有相应的动作响应。

4)领航跟随响应行为：在形成新的领航机后，领航机和跟随机有相应的动作响应，以表明建立小组联系。

本发明首先建立面向无人机群体行为自洽的领航机和跟随机行为语言与位姿调控响应规则，如下所述：

小组内领航机与跟随机具有的行为状态集合为A＝{a₁，a₂，a₃，a₄}，其中a₁为搜索行为、a₂为攻击行为、a₃为任务变更行为、a₄为领航跟随响应行为。

①当领航机处于a₁状态时，跟随机识别或确认领航机的行为状态a₁，并将姿态调整为平飞状态进入或保持行为状态a₁，使领航机处于视场特定范围内；

②当领航机处于a₂状态时，跟随机识别或确认领航机的行为状态a₂，通过不断调整姿态保持领航机在视场的特定范围内，以保证跟随机与领航机处于相似俯冲姿态接近目标；

③当领航机处于a₃状态时，将改变位姿由平飞状态进入俯冲状态，此阶段持续时间较短，此时跟随机视场内的领航机迅速下移并有概率从视场中消失，则跟随机立即判定领航机是否处于a₃状态，确认则跟随机迅速切换为a₂状态，并重新调整位姿使领航机保持在视场特定范围内；

④当小组内出现新的领航机时，新的领航机将进入a₄状态，并表现出特定行为告知跟随机，此时跟随机确认并进入a₄状态，将跟随对象切换为新的领航机完成响应。

对四类行为涉及的特殊动作进行设计，形成行为语言。同时，本发明将群体目标检测、目标跟踪与位姿估计归为中低密度群体特征，将群体整体特征归为中高密度群体特征，利用球面卷积神经网络提取目标空间域特征与目标轨迹和位姿特征，并且与球面卷积神经网络直接提取的群体整体特征联合训练，用于分析出无人机群的“搜索行为”、“攻击行为”、“任务变更行为”和“领航跟随响应行为”，如图7所示。并利用隐马尔科夫模型(λ＝(A，B，π)，其中，A表示状态转移概率分布，B表示观测概率分布，π表示初始概率分布)，对群体行为进行关联性分析，通过计算机仿真获得位姿数据与时空域特征数据，利用多无人机群体目标位姿估计结果，对无人机群体进行时空特征的挖掘，既得到了群体的空间信息，又得到了群体的运动信息，在上述四种无人机行为的基础上，获取无人机群体时空域数据驱动下的领航机/跟随机行为转移规律，以此进行行为预测。

综上，本发明可解决基于球面复眼成像的多机动目标检测与多相似目标持续跟踪问题，基于无人机目标位姿信息的行为语言互感理解与预测问题；运用球面复眼成像友机目标检测跟踪与位姿估计，面向群体行为互感自洽的深度学习理解与预测；实施方式通过建立无人机群成像数据集，通过友机位姿估计和行为预测，获得球面成像神经网络压缩方法，提高深度神经网络算法实时性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于球面成像的多无人机自组群互感理解方法，其特征在于，包括：在无人机群失去通信联络的条件下，每架无人机仍然保留先前的分组信息、任务信息以及组内各无人机初始位姿；每架无人机利用球面复眼成像信息，从众多的相似目标中，将本组内的领航机和跟随机检测出来，并对组内各友机目标进行持续跟踪，同时得到各友机的位置和姿态估计结果。

2.根据权利要求1所述的基于球面成像的多无人机自组群互感理解方法，其特征在于，所述每架无人机利用球面复眼成像信息，从众多的相似目标中，将本组内的领航机和跟随机检测出来，并对组内各友机目标进行持续跟踪，同时得到各友机的位置和姿态估计结果包括采用如下方法：

S1、球面复眼成像友机目标检测、跟踪与位姿估计；

S2、面向群体行为互感自洽的深度学习理解与预测。

3.根据权利要求1所述的基于球面成像的多无人机自组群互感理解方法，其特征在于，所述球面复眼成像友机目标检测、跟踪与位姿估计包括如下方法：

通过研究一种面向搭载球面复眼相机无人机组群任务的球面卷积神经网络以促使多种球面投影计算机视觉任务的完成，以球面成像的卷积神经元转换网络为依托，与若干透视投影成像领域的优势网络结合，形成相应的球面成像图像增强、目标检测、目标跟踪、位姿估计卷积神经网络；

其中，球面成像的卷积神经元转换网络用于将普通透视投影成像的卷积神经元转换为球面投影成像的卷积神经元，在计算卷积计算时，通过卷积神经元的替换，实现卷积神经元转换：

式中，K为卷积神经元，I为特征图；

其中，球面成像图像增强拟与深度图像先验方法结合，从噪声球面图像开始，训练一个生成网络，目标是拟合一个低质量的球面图像，将该生成网络中间结果输出，即可得到增强后的球面图像；球面成像目标检测拟与YOLOV3结合，目的是在球面成像中实时检测多架无人机，初始时能结合组内无人机初始位姿进行检测位置估计；球面成像目标跟踪与Real-time MDNet结合，目的是在球面成像中实时持续跟踪多架无人机；球面成像位姿估计与Convolutional Pose Machine结合，同时联合复眼定位和无人机动力学方程，精确估计球面成像中各无人机的位姿。

4.根据权利要求3所述的基于球面成像的多无人机自组群互感理解方法，其特征在于，在位姿估计时，采用无人机动力学方程将为位姿估计提供约束条件和数据支撑，假设不考虑地球曲率和自转以及无人机的弹性变形和质量变化，根据飞行力学中欧美体制规范，在机体坐标系下建立无人机飞行动力学方程如下：

无人机运动学方程组为：

式中，[u，v，w]^T为无人机速度分量；

为机体姿态角；[p，q，r]^T为角速度；[x_g，y_g，h]^T为飞机在地面坐标系下的坐标；[F_x，F_y，F_z]^T为气动合力分量；[M_x，M_y，M_z]^T为气动合力矩分量；m为无人机质量；g为重力加速度。

5.根据权利要求3所述的基于球面成像的多无人机自组群互感理解方法，其特征在于，所述球面复眼成像友机目标检测、跟踪与位姿估计还包括球面成像的训练数据集构建方法：

采用真实数据与虚拟数据结合的混合形式，并研究半监督训练方法，以支持真实数据与虚拟数据的混合训练，包括采用三种数据训练球面卷积神经网络：

第一种，在训练球面卷积神经网络时，获取真实全景背景视频与真实无人机群采集的数据以训练球面卷积神经网络，其中，第一种数据的数量在三种数据中最少；

第二种，在训练球面卷积神经网络时，获取真实全景背景视频与虚拟无人机群构成的混合现实视频所提供的数据，第二种数据的数量在三种数据中较多，以自动获得无人机位置、速度、姿态的标签；

第三种，在训练球面卷积神经网络时，虚拟全景背景视频与虚拟无人机群构成的纯虚拟带标签的数据，第三种数据的数量在三种数据中最多，作为训练球面卷积神经网络的重要补充；

通过上述三种数据训练出来的球面卷积神经网络将采用多项认证与联合优化的方式进行训练。

6.根据权利要求3所述的基于球面成像的多无人机自组群互感理解方法，其特征在于，所述球面复眼成像友机目标检测、跟踪与位姿估计还包括球面成像深度神经网络压缩方法：

根据无人机组群飞行任务的需要，结合基于深度分割的紧致球面卷积核设计与知识迁移的球面卷积神经网络压缩方法，包括：通过教师网络和学生网络联合优化，在网络中间设置局部损失，在全连接层设置全局损失与和真实标记差异的标记损失，最后输出较小的学生网络。

7.根据权利要求2所述的基于球面成像的多无人机自组群互感理解方法，其特征在于，所述面向群体行为互感自洽的深度学习理解与预测包括如下方法：

首先，建立面向无人机群体行为自洽的领航机和跟随机行为语言与位姿调控响应规则，包括：小组内领航机与跟随机具有的行为状态集合为A＝{a₁，a₂，a₃，a₄}，其中a₁为搜索行为、a₂为攻击行为、a₃为任务变更行为、a₄为领航跟随响应行为：

其一、当领航机处于a₁状态时，跟随机识别或确认领航机的行为状态a₁，并将姿态调整为平飞状态进入或保持行为状态a₁，使领航机处于视场特定范围内；

其二、当领航机处于a₂状态时，跟随机识别或确认领航机的行为状态a₂，通过不断调整姿态保持领航机在视场的特定范围内，以保证跟随机与领航机处于相似俯冲姿态接近目标；

其三、当领航机处于a₃状态时，将改变位姿由平飞状态进入俯冲状态，此阶段持续时间较短，此时跟随机视场内的领航机迅速下移并有概率从视场中消失，则跟随机立即判定领航机是否处于a₃状态，确认则跟随机迅速切换为a₂状态，并重新调整位姿使领航机保持在视场特定范围内；

其四、当小组内出现新的领航机时，新的领航机将进入a₄状态，并表现出特定行为告知跟随机，此时跟随机确认并进入a₄状态，将跟随对象切换为新的领航机完成响应；

同时，将群体目标检测、目标跟踪与位姿估计归为中低密度群体特征，将群体整体特征归为中高密度群体特征，利用球面卷积神经网络提取目标空间域特征与目标轨迹和位姿特征，并且与球面卷积神经网络直接提取的群体整体特征联合训练，用于分析出无人机群的“搜索行为”、“攻击行为”、“任务变更行为”和“领航跟随响应行为”；并利用隐马尔科夫模型(λ＝(A，B，π)，其中，A表示状态转移概率分布，B表示观测概率分布，π表示初始概率分布)，对群体行为进行关联性分析，通过计算机仿真获得位姿数据与时空域特征数据，利用多无人机群体目标位姿估计结果，对无人机群体进行时空特征的挖掘，既得到了群体的空间信息，又得到了群体的运动信息，在上述四种无人机行为的基础上，获取无人机群体时空域数据驱动下的领航机/跟随机行为转移规律，以此进行行为预测。

Images