CN117930872B - 基于深度强化学习的大规模无人机集群飞行*** - Google Patents

Abstract

本发明涉及无人机飞行控制***技术领域，具体涉及基于深度强化学习的大规模无人机集群飞行***，包括：理想轨迹序列以及空间数据序列采集模块、整体轨迹稳定度获取模块、综合权重系数获取模块以及无人机分类训练模块；采集理想轨迹序列以及空间数据序列；根据空间数据序列得到影响数据点范围；根据影响数据点范围得到区域空间偏移度；根据区域空间偏移度得到整体轨迹稳定度；根据无人机之间轨迹稳定度的差异得到综合权重系数；根据综合权重系数得到优化分类距离；根据优化分类距离进行大规模无人机集群训练。本发明提高了聚类结果的准确性，使训练后无人机集群飞行控制更加精准。

Description

基于深度强化学习的大规模无人机集群飞行***

技术领域

本发明涉及无人机飞行控制***技术领域，具体涉及基于深度强化学习的大规模无人机集群飞行***。

背景技术

在大规模无人机集群进行飞行作业时，为了控制无人机在复杂的飞行环境中可以自动避免碰撞，需要采集大量的无人机集群飞行位置数据进行训练；但由于采集的大量无人机集群飞行位置数据会受到风速、风向、电磁波等干扰因素的影响，导致样本空间中不同的无人机集群飞行位置数据会呈现不同的聚集分布特征，为了提高训练无人机集群智能飞行的效率，需要对无人机集群飞行位置数据进行聚类分类，然后对分类后的数据分别进行训练。

传统方法通过层次聚类算法对无人机集群飞行位置数据进行聚类，由于无人机集群飞行位置数据会受到风速、风向、电磁波等众多干扰因素影响，导致呈现不同聚集分布特征的无人机集群飞行位置数据之间存在多个维度的互相关联影响；而传统的层次聚类算法仅通过无人机集群飞行位置数据之间的距离进行聚类，无法有效综合多个维度的干扰因素进行聚类，导致聚类结果不准确。

发明内容

本发明提供基于深度强化学习的大规模无人机集群飞行***，以解决现有的问题：传统的层次聚类算法仅通过无人机集群飞行位置数据之间的距离进行聚类，无法有效综合无人机集群飞行位置数据的多个维度的干扰因素进行聚类，使聚类结果不准确。

本发明的基于深度强化学习的大规模无人机集群飞行***采用如下技术方案：

包括以下模块：

理想轨迹序列以及空间数据序列采集模块，用于采集理想轨迹序列以及若干无人机的空间数据序列，所述理想轨迹序列包含多个理想轨迹数据点，空间数据序列包含多个无人机空间数据点；

整体轨迹稳定度获取模块，用于在空间数据序列中对无人机空间数据点进行范围划分得到每个无人机空间数据点的影响数据点范围；根据影响数据点范围中无人机空间数据点与理想轨迹数据点之间的差异，得到每个无人机空间数据点的区域空间偏移度；根据无人机空间数据点的区域空间偏移度得到每个无人机的整体轨迹稳定度，所述整体轨迹稳定度用于描述无人机实际飞行轨迹与理想飞行轨迹之间的差异；

综合权重系数获取模块，用于对无人机进行聚类得到若干聚类簇；对聚类簇之间不同无人机进行区分，得到若干第一最终对比无人机以及若干第二最终对比无人机；根据第一最终对比无人机与第二最终对比无人机之间整体轨迹稳定度的差异，得到每个无人机的综合权重系数；

无人机分类训练模块，用于根据无人机之间综合权重系数的差异变化情况，得到任意两个无人机之间的归一空间权重系数；根据归一空间权重系数对无人机之间的距离进行优化，得到任意两个无人机之间的优化分类距离；根据优化分类距离进行大规模无人机集群训练。

优选的，所述在空间数据序列中对无人机空间数据点进行范围划分得到每个无人机空间数据点的影响数据点范围，包括的具体方法为：

预设一个记录时刻数量T1；对于第个无人机的空间数据序列中第/>个无人机空间数据点，将第/>个无人机空间数据点前T1个无人机空间数据点，以及第/>个无人机空间数据点后T1个无人机空间数据点整体记为第/>个无人机空间数据点的影响数据点范围。

优选的，所述根据影响数据点范围中无人机空间数据点与理想轨迹数据点之间的差异，得到每个无人机空间数据点的区域空间偏移度，包括的具体方法为：

式中，表示第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度；/>表示第/>个无人机的空间数据序列上第/>个无人机空间数据点的影响数据点范围中所有无人机空间数据点的数量；/>表示第/>个无人机的空间数据序列上第/>个无人机空间数据点与理想轨迹序列中第/>个理想轨迹数据点之间的欧式距离；/>表示在第/>个无人机的空间数据序列上第/>个无人机空间数据点的影响数据点范围中，第/>个无人机空间数据点与理想轨迹序列中对应理想轨迹数据点之间的欧式距离；/>表示取绝对值。

优选的，所述根据无人机空间数据点的区域空间偏移度得到每个无人机的整体轨迹稳定度，包括的具体方法为：

式中，表示第/>个无人机的整体轨迹稳定度；/>表示第/>个无人机的空间数据序列中所有无人机空间数据点的数量；/>表示第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度；/>表示以自然常数为底的指数函数。

优选的，所述对聚类簇之间不同无人机进行区分，得到若干第一最终对比无人机以及若干第二最终对比无人机，包括的具体方法为：

将任意一个无人机记为目标无人机，将包含目标无人机的聚类簇记为目标无人机的目标聚类簇，将目标无人机的所有目标聚类簇按照目标聚类簇内所含无人机数量从小到大顺序进行排列，将排列后的序列记为目标无人机的目标聚类簇序列；

对于目标无人机的目标聚类簇序列中任意一个目标聚类簇，将目标聚类簇中除目标无人机以外的每个无人机记为目标聚类簇的一个对比无人机，获取目标无人机的目标聚类簇序列中所有目标聚类簇的所有对比无人机；

将目标无人机的目标聚类簇序列中任意两个相邻的目标聚类簇整体记为目标聚类簇对；对于任意一个目标聚类簇对中的第一个目标聚类簇内任意一个对比无人机，若对比无人机没有在第二个目标聚类簇中出现，那么将对比无人机记为第一最终对比无人机；

对于任意一个目标聚类簇对中的第二个目标聚类簇内任意一个对比无人机，若对比无人机没有在第一个目标聚类簇中出现，那么将对比无人机记为第二最终对比无人机。

优选的，所述根据第一最终对比无人机与第二最终对比无人机之间整体轨迹稳定度的差异，得到每个无人机的综合权重系数，包括的具体方法为：

将任意一个无人机的目标聚类簇序列中任意两个相邻的目标聚类簇整体记为目标聚类簇对；

根据第一最终对比无人机以及第二最终对比无人机，获取每个目标聚类簇的第一类别轨迹对比度以及一个第二类别轨迹对比度；

式中，表示无人机的综合权重系数；/>表示无人机的所有目标聚类簇对的数量；表示无人机的整体轨迹稳定度；/>表示无人机的第/>个目标类簇对的第一类别轨迹对比度；/>表示无人机的第/>个目标类簇对的第二类别轨迹对比度；/>表示预设的超参数；/>表示取绝对值。

优选的，所述根据第一最终对比无人机以及第二最终对比无人机，获取每个目标聚类簇的第一类别轨迹对比度以及一个第二类别轨迹对比度，包括的具体方法为：

将目标聚类簇对中所有第一最终对比无人机的整体轨迹稳定度的均值记为目标聚类簇对的第一类别轨迹对比度，将目标聚类簇对中所有第二最终对比无人机的整体轨迹稳定度的均值记为目标聚类簇对的第二类别轨迹对比度。

优选的，所述根据无人机之间综合权重系数的差异变化情况，得到任意两个无人机之间的归一空间权重系数，包括的具体方法为：

将第个无人机与第/>个无人机的综合权重系数的差值的绝对值记为第/>个无人机与第/>个无人机的综合权重系数差异值，将所有无人机之间的综合权重系数差异值的均值记为综合权重差异均值；

将第个无人机与第/>个无人机的综合权重系数差异值与综合权重差异均值的差值的绝对值，记为第/>个无人机与第/>个无人机的初始综合权重系数；获取所有的初始综合权重系数，对所有的初始综合权重系数进行线性归一化，将归一化后的每个初始综合权重系数记为归一空间权重系数。

优选的，所述根据归一空间权重系数对无人机之间的距离进行优化，得到任意两个无人机之间的优化分类距离，包括的具体方法为：

式中，表示第/>个无人机与第/>个无人机的优化分类距离；/>表示第/>个无人机中所有无人机空间数据点与第/>个无人机中所有无人机空间数据点的欧式距离的最小值；/>表示第/>个无人机与第/>个无人机的归一空间权重系数；/>表示第/>个无人机与第/>个无人机的综合权重系数差异值；/>表示综合权重差异均值。

优选的，所述根据优化分类距离进行大规模无人机集群训练，包括的具体方法为：

将任意两个无人机之间的优化分类距离作为层次聚类算法的距离度量，根据距离度量通过/>层次聚类算法对所有无人机进行聚类得到若干聚类簇，将每个聚类簇分别输入至大规模无人机集群飞行***完成训练。

本发明的技术方案的有益效果是：无人机空间数据点与理想轨迹点的差异得到区域空间偏移度，根据区域空间偏移度得到整体轨迹稳定度，根据整体轨迹稳定度的差异得到综合权重系数，根据综合权重系数对无人机之间的距离进行优化得到优化分类距离，根据优化分类距离进行大规模无人机集群训练；本发明的整体轨迹稳定度反映了无人机实际飞行轨迹与理想飞行轨迹之间的差异，综合权重系数反映了综合各个环境干扰因素的最终分配比例，优化分类距离反映了无人机之间实际飞行轨迹的相似程度；提高了聚类结果的准确性，使训练后无人机集群飞行控制更加精准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度强化学习的大规模无人机集群飞行***的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于深度强化学习的大规模无人机集群飞行***，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于深度强化学习的大规模无人机集群飞行***的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于深度强化学习的大规模无人机集群飞行***的结构框图，该***包括以下模块：

理想轨迹序列以及空间数据序列采集模块101，用于采集理想轨迹序列以及若干无人机的空间数据序列。

需要说明的是，传统方法通过层次聚类算法对无人机集群飞行位置数据进行聚类，由于无人机集群飞行位置数据会受到风速、风向、电磁波等众多干扰因素影响，导致呈现不同聚集分布特征的无人机集群飞行位置数据之间存在多个维度的互相关联影响；而传统的/>层次聚类算法仅通过无人机集群飞行位置数据之间的距离进行聚类，无法有效综合多个维度的干扰因素进行聚类，导致聚类结果不准确。为此，本实施例提出了基于深度强化学习的大规模无人机集群飞行***。

具体的，为了实现本实施例提出的基于深度强化学习的大规模无人机集群飞行***，首先需要采集理想轨迹序列以及空间数据序列，具体过程为：在长度为200米的直线道路上，将直线道路上任意一端作为起始点，将直线道路上除起始点以外的一端作为终止点，每隔1米安装一个内置GPS定位模块的发信器，从起始点依次采集每个发信器的维度数据、经度数据、高度数据这三个无人机空间数据，并将所有发信器按照起始点到终止点的顺序进行排序，将排序后的序列记为理想轨迹序列，将每次采集的维度数据、经度数据以及高度数据构成的数据点记为一个理想轨迹数据点。其中理想轨迹序列包含多个发信器，每个发信器对应一个理想轨迹数据点，每个理想轨迹数据点对应一个维度数据、一个经度数据以及一个高度数据。

进一步的，将30架安装有GPS定位模块的无人机依次从起始点以的速度作直线匀速运动飞向终止点；每隔1秒为一个记录时刻，记录一次每架无人机的维度数据、经度数据以及高度数据这三个无人机空间数据，并将记录的维度数据、经度数据以及高度数据构成的数据点记为一个无人机空间数据点，共采集200秒；以任意一架无人机为例，将该无人机的所有无人机空间数据点按照记录时间从小到大进行排序，将排序后的序列记为空间数据序列；获取所有无人机的空间数据序列。其中空间数据序列包含多个无人机空间数据点，每个无人机空间数据点对应一个记录时刻，每个无人机空间数据点对应一个理想轨迹数据点，每个无人机空间数据点对应多个无人机空间数据。

另外需要说明的是，本实施例不对直线道路长度、发信器安装间隔、无人机数量、无人机飞行速度、记录时刻以及记录总时间进行具体限定，其中直线道路长度、发信器安装间隔、无人机数量、无人机飞行速度、记录时刻以及记录总时间可根据具体实施情况而定。

至此，通过上述方法得到理想轨迹序列以及若干无人机的空间数据序列。

整体轨迹稳定度获取模块102，用于在空间数据序列中对无人机空间数据点进行范围划分得到每个无人机空间数据点的影响数据点范围；根据影响数据点范围中无人机空间数据点与理想轨迹数据点之间的差异，得到每个无人机空间数据点的区域空间偏移度；根据无人机空间数据点的区域空间偏移度得到每个无人机的整体轨迹稳定度。

需要说明的是，无人机在实际飞行的过程中会受到风速、风向、电磁波等干扰因素影响，导致无人机实际的飞行轨迹与理想的飞行轨迹存在一定程度的偏差；同时因无人机一直是连续飞行的状态，所以相邻记录时刻之间的飞行状态存在较强的关联性，对应的飞行位置存在较强的连续性；因此对于任意一个记录时刻而言，该记录时刻周围的实际飞行轨迹与理想飞行轨迹的偏差较为相似。本实施例通过分析每个记录时刻周围的实际飞行轨迹与理想飞行轨迹的偏差得到每个记录时刻的整体轨迹稳定度，以便后续分析处理。

具体的，预设一个记录时刻数量T1，其中本实施例以T1=4为例进行叙述，本实施例不进行具体限定，其中T1可根据具体实施情况而定；以第个无人机的空间数据序列中第/>个无人机空间数据点为例，将第/>个无人机空间数据点前T1个无人机空间数据点以及第/>个无人机空间数据点后T1个无人机空间数据点整体记为第/>个无人机空间数据点的影响数据点范围。其中若第/>个无人机空间数据点前后剩余的无人机空间数据点数量不满足预设的T1，那么以第/>个无人机空间数据点前后剩余的无人机空间数据点数量为止，获取第/>个无人机空间数据点的影响序列范围。

进一步的，根据第个无人机的空间数据序列中第/>个无人机空间数据点的影响数据点范围,得到第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度。其中第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度的计算方法为：

式中，表示第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度；/>表示第/>个无人机的空间数据序列上第/>个无人机空间数据点的影响数据点范围中所有无人机空间数据点的数量；/>表示第/>个无人机的空间数据序列上第/>个无人机空间数据点与理想轨迹序列中第/>个理想轨迹数据点之间的欧式距离；/>表示在第/>个无人机的空间数据序列上第/>个无人机空间数据点的影响数据点范围中，第/>个无人机空间数据点与理想轨迹序列中对应理想轨迹数据点之间的欧式距离；/>表示取绝对值。其中若/>表示第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度越大，说明在第/>个无人机空间数据点周围记录时间内无人机受外界干扰的程度越大。获取第/>个无人机的空间数据序列中所有无人机空间数据点的区域空间偏移度。其中欧式距离的获取是公知技术，本实施例不再赘述。

进一步的，根据第个无人机的空间数据序列中所有无人机空间数据点的区域空间偏移度，得到第/>个无人机的整体轨迹稳定度。其中第/>个无人机的整体轨迹稳定度的计算方法为：

式中，表示第/>个无人机的整体轨迹稳定度；/>表示第/>个无人机的空间数据序列中所有无人机空间数据点的数量；/>表示第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度；/>表示以自然常数为底的指数函数；实施例采用函数来呈现反比例关系及归一化处理，实施者可根据实际情况选择反比例函数及归一化函数。其中若第/>个无人机的整体轨迹稳定度越大，说明第/>个无人机的实际飞行轨迹整体与理想飞行轨迹相差越大，反映第/>个无人机的空间数据序列的区域变化越显著。获取所有无人机的整体轨迹稳定度。

至此，通过上述方法得到所有无人机的整体轨迹稳定度。

综合权重系数获取模块103，用于对无人机进行聚类得到若干聚类簇；对聚类簇之间不同无人机进行区分，得到若干第一最终对比无人机以及若干第二最终对比无人机；根据第一最终对比无人机与第二最终对比无人机之间整体轨迹稳定度的差异，得到每个无人机的综合权重系数。

需要说明的是，传统的层次聚类算法的层次分解顺序是自下而上的，首先将每个数据看作一个类簇，然后不断计算两个类簇之间的距离并进行判断合并，自下而上地构建聚类树，使每个节点对应一个聚类簇，从而使更多无人机空间数据可以处于同一个的类簇之中；而不同聚类簇中包含的无人机空间数据并不完全相同，导致其包含的无人机也会相应不同，同时因无人机的整体轨迹稳定度表征着其空间数据序列的区域变化程度，所以不同聚类簇整体的空间数据序列的区域变化程度并不相同，对应不同聚类簇中所含无人机空间数据的变化特征也会不同；为了将不同变化特征的无人机空间数据尽可能地准确划分出来，本实施例通过分析同一个无人机在不同聚类簇中对应的变化特征得到每个无人机的综合权重系数，根据综合权重系数进行聚类簇划分。

具体的，将所有无人机之间整体轨迹稳定度作为层次聚类算法的距离度量，根据距离度量通过/>层次聚类算法对所有无人机进行聚类得到若干聚类簇；以任意一个无人机为例，将包含该无人机的聚类簇记为该无人机的目标聚类簇，将该无人机的所有目标聚类簇按照目标聚类簇内所含无人机数量从小到大顺序进行排列，将排列后的序列记为该无人机的目标聚类簇序列；以该无人机的目标聚类簇序列中任意一个目标聚类簇为例，将该目标聚类簇中除该无人机以外的每个无人机记为该目标聚类簇的一个对比无人机，获取该无人机的目标聚类簇序列中所有目标聚类簇的所有对比无人机；将该无人机的目标聚类簇序列中任意两个相邻的目标聚类簇整体记为目标聚类簇对；以任意一个目标聚类簇对中的第一个目标聚类簇内任意一个对比无人机为例，若该对比无人机没有在第二个目标聚类簇中出现，那么将该对比无人机记为第一最终对比无人机；以任意一个目标聚类簇对中的第二个目标聚类簇内任意一个对比无人机为例，若该对比无人机没有在第一个目标聚类簇中出现，那么将该对比无人机记为第二最终对比无人机，获取该目标聚类簇对中所有第一最终对比无人机以及所有第二最终对比无人机。其中根据距离度量对数据进行聚类的过程是/>层次聚类算法的公知内容，本实施例不再赘述。

进一步的，将该目标聚类簇对中所有第一最终对比无人机的整体轨迹稳定度的均值记为该目标聚类簇对的第一类别轨迹对比度，将该目标聚类簇对中所有第二最终对比无人机的整体轨迹稳定度的均值记为该目标聚类簇对的第二类别轨迹对比度，获取该无人机的所有目标聚类簇对的第一类别轨迹对比度以及第二类别轨迹对比度。其中每个无人机对应多个目标聚类簇，每个无人机的每个目标聚类簇对应一个第一类别轨迹对比度以及一个第二类别轨迹对比度。

进一步的，根据该无人机的所有目标聚类簇对的第一类别轨迹对比度以及第二类别轨迹对比度，得到该无人机的综合权重系数。其中该无人机的综合权重系数的计算方法为：

式中，表示该无人机的综合权重系数；/>表示该无人机的所有目标聚类簇对的数量；/>表示该无人机的整体轨迹稳定度；/>表示该无人机的第/>个目标类簇对的第一类别轨迹对比度；/>表示该无人机的第/>个目标类簇对的第二类别轨迹对比度；/>表示预设的超参数，本实施例预设/>，用于防止分母为0；/>表示取绝对值。其中该无人机的综合权重系数越大，说明该无人机在聚类过程中对应的偏移变化特征越明显。获取所有无人机的综合权重系数。

至此，通过上述方法得到所有无人机的综合权重系数。

无人机分类训练模块104，用于根据无人机之间综合权重系数的差异变化情况，得到任意两个无人机之间的归一空间权重系数；根据归一空间权重系数对无人机之间的距离进行优化，得到任意两个无人机之间的优化分类距离；根据优化分类距离进行大规模无人机集群训练。

具体的，将第个无人机与第/>个无人机的综合权重系数的差值的绝对值记为第/>个无人机与第/>个无人机的综合权重系数差异值，将所有无人机之间的综合权重系数差异值的均值记为综合权重差异均值；将第/>个无人机与第/>个无人机的综合权重系数差异值与综合权重差异均值的差值的绝对值，记为第/>个无人机与第/>个无人机的初始综合权重系数；获取所有的初始综合权重系数，对所有的初始综合权重系数进行线性归一化，将归一化后的每个初始综合权重系数记为归一空间权重系数。根据第/>个无人机与第/>个无人机的归一空间权重系数得到第/>个无人机与第/>个无人机的优化分类距离。其中第/>个无人机与第/>个无人机的优化分类距离的计算方法为：

式中，表示第/>个无人机与第/>个无人机的优化分类距离；/>表示第/>个无人机中所有无人机空间数据点与第/>个无人机中所有无人机空间数据点的欧式距离的最小值；/>表示第/>个无人机与第/>个无人机的归一空间权重系数；/>表示第/>个无人机与第/>个无人机的综合权重系数差异值；/>表示综合权重差异均值。其中若第/>个无人机与第/>个无人机的优化分类距离越大，说明第/>个无人机与第/>个无人机的实际飞行轨迹越相似，反映第/>个无人机与第/>个无人机越有可能属于一类。获取所有无人机之间的优化分类距离。

进一步的，将任意两个无人机之间的优化分类距离作为层次聚类算法的距离度量，根据距离度量通过/>层次聚类算法对所有无人机进行聚类得到若干聚类簇，将每个聚类簇分别输入至大规模无人机集群飞行***完成训练。

至此，本实施例完成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于深度强化学习的大规模无人机集群飞行***，其特征在于，该***包括以下模块：

理想轨迹序列以及空间数据序列采集模块，用于采集理想轨迹序列以及若干无人机的空间数据序列，所述理想轨迹序列包含多个理想轨迹数据点，空间数据序列包含多个无人机空间数据点；

整体轨迹稳定度获取模块，用于在空间数据序列中对无人机空间数据点进行范围划分得到每个无人机空间数据点的影响数据点范围；根据影响数据点范围中无人机空间数据点与理想轨迹数据点之间的差异，得到每个无人机空间数据点的区域空间偏移度；根据无人机空间数据点的区域空间偏移度得到每个无人机的整体轨迹稳定度，所述整体轨迹稳定度用于描述无人机实际飞行轨迹与理想飞行轨迹之间的差异；

所述根据无人机空间数据点的区域空间偏移度得到每个无人机的整体轨迹稳定度，包括的具体方法为：

式中，表示第/>个无人机的整体轨迹稳定度；/>表示第/>个无人机的空间数据序列中所有无人机空间数据点的数量；/>表示第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度；/>表示以自然常数为底的指数函数；

综合权重系数获取模块，用于对无人机进行聚类得到若干聚类簇；对聚类簇之间不同无人机进行区分，得到若干第一最终对比无人机以及若干第二最终对比无人机；根据第一最终对比无人机与第二最终对比无人机之间整体轨迹稳定度的差异，得到每个无人机的综合权重系数；

所述对聚类簇之间不同无人机进行区分，得到若干第一最终对比无人机以及若干第二最终对比无人机，包括的具体方法为：

将任意一个无人机记为目标无人机，将包含目标无人机的聚类簇记为目标无人机的目标聚类簇，将目标无人机的所有目标聚类簇按照目标聚类簇内所含无人机数量从小到大顺序进行排列，将排列后的序列记为目标无人机的目标聚类簇序列；

对于目标无人机的目标聚类簇序列中任意一个目标聚类簇，将目标聚类簇中除目标无人机以外的每个无人机记为目标聚类簇的一个对比无人机，获取目标无人机的目标聚类簇序列中所有目标聚类簇的所有对比无人机；

将目标无人机的目标聚类簇序列中任意两个相邻的目标聚类簇整体记为目标聚类簇对；对于任意一个目标聚类簇对中的第一个目标聚类簇内任意一个对比无人机，若对比无人机没有在第二个目标聚类簇中出现，那么将对比无人机记为第一最终对比无人机；

对于任意一个目标聚类簇对中的第二个目标聚类簇内任意一个对比无人机，若对比无人机没有在第一个目标聚类簇中出现，那么将对比无人机记为第二最终对比无人机；

所述根据第一最终对比无人机与第二最终对比无人机之间整体轨迹稳定度的差异，得到每个无人机的综合权重系数，包括的具体方法为：

将任意一个无人机的目标聚类簇序列中任意两个相邻的目标聚类簇整体记为目标聚类簇对；

根据第一最终对比无人机以及第二最终对比无人机，获取每个目标聚类簇的第一类别轨迹对比度以及一个第二类别轨迹对比度；

式中，表示无人机的综合权重系数；/>表示无人机的所有目标聚类簇对的数量；/>表示无人机的整体轨迹稳定度；/>表示无人机的第/>个目标类簇对的第一类别轨迹对比度；/>表示无人机的第/>个目标类簇对的第二类别轨迹对比度；/>表示预设的超参数；表示取绝对值；

所述根据第一最终对比无人机以及第二最终对比无人机，获取每个目标聚类簇的第一类别轨迹对比度以及一个第二类别轨迹对比度，包括的具体方法为：

将目标聚类簇对中所有第一最终对比无人机的整体轨迹稳定度的均值记为目标聚类簇对的第一类别轨迹对比度，将目标聚类簇对中所有第二最终对比无人机的整体轨迹稳定度的均值记为目标聚类簇对的第二类别轨迹对比度；

无人机分类训练模块，用于根据无人机之间综合权重系数的差异变化情况，得到任意两个无人机之间的归一空间权重系数；根据归一空间权重系数对无人机之间的距离进行优化，得到任意两个无人机之间的优化分类距离；根据优化分类距离进行大规模无人机集群训练。

2.根据权利要求1所述基于深度强化学习的大规模无人机集群飞行***，其特征在于，所述在空间数据序列中对无人机空间数据点进行范围划分得到每个无人机空间数据点的影响数据点范围，包括的具体方法为：

预设一个记录时刻数量T1；对于第个无人机的空间数据序列中第/>个无人机空间数据点，将第/>个无人机空间数据点前T1个无人机空间数据点，以及第/>个无人机空间数据点后T1个无人机空间数据点整体记为第/>个无人机空间数据点的影响数据点范围。

3.根据权利要求1所述基于深度强化学习的大规模无人机集群飞行***，其特征在于，所述根据影响数据点范围中无人机空间数据点与理想轨迹数据点之间的差异，得到每个无人机空间数据点的区域空间偏移度，包括的具体方法为：

式中，表示第/>个无人机的空间数据序列中第/>个无人机空间数据点的区域空间偏移度；/>表示第/>个无人机的空间数据序列上第/>个无人机空间数据点的影响数据点范围中所有无人机空间数据点的数量；/>表示第/>个无人机的空间数据序列上第/>个无人机空间数据点与理想轨迹序列中第/>个理想轨迹数据点之间的欧式距离；/>表示在第/>个无人机的空间数据序列上第/>个无人机空间数据点的影响数据点范围中，第/>个无人机空间数据点与理想轨迹序列中对应理想轨迹数据点之间的欧式距离；/>表示取绝对值。

4.根据权利要求1所述基于深度强化学习的大规模无人机集群飞行***，其特征在于，所述根据无人机之间综合权重系数的差异变化情况，得到任意两个无人机之间的归一空间权重系数，包括的具体方法为：

将第个无人机与第/>个无人机的综合权重系数的差值的绝对值记为第/>个无人机与第/>个无人机的综合权重系数差异值，将所有无人机之间的综合权重系数差异值的均值记为综合权重差异均值；

将第个无人机与第/>个无人机的综合权重系数差异值与综合权重差异均值的差值的绝对值，记为第/>个无人机与第/>个无人机的初始综合权重系数；获取所有的初始综合权重系数，对所有的初始综合权重系数进行线性归一化，将归一化后的每个初始综合权重系数记为归一空间权重系数。

5.根据权利要求4所述基于深度强化学习的大规模无人机集群飞行***，其特征在于，所述根据归一空间权重系数对无人机之间的距离进行优化，得到任意两个无人机之间的优化分类距离，包括的具体方法为：

式中，表示第/>个无人机与第/>个无人机的优化分类距离；/>表示第/>个无人机中所有无人机空间数据点与第/>个无人机中所有无人机空间数据点的欧式距离的最小值；/>表示第/>个无人机与第/>个无人机的归一空间权重系数；/>表示第/>个无人机与第/>个无人机的综合权重系数差异值；/>表示综合权重差异均值。

6.根据权利要求1所述基于深度强化学习的大规模无人机集群飞行***，其特征在于，所述根据优化分类距离进行大规模无人机集群训练，包括的具体方法为：

将任意两个无人机之间的优化分类距离作为层次聚类算法的距离度量，根据距离度量通过/>层次聚类算法对所有无人机进行聚类得到若干聚类簇，将每个聚类簇分别输入至大规模无人机集群飞行***完成训练。