CN116449864A - 一种无人机集群的最优路径选择方法 - Google Patents

一种无人机集群的最优路径选择方法 Download PDF

Info

Publication number
CN116449864A
CN116449864A CN202310246886.7A CN202310246886A CN116449864A CN 116449864 A CN116449864 A CN 116449864A CN 202310246886 A CN202310246886 A CN 202310246886A CN 116449864 A CN116449864 A CN 116449864A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
optimal path
cluster
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310246886.7A
Other languages
English (en)
Inventor
刘韡
马俊杰
苏帅
姜瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Science And Technology Network Information Development Co ltd
Original Assignee
Aerospace Science And Technology Network Information Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Science And Technology Network Information Development Co ltd filed Critical Aerospace Science And Technology Network Information Development Co ltd
Priority to CN202310246886.7A priority Critical patent/CN116449864A/zh
Publication of CN116449864A publication Critical patent/CN116449864A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种无人机集群的最优路径选择方法，该方法通过多目标函数确定单个无人机的局部最优路径，并通过获取每个无人机的局部最优路径，确定整个无人机集群的最优路径。通过这种方法在保证单个无人机与整体的无人机集群的必要的联系的同时，尽量保障单个无人机的独立运行，避免了无人机复杂的路径规划方法，加快了无人机的响应速度。

Description

一种无人机集群的最优路径选择方法
技术领域
本发明涉及无人机集群路径规划技术领域，特别是一种无人机集群的最优路径选择方法。
背景技术
单无人机任务规划，就是获取目标到任务完成的整个过程中，安排无人机在飞行过程中执行何种飞行任务以及如何实施这些飞行任务，使无人机生存概率和作业效能达到最佳。多无人机协同任务规划，除了需要考虑任务本身构成要素的要求外，还必须考虑多个无人机之间协调一致共同执行任务的约束关系，并根据任务规划指标为无人机设计出协同的飞行航路，使其整体作业效能最优或近似最优。先进的多无人机任务规划***要求能够尽可能提高任务的整体执行效率，并且要求其反应速度快、运行效率高、具备实时运行能力，且能够处理大规模的无人机集群决策需求。
现有的无人机集群在路径规划时，面临各种复杂的任务和环境，难以在较短的时延内做出合适的策略。
因此，亟需一种无人机集群的最优路径选择方法，用于提高无人机集群的响应速度。
发明内容
本发明提供一种无人机集群的最优路径选择方法，用于解决背景技术中所述的，无人机集群在路径规划时，面临各种复杂的任务和环境，难以在较短的时延内做出合适的策略的技术问题。其具体技术方案如下：
第一方面啊，本发明提供一种无人机集群的最优路径选择方法，所述方法包括：
无人机集群中的每个无人机基于多目标函数的最优值和可行路径，确定单个无人机的局部最优路径；
所述无人机集群基于所述每个无人机的局部最优路径和环境奖励，确定所述无人机集群的最优路径，所述环境奖励为当前环境信息对单个无人机的实际执行的局部最优路径的修正因素。
本发明的另一种实施例中，在第一实施例的基础上，所述无人机集群中的每个无人机基于多目标函数的最优值和可行路径，确定单个无人机的局部最优路径，包括：
所述无人机集群中的每个无人机基于所述多目标函数确定所述多目标函数的最优值；
每个所述无人机基于外部环境信息和其他无人机的位置信息确定可行路径；
每个所述无人机基于所述最优值和所述可行路径，确定所述单个无人机的局部最优路径。
本发明的另一种实施例中，在第二实施例的基础上，所述多目标函数包括通常目标函数和额外目标函数；所述通常目标函数用于限定无人机飞行路径的基本需求，所述额外目标函数用于限定无人机飞行路径的额外任务需求，所述额外目标函数基于所述单个无人机的飞行任务确定。
本发明的另一种实施例中，在第三实施例的基础上，所述通常目标函数包括：平滑度惩罚、总时间惩罚、动态可行性惩罚。
本发明的另一种实施例中，在第三实施例的基础上，所述额外目标函数包括：形成预期惩罚、多视图跟踪惩罚、距离测量误差惩罚。
本发明的另一种实施例中，在第二实施例的基础上，所述每个所述无人机基于所述最优值和所述可行路径，确定所述单个无人机的局部最优路径，包括:
每个所述无人机基于所述最优值生成对应的目标向量；
每个所述无人机基于所述可行路径生成对应的当前向量；
每个所述无人机基于所述目标向量和所述当前向量之间的距离确定Pearson相关系数函数；
每个所述无人机基于所述Pearson相关系数函数确定所述单个无人机的局部最优路径。
本发明的另一种实施例中，在第六实施例的基础上，所述每个所述无人机基于所述目标向量和所述当前向量之间的距离确定Pearson相关系数函数中，所述目标向量和所述当前向量之间的距离确定方法包括：线性加权法、chebyshev距离标量化法、mahalanobis距离标量化法、超体积度量标量化法、manhattan距离标量化法、余弦距离标量化法。
本发明的另一种实施例中，在第六实施例的基础上，所述每个所述无人机基于所述Pearson相关系数函数确定所述单个无人机的局部最优路径，包括：
基于所述目标向量和所述当前向量之间的距离、所述Pearson相关系数函数，确定Pearson相关系数P，所述Pearson相关系数P为有关所述目标向量和所述当前向量之间的距离的函数关系式；
所述局部最优路径为所述Pearson相关系数P的最小值所对应的路径。
本发明的另一种实施例中，在第一实施例的基础上，所述无人机集群基于所述每个无人机的局部最优路径和环境奖励，确定所述无人机集群的最优路径，包括：
所述无人机集群基于所述无人机集群中的环境信息和所述无人机集群外部的环境信息生成多个环境奖励；
所述无人机集群将所述环境奖励发送至对应的单个无人机中，使得对应的单个无人机的局部最优路径进行调整；
所述无人机集群基于每个所述无人机调整后的局部最优路径，确定所述无人机集群的最优路径。
第二方面，本发明还提供一种无人机，所述无人机为无人机集群中的单个无人机，所述无人机中设置有上述第一方面中任一实施例所述的一种无人机集群的最优路径选择方法。
发明效果：
本发明提供一种无人机集群的最优路径选择方法，用于解决背景技术中所述的，现有无人机路径规划选择耗时较长的问题。本发明将原有的无人机集群的整体任务规划，改为单个无人机的任务规划。通过确定单个无人机的局部最优路径后，通过奖励机制，实现单个无人机的局部最优路径到整个无人机集群的最优路径的整合。加快了无人机路径规划的效率，降低了单个无人机的反应时间。同时，有效的将局部最优路径，很好的整合到无人机集群的最优路径。避免了无人机之间的干扰。
附图说明：
图1是本发明提供的一种无人机集群的最优路径选择方法的流程示意图；
图2是本发明提供的一种无人机集群的最优路径选择方法的奖励机制示意图；
图3是本发明提供的一种无人机集群的最优路径选择方法的IQL转化图。
具体实施方法
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
具体实施例1：
本发明提供一种无人机集群的最优路径选择方法，用于解决背景技术中所述的，无人机集群在路径规划时，面临各种复杂的任务和环境，难以在较短的时延内做出合适的策略的技术问题。其具体技术方案如下：
第一方面啊，本发明提供一种无人机集群的最优路径选择方法，所述方法包括：
无人机集群中的每个无人机基于多目标函数的最优值和可行路径，确定单个无人机的局部最优路径；
所述无人机集群基于所述每个无人机的局部最优路径和环境奖励，确定所述无人机集群的最优路径，所述环境奖励为当前环境信息对单个无人机的实际执行的局部最优路径的修正因素。
本实施例中，公开一种无人机集群的最优路径选择方法，用于解决背景技术中所述的，现有无人机路径规划选择耗时较长的问题。本发明将原有的无人机集群的整体任务规划，改为单个无人机的任务规划。通过确定单个无人机的局部最优路径后，通过奖励机制，实现单个无人机的局部最优路径到整个无人机集群的最优路径的整合。加快了无人机路径规划的效率，降低了单个无人机的反应时间。同时，有效的将局部最优路径，很好的整合到无人机集群的最优路径。避免了无人机之间的干扰。具体的，无人机集群中有多个无人机。无人机集群可以视为具有强化学习能力的多智能体，无人机集群中的单个无人机可以视为具有强化学习能力的单智能体。无人机集群最优路径的选择问题看作是多智能体强化学习最优策略的选择过程；单无人机最优路径的选择问题看作是单智能体强化学习最优策略的选择过程。根据IQL(independent Q-learning)思想，本发明将无人机集群最优路径的选择问题转化成单无人机最优路径的选择问题。
本发明的另一种实施例中，在第一实施例的基础上，所述无人机集群中的每个无人机基于多目标函数的最优值和可行路径，确定单个无人机的局部最优路径，包括：
所述无人机集群中的每个无人机基于所述多目标函数确定所述多目标函数的最优值；
每个所述无人机基于外部环境信息和其他无人机的位置信息确定可行路径；
每个所述无人机基于所述最优值和所述可行路径，确定所述单个无人机的局部最优路径。
本实施例中，进一步公开通过多目标函数确定局部最优路径的具体过程。无人机在风行过程中，对路径的规划需要达到多种效果，例如时间最短、耗能少等。为了描述这些效果，本发明引用多目标函数。多目标函数即无人机在路径规划过程中需要达到的目标的函数关系。不同的路径规划对应不同的多目标函数的值。多目标函数的最优值对应理论上的最优路径。
无人机根据周围环境信息，他的无人机的位置，当前执行的任务状态等信息可以确定一条可行的路径，该可行路径可以通过之前积累的强化学习数据生成。通过该条可行路径和上述多目标函数的最优值，可以确定当前的无人机的局部最优路径。
本发明的另一种实施例中，在第二实施例的基础上，所述多目标函数包括通常目标函数和额外目标函数；所述通常目标函数用于限定无人机飞行路径的基本需求，所述额外目标函数用于限定无人机飞行路径的额外任务需求，所述额外目标函数基于所述单个无人机的飞行任务确定。
本实施例中，进一步公开多目标函数的构成。多目标函数是本发明无人机路径规划的重要指标。多目标函数包括通常目标函数和额外目标函数。通常目标函数是无人机在路径规划中，需要达到的一般目标。这些目标与无人机的飞行状态直接相关。额外目标函数是无人机飞行过程中需要满足的额外目标要求，这些要求与无人机当前执行的任务状态相关。例如无人机执行勘测、避障等任务时，多目标函数会调用额外目标函数，并将对用的额外目标函数赋予相应的权重。通过通用目标函数和额外目标函数灵活的应对，无人机不同的任务需求。
本发明的另一种实施例中，在第三实施例的基础上，所述通常目标函数包括：平滑度惩罚、总时间惩罚、动态可行性惩罚。
本实施例中，进一步公开通常目标函数的内容。通常目标函数包括平滑度惩罚、总时间惩罚、动态可行性惩罚。其计算公式如下所示：
所确定的多目标函数为：
其中，Jx是各种通用惩罚项，即任务规格。下标x＝{s,t,d,o}表示平滑度(s)、总时间(t)、动态可行性(d)、避障(o)等。
其中：
①平滑惩罚Js被定义为平方s阶导数的积分，计算方法为：
其中，t∈[t0,tM]是当前轨迹的域。
②在大多数情况下，较短的飞行时间是可取的，因此我们还最小化加权总飞行时间，这使得总时间损失Jt为：
Jt＝sum(T)
③对于微分平面多旋翼飞行器，通过限制轨迹导数的大小来保证动态可行性。
Jd＝Jd,v+Jd,a+Jd,j
其中，vm,am和jm分别是速度、加速度和加加速度的最大允许值。
④避障是在杂乱的现实世界中构建的无序障碍物地图上执行的。避障惩罚Jo被公式化为：
其中，do是p(t)的函数。
本发明的另一种实施例中，在第三实施例的基础上，所述额外目标函数包括：形成预期惩罚、多视图跟踪惩罚、距离测量误差惩罚。
本实施例中，进一步公开额外目标函数的内容。具体计算公式如下：
所确定的多目标函数为：
其中，Jx是各种通用惩罚项，即任务规格。J包括：
形成预期惩罚
多视图跟踪惩罚其中/>
距离测量误差惩罚等。
本发明的另一种实施例中，在第二实施例的基础上，所述每个所述无人机基于所述最优值和所述可行路径，确定所述单个无人机的局部最优路径，包括:
每个所述无人机基于所述最优值生成对应的目标向量；
每个所述无人机基于所述可行路径生成对应的当前向量；
每个所述无人机基于所述目标向量和所述当前向量之间的距离确定Pearson相关系数函数；
每个所述无人机基于所述Pearson相关系数函数确定所述单个无人机的局部最优路径。
本实施例中，进一步公开通过多目标函数的最优值和可行路径确定局部最优路径的过程。其过程具体如下：
第一步：将无人机的第i个目标函数转换为如下函数表示：其中，ni表示第i个无人机路径规划的目标数量。
第二步：求出每个函数的最优值fi *,i＝1,2,…,ni，构成理论上的Pareto最优解并作为参考点，记为：称为目标向量。
第三步：无人机选择一个可行路径后，记当前目标函数构成的向量为：该向量称为当前向量。
第四步：通过比较和/>的大小来确定无人机的局部最优路径。
本发明的另一种实施例中，在第六实施例的基础上，所述每个所述无人机基于所述目标向量和所述当前向量之间的距离确定Pearson相关系数函数中，所述目标向量和所述当前向量之间的距离确定方法包括：线性加权法、chebyshev距离标量化法、mahalanobis距离标量化法、超体积度量标量化法、manhattan距离标量化法、余弦距离标量化法。
本实施例中，进一步公开目标向量和当前向量之间距离确定方法的内容。
①线性加权
做向量ω与f的数量积可以得到一个数值函数：
其中，ωi∈[0,1]i＝1,2,…,ni作为每个目标函数的相对权重。minμ所对应的路径即为最优路径。
②Chebyshev距离标量化
做向量f与f*的Chebyshev距离函数：
其中，ωi∈[0,1]i＝1,2,…,ni作为每个目标函数的相对权重。minL∞所对应的路径即为最优路径。
③Mahalanobis距离标量化
做向量f与f*的Mahalanobis距离函数：
其中，ωi∈[0,1]i＝1,2,…,ni作为每个目标函数的相对权重。minD所对应的路径即为最优路径。
④超体积度量标量化
超体积的数学表示如下：
其中，δ代表Lebesgue测度，用来测量体积。|S|表示解集的数目，vi表示参照点f*与解集中第i个解f构成的超立方体。minHV所对应的路径即为最优路径。
⑤Manhattan距离标量化
做向量f与f*的Manhattan距离函数：
其中，ωi∈[0,1]i＝1,2,…,ni作为每个目标函数的相对权重。minD所对应的路径即为最优路径。
⑥余弦距离标量化
做向量f与f*的余弦距离函数：
其中，θ为向量f与f*的夹角。mincos(θ)所对应的路径即为最优路径。
本发明的另一种实施例中，在第六实施例的基础上，所述每个所述无人机基于所述Pearson相关系数函数确定所述单个无人机的局部最优路径，包括：
基于所述目标向量和所述当前向量之间的距离、所述Pearson相关系数函数，确定Pearson相关系数P，所述Pearson相关系数P为有关所述目标向量和所述当前向量之间的距离的函数关系式；
所述局部最优路径为所述Pearson相关系数P的最小值所对应的路径。
本实施例中，优选的，本发明进一步公开一种利用Pearson相关系数函数确定所述单个无人机的局部最优路径的方法。该方法具体内容如下：
作为一种可能实现的方式，计算向量间距离的Pearson相关系数步骤如下：
做向量f与f*的Pearson相关系数函数：
minp所对应的路径即为局部最优路径。
本发明的另一种实施例中，在第一实施例的基础上，所述无人机集群基于所述每个无人机的局部最优路径和环境奖励，确定所述无人机集群的最优路径，包括：
所述无人机集群基于所述无人机集群中的环境信息和所述无人机集群外部的环境信息生成多个环境奖励；
所述无人机集群将所述环境奖励发送至对应的单个无人机中，使得对应的单个无人机的局部最优路径进行调整；
所述无人机集群基于每个所述无人机调整后的局部最优路径，确定所述无人机集群的最优路径。
本实施例中，进一步公开无人机集群对单个无人机的局部路径的奖励机制。本发明给出了单智能体与环境交互实现强化过程从而选择最优策略的基本框架图。本发明将单个无人机最优路径的选择问题看作是单智能体强化学习最优策略的选择过程。每个无人机看作是一个智能体，每个智能体执行一个动作后会得到来自环境的奖励。单智能体强化学习遵循马尔可夫决策过程(MDP)。有限马尔可夫决策过程可表示为M＝(S,A,P,R)。其中S为状态集，si∈S表明第i个时刻的状态；A为动作集，ai∈A表明第i个时刻的动作；P:S×A×S→[0,1]表明状态转移概率函数；R:S×A×S→R表明回报函数。智能体在状态si下采取动作ai,再根据状态转移概率函数P(si,ai,si+1)转移到si+1状态,并获得回报ri。任何状态下,智能体选择动作的决策过程称智能体策略,用π表示。状态s下,智能体根据策略π执行后续过程,得到期望回报为:
其中，为γ折扣因子,用于刻画期望回报对回报函数的影响。强化学习旨在通过学习得到一个最优策略，使得在任一状态下期望回报最大。
其次，本发明给出了多智能体背景下，智能体与环境和其他智能体交互实现强化过程从而选择最优联合策略的过程。本发明将无人机集群最优路径的选择问题看作是多智能体强化学习最优联合策略(纳什均衡)的选择过程；每个无人机看作是一个智能体，每个智能体执行一个动作后会得到来自环境和其他智能体的联合奖励。多智能体强化学习遵循随机博弈过程(SG)。SG为多元组<S,A1,A2,…,An,R1,R2,,Rn,P,γ>,其中，n为环境中智能体数量；S为环境的状态空间，Ai(i＝1,2,…,n)为每个智能体的动作空间，A＝A1×A2×…AN为所有智能体是联合动作空间，联合状态转移函数为P:S×A×S→R，在多智能体环境中，状态转移是所有智能体共同作用的结果。每个智能体的个体策略πi:S×Ai→[0,1]，它们共同构成联合策略π。由于智能体的奖励ri,k+1取决于联合动作,因此联合奖励取决于联合策略，公式如下:
第二方面，本发明还提供一种无人机，所述无人机为无人机集群中的单个无人机，所述无人机中设置有上述第一方面中任一实施例所述的一种无人机集群的最优路径选择方法。
本实施例中，公开一种无人机，该无人机的控制***中设置有上述任一实施例所述的一种无人机集群的最优路径选择方法。通过该方法控制的无人机具有更高的灵敏度，能够在具备单个无人机的相对独立运行的基础上，更好的配合无人机集群的整体任务规划。
具体实施例2：
图1给出了无人机集群最优路径的选择方法的流程图。需要解释的是，本发明中，无人机集群最优路径的选择问题看作是多智能体强化学习最优策略的选择过程；单无人机最优路径的选择问题看作是单智能体强化学习最优策略的选择过程。
首先，根据IQL(independent Q-learning)思想，本发明将无人机集群最优路径的选择问题转化成单无人机最优路径的选择问题。
其次，在多目标强化学习的背景下，本发明给出了无人机选择最优路径的目标函数。所确定的多目标函数为：
其中，Jx是各种通用惩罚项，即任务规格。下标x＝{s,t,d,o}表示平滑度(s)、总时间(t)、动态可行性(d)、避障(o)等。
其中：
①平滑惩罚Js被定义为平方s阶导数的积分，计算方法为：
其中，t∈[t0,tM]是当前轨迹的域。
②在大多数情况下，较短的飞行时间是可取的，因此我们还最小化加权总飞行时间，这使得总时间损失Jt为：
Jt＝sum(T)
③对于微分平面多旋翼飞行器，通过限制轨迹导数的大小来保证动态可行性。
Jd＝Jd,v+Jd,a+Jd,j
其中，vm,am和jm分别是速度、加速度和加加速度的最大允许值。
④避障是在杂乱的现实世界中构建的无序障碍物地图上执行的。避障惩罚Jo被公式化为：
其中，do是p(t)的函数。
J包括：
形成预期惩罚
多视图跟踪惩罚其中/>
距离测量误差惩罚等
再次，将多个目标函数值进行向量表示。包括：1)将第i个无人机的目标函数转换为如下函数表示：其中，ni表示第i个无人机的目标数量。2)求出每个函数的最优值fi *,i＝1,2,…,ni，构成理论上的Pareto最优解并作为参考点，记为：3)无人机选择一个路径后，记当前目标函数构成的向量为：4)通过比较Pareto最优解/>和当前目标函数向量的大小来确定无人机的局部最优路径。具体方法包括：
①线性加权
做向量ω与f的数量积可以得到一个数值函数：
其中，ωi∈[0,1]i＝1,2,…,ni作为每个目标函数的相对权重。minμ所对应的路径即为最优路径。
②Chebyshev距离标量化
做向量f与f*的Chebyshev距离函数：
其中，ωi∈[0,1]i＝1,2,…,ni作为每个目标函数的相对权重。minL∞所对应的路径即为最优路径。
③Mahalanobis距离标量化
做向量f与f*的Mahalanobis距离函数：
其中，ωi∈[0,1]i＝1,2,…,ni作为每个目标函数的相对权重。minD所对应的路径即为最优路径。
④超体积度量标量化
超体积的数学表示如下：
其中，δ代表Lebesgue测度，用来测量体积。|S|表示解集的数目，vi表示参照点f*与解集中第i个解f构成的超立方体。minHV所对应的路径即为最优路径。
⑤Manhattan距离标量化
做向量f与f*的Manhattan距离函数：
其中，ωi∈[0,1]i＝1,2,…,ni作为每个目标函数的相对权重。minD所对应的路径即为最优路径。
⑥余弦距离标量化
做向量f与f*的余弦距离函数：
其中，θ为向量f与f*的夹角。mincos(θ)所对应的路径即为最优路径。
⑦Pearson相关系数
做向量f与f*的Pearson相关系数函数：
minp所对应的路径即为最优路径。
最后，根据上述方法可以得到无人机的最优路径，进而可以得到无人机集群的最优路径。
图2给出了单智能体与环境交互实现强化过程从而选择最优策略的基本框架图以及多智能体背景下智能体与环境和其他智能体交互实现强化过程从而选择最优联合策略的基本框架图。
首先，本发明给出了单智能体与环境交互实现强化过程从而选择最优策略的基本框架图。本发明将单个无人机最优路径的选择问题看作是单智能体强化学习最优策略的选择过程。每个无人机看作是一个智能体，每个智能体执行一个动作后会得到来自环境的奖励。单智能体强化学习遵循马尔可夫决策过程(MDP)。有限马尔可夫决策过程可表示为M＝(S,A,P,R)。其中S为状态集，si∈S表明第i个时刻的状态；A为动作集，ai∈A表明第i个时刻的动作；P:S×A×S→[0,1]表明状态转移概率函数；R:S×A×S→R表明回报函数。智能体在状态si下采取动作ai,再根据状态转移概率函数P(si,ai,si+1)转移到si+1状态,并获得回报ri。任何状态下,智能体选择动作的决策过程称智能体策略,用π表示。状态s下,智能体根据策略π执行后续过程,得到期望回报为:
其中，为γ折扣因子,用于刻画期望回报对回报函数的影响。强化学习旨在通过学习得到一个最优策略，使得在任一状态下期望回报最大。
其次，本发明给出了多智能体背景下，智能体与环境和其他智能体交互实现强化过程从而选择最优联合策略的过程。本发明将无人机集群最优路径的选择问题看作是多智能体强化学习最优联合策略(纳什均衡)的选择过程；每个无人机看作是一个智能体，每个智能体执行一个动作后会得到来自环境和其他智能体的联合奖励。多智能体强化学习遵循随机博弈过程(SG)。SG为多元组<S,A1,A2,…,An,R1,R2,,Rn,P,γ>,其中，n为环境中智能体数量；S为环境的状态空间，Ai(i＝1,2,…,n)为每个智能体的动作空间，A＝A1×A2×…AN为所有智能体是联合动作空间，联合状态转移函数为P:S×A×S→R，在多智能体环境中，状态转移是所有智能体共同作用的结果。每个智能体的个体策略πi:S×Ai→[0,1]，它们共同构成联合策略π。由于智能体的奖励ri，k+1取决于联合动作,因此联合奖励取决于联合策略，公式如下:
图3给出了多智能体强化学习到单智能体强化学习的转化图。将单智能体强化学习算法直接应用到多智能体环境之中，每个智能体之间相互独立，遵循IQL(independentQ-learning)的算法思路。根据IQL思想，给每个智能体执行一个Q-learning算法，因为共享环境，并且环境随着每个智能体策略、状态发生改变，每个智能体将其他智能体的行为当成环境的一部分并且独立地学习其自身的策略。由此，多智能体强化学习可以转化成多个单智能体强化学习过程，即无人机集群全局最优路径的规划问题转化成单个无人机局部最优路径的规划问题。

Claims (10)

1.一种无人机集群的最优路径选择方法，其特征在于，所述方法包括：
无人机集群中的每个无人机基于多目标函数的最优值和可行路径，确定单个无人机的局部最优路径；
所述无人机集群基于所述每个无人机的局部最优路径和环境奖励，确定所述无人机集群的最优路径，所述环境奖励为当前环境信息对单个无人机的实际执行的局部最优路径的修正因素。
2.如权利要求1所述的一种无人机集群的最优路径选择方法，其特征在于，所述无人机集群中的每个无人机基于多目标函数的最优值和可行路径，确定单个无人机的局部最优路径，包括：
所述无人机集群中的每个无人机基于所述多目标函数确定所述多目标函数的最优值；
每个所述无人机基于外部环境信息和其他无人机的位置信息确定可行路径；
每个所述无人机基于所述最优值和所述可行路径，确定所述单个无人机的局部最优路径。
3.如权利要求2所述的一种无人机集群的最优路径选择方法，其特征在于，所述多目标函数包括通常目标函数和额外目标函数；所述通常目标函数用于限定无人机飞行路径的基本需求，所述额外目标函数用于限定无人机飞行路径的额外任务需求，所述额外目标函数基于所述单个无人机的飞行任务确定。
4.如权利要求3所述的一种无人机集群的最优路径选择方法，其特征在于，所述通常目标函数包括：平滑度惩罚、总时间惩罚、动态可行性惩罚。
5.如权利要求3所述的一种无人机集群的最优路径选择方法，其特征在于，所述额外目标函数包括：形成预期惩罚、多视图跟踪惩罚、距离测量误差惩罚。
6.如权利要求2所述的一种无人机集群的最优路径选择方法，其特征在于，所述每个所述无人机基于所述最优值和所述可行路径，确定所述单个无人机的局部最优路径，包括:
每个所述无人机基于所述最优值生成对应的目标向量；
每个所述无人机基于所述可行路径生成对应的当前向量；
每个所述无人机基于所述目标向量和所述当前向量之间的距离确定Pearson相关系数函数；
每个所述无人机基于所述Pearson相关系数函数确定所述单个无人机的局部最优路径。
7.如权利要求6所述的一种无人机集群的最优路径选择方法，其特征在于，所述每个所述无人机基于所述目标向量和所述当前向量之间的距离确定Pearson相关系数函数中，所述目标向量和所述当前向量之间的距离确定方法包括：线性加权法、chebyshev距离标量化法、mahalanobis距离标量化法、超体积度量标量化法、manhattan距离标量化法、余弦距离标量化法。
8.如权利要求6所述的一种无人机集群的最优路径选择方法，其特征在于，所述每个所述无人机基于所述Pearson相关系数函数确定所述单个无人机的局部最优路径，包括：
基于所述目标向量和所述当前向量之间的距离、所述Pearson相关系数函数，确定Pearson相关系数P，所述Pearson相关系数P为有关所述目标向量和所述当前向量之间的距离的函数关系式；
所述局部最优路径为所述Pearson相关系数P的最小值所对应的路径。
9.如权利要求1所述的一种无人机集群的最优路径选择方法，其特征在于，所述无人机集群基于所述每个无人机的局部最优路径和环境奖励，确定所述无人机集群的最优路径，包括：
所述无人机集群基于所述无人机集群中的环境信息和所述无人机集群外部的环境信息生成多个环境奖励；
所述无人机集群将所述环境奖励发送至对应的单个无人机中，使得对应的单个无人机的局部最优路径进行调整；
所述无人机集群基于每个所述无人机调整后的局部最优路径，确定所述无人机集群的最优路径。
10.一种无人机，所述无人机为无人机集群中的单个无人机，其特征在于，所述无人机的控制***中设置有如权利要求1～9任一权利要求所述的一种无人机集群的最优路径选择方法。
CN202310246886.7A 2023-03-15 2023-03-15 一种无人机集群的最优路径选择方法 Pending CN116449864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310246886.7A CN116449864A (zh) 2023-03-15 2023-03-15 一种无人机集群的最优路径选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310246886.7A CN116449864A (zh) 2023-03-15 2023-03-15 一种无人机集群的最优路径选择方法

Publications (1)

Publication Number Publication Date
CN116449864A true CN116449864A (zh) 2023-07-18

Family

ID=87131138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310246886.7A Pending CN116449864A (zh) 2023-03-15 2023-03-15 一种无人机集群的最优路径选择方法

Country Status (1)

Country Link
CN (1) CN116449864A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117270393A (zh) * 2023-10-07 2023-12-22 重庆大学 智能机器人集群协同控制***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117270393A (zh) * 2023-10-07 2023-12-22 重庆大学 智能机器人集群协同控制***
CN117270393B (zh) * 2023-10-07 2024-05-17 重庆大学 智能机器人集群协同控制***

Similar Documents

Publication Publication Date Title
CN108803321B (zh) 基于深度强化学习的自主水下航行器轨迹跟踪控制方法
CN112465151A (zh) 一种基于深度强化学习的多智能体联邦协作方法
CN111780777A (zh) 一种基于改进a*算法和深度强化学习的无人车路径规划方法
Ma et al. Deep reinforcement learning of UAV tracking control under wind disturbances environments
CN112435275A (zh) 一种融合卡尔曼滤波和ddqn算法的无人机机动目标追踪方法
CN109976164B (zh) 一种多旋翼无人机能量优化视觉覆盖轨迹规划方法
CN116449864A (zh) 一种无人机集群的最优路径选择方法
CN113342034A (zh) 一种无人机通道巡检与精细化巡检的组合策略算法
CN113110593B (zh) 基于虚拟结构和估计信息传输的飞行编队协同自适应控制方法
Liang et al. Multi-UAV autonomous collision avoidance based on PPO-GIC algorithm with CNN–LSTM fusion network
KR101833243B1 (ko) 비행체의 대기 속도 추정 장치 및 방법
Wu et al. Improved reinforcement learning using stability augmentation with application to quadrotor attitude control
CN116629511A (zh) 一种不确定环境下基于两阶段混合调度的多星动态任务规划方法及装置
Khalil et al. A hybrid modified ABC-PSO algorithm for optimal robotic path planner
CN115963724A (zh) 一种基于群智激发联盟博弈的无人机集群任务分配方法
CN115187056A (zh) 一种考虑公平性原则的多智能体协同资源分配方法
CN111830916A (zh) 一种面向多目标追踪的群机器人分布式竞争协同方法
Boin et al. AVDDPG: Federated reinforcement learning applied to autonomous platoon control
Kapoutsis et al. ACRE: Actor-Critic with Reward-Preserving Exploration
CN117271967B (zh) 一种基于强化学习补偿滤波的救援协同定位方法及***
CN116412831B (zh) 面向应召反潜的多无人机动态避障航路规划方法
Yu et al. Multi-Objective Mission planning for UAV Swarm Based on Deep Reinforcement Learning
Zhang et al. Evaluation method of UAV cluster simulation models with different granularity based on sensitivity analysis
CN113959446B (zh) 一种基于神经网络的机器人自主物流运输导航方法
Zaychenko et al. Automation of Vehicle Control Systems and Emerging Networking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination